robots.txtの書き方

こんにちは山田です。
肌寒くなってまいりましたね。10月も、もう終わりです。
秋の味覚の栗を探したい気持ちを抑えつつ、SEO対策の話です。

今回は、クロール最適化の方法の一つとして、robots.txtについてお話しします。
まず、検索エンジンのロボットが、サイトの中で最初にアクセスするファイルがrobots.txtになります。

もし、テストページなどをアップロードしてクローラーにインデックスされたくない場合は
robots.txtで拒否して、インデックスしてお欲しいページに誘導してあげましょう。

さて、以下に書き方についてまとめてみました。ご参考になればと思います。


robots.txtの書き方

■ファイル名
robots.txt

■ファイルの置き場所
ドメインのルートドメイン

■サイト内すべてのロボットを拒否したい場合
User-agent:*　
Disallow:/

■特定のロボット＋特定のディレクトリやページ
User-agent: Googlebot　←グーグル
Disallow: /test/　　 　←拒否したい場合
Allow: /test/act　　 　←testディレクトリは拒否するが、actページは受け入れる場合
Allow: /test/act.html　←testディレクトリは拒否するが、actページは受け入れる場合

ser-agent: bingbot　　←Being（複数ロボットの場合は改行を入れて。拒否ページを記述する）
Disallow: /test/　　 　

■ついでにsitemap.xml
ここに記述しておくとSitemapを読むようになってくれるので記載しておいたほうが良いです。
書き方は↓

Sitemap: http://www.test.com/sitmap.xml