robots.txtの確認ポイント

robots.txt は、検索エンジンに見せる場所と見せない場所を整理するためのファイルです。公開ページが増えるほど、誤って塞いでいないかを確認する価値が上がります。

確認するポイント

1. 公開ページを Disallow していないか
2. sitemap の場所が書かれているか
3. AIクローラーの扱いが意図通りか

Mycatでは、robots.txtを用語集で確認しながら、公開ページの見え方を整理しています。