robots.txt

robots.txt は、検索エンジンに対してどの領域を見せるかを伝えるためのファイルです。管理画面や内部ページを避けつつ、公開ページは見つけやすく保ちます。

確認するポイント

• 公開ページを誤って塞いでいないか
• sitemap の場所が記載されているか
• AIクローラーの扱いが意図と一致しているか

Mycatでは、白書一覧やブログのような公開ページが拾われやすい構成を意識しています。