🤖 robots.txt 生成
検索エンジンのクロールを制御するrobots.txtファイルを簡単に生成します。
基本プリセット
フレームワーク向けプリセット
ユーザーエージェント ブロック
共通設定
生成された robots.txt
使い方・活用例
- 新規サイト公開時のrobots.txtを素早く作成
- 特定のディレクトリやファイルをクローラーからブロック設定
- サイトマップのURLを指定してクローラーに通知
- 複数のUser-Agentに対する異なるルールを設定
よくある質問
robots.txt生成の使い方は？
GUIでクローラーの許可・拒否ルールを設定すると、robots.txtのテキストが自動生成されます。
サイトマップURLも指定できますか？
はい。Sitemap行を含めることができ、サイトマップのURLを指定して生成できます。
robots.txtでクローラーをブロックする意味は？
管理画面や重複コンテンツなど、検索結果に表示したくないページへのクロールを制限できます。ただしインデックス防止にはnoindexタグの方が確実です。
robots.txtの設定を間違えるとどうなりますか？
Disallow: / と設定するとサイト全体がクロールされなくなり、検索結果から消える可能性があります。設定前に必ず内容を確認してください。
フレームワーク向けプリセットとは何ですか？
WordPress・Next.js・Laravelなど人気のフレームワークでよく使われるrobots.txtの設定を、ワンクリックで自動入力できる機能です。各フレームワーク特有のディレクトリ構成に合わせた推奨設定が用意されています。
プリセットの設定内容はカスタマイズできますか？
はい。プリセットを適用した後、パスの追加・削除やUser-Agentの変更など自由にカスタマイズできます。プリセットはあくまで初期値として設定されるため、そこから自分のサイトに合わせて調整してください。