robots.txt生成ツール
検索エンジンのクローラー制御に必要なrobots.txtファイルを自動生成。設定変更がリアルタイムでプレビューに反映されます。ログイン不要・商用利用可。
クロール制御
詳細設定
通常は * のままでOK。複数指定はカンマ区切り（例: Googlebot, Bingbot）
https:// から始まる絶対URLを入力してください
プレビュー
# 設定を変更するとここにリアルタイムで反映されます
設置方法: ダウンロードしたファイルをサイトのルートディレクトリにアップロード → https://yoursite.com/robots.txt で確認
robots.txtの作り方 -- 3ステップで完成
- クロール制御を選択: 「すべて許可」「すべて拒否」「カスタム」から選びます。カスタムではDisallow/Allowパスを個別に指定できます。
- 詳細設定: User-agent、サイトマップURL、Crawl-delayを必要に応じて設定。設定内容はリアルタイムでプレビューに反映されます。
- 生成してダウンロード: 「robots.txt生成」ボタンで最終確認し、ダウンロードしてサイトのルートディレクトリにアップロードします。
robots.txt生成ツールの特徴
- ログイン不要・商用利用可: アカウント作成なしで今すぐ利用可能
- リアルタイムプレビュー: 設定変更が即座にプレビューに反映。生成ボタンを押す前に内容を確認可能
- ブラウザ内完結: データはサーバーに送信されず、安全にプライバシーが保護されます
- プリセット搭載: 一般的な設定・WordPress用の設定をワンクリックで適用
- 複数User-agent対応: カンマ区切りで複数のクローラーを正しく個別行に展開
- Sitemapバリデーション: 絶対URL（https://）でない場合に警告を表示
- Crawl-delay注意喚起: GooglebotがCrawl-delayを無視する仕様を明記
robots.txtとは
robots.txtは、検索エンジンのクローラーに対してサイトのどのページをクロール（巡回）してよいか、またはしてはいけないかを伝えるためのテキストファイルです。サイトのルートディレクトリ（例: https://example.com/robots.txt）に設置することで、クローラーの動作を制御できます。
主要ディレクティブ一覧
| ディレクティブ | 説明 | 例 |
|---|---|---|
| User-agent | 対象となるクローラーを指定 | User-agent: * |
| Disallow | クロールを禁止するパス | Disallow: /admin/ |
| Allow | 例外的に許可するパス | Allow: /admin/public/ |
| Sitemap | サイトマップの絶対URL | Sitemap: https://example.com/sitemap.xml |
| Crawl-delay | クロール間隔（秒）※Google非対応 | Crawl-delay: 10 |
よくある設定例
すべて許可
User-agent: *
Disallow:
すべて拒否（開発中のサイト）
User-agent: *
Disallow: /
管理画面のみ拒否（WordPress）
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Allow: /wp-admin/admin-ajax.php
robots.txtの設置方法
- このツールで生成したrobots.txtファイルをダウンロードします
- サイトのルートディレクトリにアップロードします
- https://yoursite.com/robots.txt でアクセス可能か確認します
- Google Search Consoleのrobots.txtテスターで動作確認できます
注意点
- 入力内容はブラウザ上でのみ処理され、サーバーには保存されません
- robots.txtはクローラーへの「お願い」であり、法的強制力はありません
- 機密情報を含むページは、robots.txtではなく認証やnoindexタグで保護してください
- Disallowで指定したページも、他のサイトからリンクされていれば検索結果に表示される可能性があります
- GooglebotはCrawl-delayをサポートしていません。クロール速度の調整はSearch Consoleから行ってください
- 正確な検証にはGoogle Search Consoleのrobots.txtテスターをご利用ください