robots.txt許可チェッカー
robots.txtの内容と対象URLを入力し、クローラーによるアクセスが許可されるかを判定します。
判定設定
チェックしたいrobots.txtの内容を貼り付けてください
サンプル: よく使われるrobots.txtのパターンを読み込めます
クロール可否を確認したいURLを入力してください
判定対象のクローラーを選択してください
このツールの使い方
- robots.txt入力: チェックしたいrobots.txtの内容を貼り付けます
- URL入力: テストしたいURLを入力します
- User-agent選択: 判定対象のクローラーを選択します
- 判定実行: 「判定実行」ボタンをクリックします
- 結果確認: 許可/拒否の結果と適用されたルールが表示されます
このツールの特徴
- 詳細な判定: 適用されたルールと理由を詳しく表示
- 複数クローラー対応: Google、Bing、Yahooなど主要クローラーに対応
- サンプル搭載: 一般的な設定をワンクリックで読み込み
- リアルタイム判定: 即座に判定結果を表示
- ワイルドカード対応: * を使ったパターンマッチングに対応
- 優先順位考慮: Allow/Disallowの優先順位を正しく判定
- ブラウザ内完結: データはサーバーに送信されません
- レスポンシブ対応: スマホ・タブレットでも快適に操作
- 完全無料: 登録不要で今すぐ使えます
robots.txtの判定ルール
基本ルール
- User-agentは、指定されたクローラーまたは * (すべて) にマッチします
- 複数のUser-agentグループがある場合、より具体的なものが優先されます
- Disallowはクロールを拒否するパスを指定します
- Allowはクロールを許可するパスを指定します（Disallowより優先）
- より長い（具体的な）パスマッチが優先されます
パスマッチング
- Disallow: /admin/ → /admin/で始まるすべてのパスを拒否
- Disallow: /*.pdf → すべてのPDFファイルを拒否
- Allow: /admin/public/ → /admin/配下でも/admin/public/は許可
よくある判定例
| robots.txt | テストURL | 結果 |
|---|---|---|
| Disallow: /admin/ | /admin/login | 拒否 |
| Disallow: /admin/ Allow: /admin/public/ |
/admin/public/info | 許可 |
| Disallow: /*.pdf | /document.pdf | 拒否 |
| Disallow: | /anything | 許可 |
活用シーン
- robots.txtの設定が正しく動作するか事前確認
- 特定のページがクローラーにアクセス可能か検証
- Disallow/Allowの優先順位を理解する学習ツールとして
- 複雑なrobots.txtの動作をテスト
- SEO対策でのクロール制御の確認
注意点
- 入力したデータはブラウザ上でのみ処理され、サーバーには保存されません
- このツールは判定のシミュレーションであり、実際の検索エンジンの動作とは異なる場合があります
- 正確な検証にはGoogle Search Consoleのrobots.txtテスターをご利用ください
- ワイルドカード（*）や $ の高度な構文にも対応していますが、すべての検索エンジンが同じ動作をするとは限りません