robots.txtジェネレーター

検索エンジンのクローラー制御に必要なrobots.txtファイルを簡単に生成できます。

使い方: ①クロール制御を選択 → ②必要に応じて詳細設定 → ③「robots.txt生成」ボタンをクリック

STEP 1: クロール制御を選択

すべて許可

すべてのページをクロール可能に
（一般的なサイトにおすすめ）

すべて拒否

すべてのページをクロール禁止
（開発中のサイト向け）

カスタム設定

特定のパスのみ制御
（詳細設定が必要な場合）

STEP 2: カスタムルールを設定

ヒント: クロールを拒否したいパス（/admin/ など）を入力してください。よく使う設定は下部のプリセットから選択できます。

Disallow（拒否するパス）例: /admin/ /private/

クロールを拒否したいパスを1行ずつ入力（例: 管理画面、会員限定ページなど）

Allow（例外的に許可するパス）オプション

Disallowで拒否した中で、例外的に許可したいパスを入力（通常は不要）

よく使う設定を読み込む:

STEP 2（任意）: 詳細設定

User-agent（対象クローラー）

通常は * (すべてのクローラー) のままでOKです

サイトマップのURLを追加する（推奨）

Sitemap URL

サイトマップのフルURLを入力してください

Crawl-delayを設定する（サーバー負荷軽減）

Crawl-delay（秒）

クローラーのリクエスト間隔（秒）

STEP 3: robots.txtを生成

設定内容に基づいてrobots.txtファイルを生成します

生成結果

次のステップ: ダウンロードボタンでファイルを保存し、サイトのルートディレクトリにアップロードしてください

このツールの使い方

プリセット選択: クイックプリセットから基本設定を選択するか、手動で設定します
User-agent設定: 対象クローラーを指定します（通常は * ）
クロール制御: 許可/拒否/カスタムから選択します
カスタム設定: 必要に応じてDisallow/Allowパスを入力します
追加設定: SitemapのURLやCrawl-delayを設定します
生成実行: 「robots.txt生成」ボタンをクリックします
保存: 「ダウンロード」ボタンでファイルとして保存できます

このツールの特徴

ブラウザ内完結: 入力データはサーバーに送信されず、安全に利用できます
プリセット搭載: 一般的な設定をワンクリックで適用できます
柔軟な設定: User-agent別の細かい制御が可能です
即座にプレビュー: 生成されたrobots.txtを即座に確認できます
Sitemap対応: サイトマップURLを自動追加できます
ワンクリックコピー: 生成結果をクリップボードにコピー可能
レスポンシブ対応: スマホ・タブレットでも快適に操作できます
完全無料: 登録不要で今すぐ使えます

robots.txtとは？

robots.txtは、検索エンジンのクローラーに対してサイトのどのページをクロール（巡回）してよいか、またはしてはいけないかを伝えるためのテキストファイルです。サイトのルートディレクトリ（例: https://example.com/robots.txt）に設置することで、クローラーの動作を制御できます。

主要ディレクティブ

ディレクティブ	説明	例
User-agent	対象となるクローラーを指定	User-agent: * User-agent: Googlebot
Disallow	クロールを禁止するパス	Disallow: / Disallow: /admin/
Allow	例外的に許可するパス	Allow: /admin/public/
Sitemap	サイトマップのURL	Sitemap: https://example.com/sitemap.xml
Crawl-delay	クロール間隔（秒）	Crawl-delay: 10

よくある設定例

すべてのクローラーにすべてを許可

User-agent: *
Disallow:

すべてのクローラーにすべてを拒否

User-agent: *
Disallow: /

管理画面のみ拒否

User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

特定のファイルタイプを拒否

User-agent: *
Disallow: /*.pdf
Disallow: /*.zip
Disallow: /*.docx

robots.txtの設置方法

このツールで生成したrobots.txtファイルをダウンロードします
サイトのルートディレクトリにアップロードします
https://yoursite.com/robots.txt でアクセス可能か確認します
Google Search Consoleのrobots.txtテスターで動作確認できます

活用シーン

新しいWebサイトの公開前にクロール設定を準備
管理画面や会員限定ページをクロールから除外
開発中のサイトを検索エンジンから完全に隠す
サーバー負荷を軽減するためクロール速度を制御
サイトマップの場所を検索エンジンに通知

注意点

入力内容はブラウザ上でのみ処理され、サーバーには保存されません
robots.txtはクローラーへの「お願い」であり、法的強制力はありません
機密情報を含むページは、robots.txtではなく認証やnoindexタグで保護してください
Disallowで指定したページも、他のサイトからリンクされていれば検索結果に表示される可能性があります
正確な検証にはGoogle Search Consoleのrobots.txtテスターをご利用ください

お気に入りリスト