Developer Tools Platform
コンテンツへスキップ
カテゴリ

Robots.txt Generator

User-agent・Disallow・Allow・Sitemapを指定してrobots.txtを生成（ジェネレーター）します。

概要

  • 検索エンジンのクローラーに対して、サイト内のどのパスをクロールしてよいか（またはいけないか）を指示するrobots.txtを生成するツールです。
  • Disallow・Allowパスを1行ずつ指定するだけで、正しい形式のrobots.txtを作成できます。Sitemap URLやCrawl-delayも合わせて指定できます。
  • 生成処理はすべてブラウザ内で完結します。

使い方

  1. User-agent（省略時は"*"）、Disallow・Allowパス（1行に1パス）、必要に応じてSitemap URLやCrawl-delayを入力します。
  2. 「生成する」ボタンをクリックします。
  3. robots.txtの内容が表示されます。「コピー」ボタンで結果をクリップボードにコピーできます。

入力例・出力例

入力

Disallow: /admin, /private
Sitemap: https://example.com/sitemap.xml

出力

User-agent: *
Disallow: /admin
Disallow: /private

Sitemap: https://example.com/sitemap.xml

利用シーン

  • 新規サイト公開時に、管理画面やAPIエンドポイントなどクロール対象外にしたいパスをまとめて指定する
  • Sitemap URLをrobots.txtに追加し、検索エンジンにサイトマップの場所を知らせる
  • 既存のrobots.txtの内容を、指定内容から見直す・再生成する

よくある質問

複数のUser-agentグループを個別に指定できますか？

このツールでは1つのUser-agentグループのみ生成します。複数グループが必要な場合は、生成結果を組み合わせて手動で作成してください。

Disallowを何も指定しないとどうなりますか？

Disallow・Allow・Sitemap・Crawl-delayのいずれも指定しない場合はエラーになります。全体を許可する場合は、Disallowを空欄のまま"Allow: /"のみ指定するか、Sitemapだけ指定してください。

robots.txtはどこに配置すればよいですか？

生成した内容を、サイトのルート直下（例: https://example.com/robots.txt）に配置してください。

注意点

  • Disallow/Allowの優先順位や解釈は検索エンジンによって異なる場合があります。生成後は主要な検索エンジンのドキュメントも確認してください。
  • 入力内容は外部に送信されず、すべてブラウザ内でのみ処理されます。