Robots.txt Generator

概要

• 検索エンジンのクローラーに対して、サイト内のどのパスをクロールしてよいか（またはいけないか）を指示するrobots.txtを生成するツールです。

• Disallow・Allowパスを1行ずつ指定するだけで、正しい形式のrobots.txtを作成できます。Sitemap URLやCrawl-delayも合わせて指定できます。

• 生成処理はすべてブラウザ内で完結します。

使い方

1. 1

   User-agent（省略時は"*"）、Disallow・Allowパス（1行に1パス）、必要に応じてSitemap URLやCrawl-delayを入力します。

2. 2

   「生成する」ボタンをクリックします。

3. 3

   robots.txtの内容が表示されます。「コピー」ボタンで結果をクリップボードにコピーできます。

入力例・出力例

Disallow: /admin, /private
Sitemap: https://example.com/sitemap.xml

User-agent: *
Disallow: /admin
Disallow: /private

Sitemap: https://example.com/sitemap.xml

利用シーン

• 新規サイト公開時に、管理画面やAPIエンドポイントなどクロール対象外にしたいパスをまとめて指定する

• Sitemap URLをrobots.txtに追加し、検索エンジンにサイトマップの場所を知らせる

• 既存のrobots.txtの内容を、指定内容から見直す・再生成する

よくある質問

注意点

• Disallow/Allowの優先順位や解釈は検索エンジンによって異なる場合があります。生成後は主要な検索エンジンのドキュメントも確認してください。

• 入力内容は外部に送信されず、すべてブラウザ内でのみ処理されます。