AIクローラー一覧と制御方法｜robots.txtでの許可・拒否の考え方

ただし、robots.txtは強制力のない意思表示であり、設定してもAI検索での引用や表示、流入を保証するものではありません。本記事は各社公式ドキュメントで確認できた範囲のみを記載します。

主要AIクローラーのUser-Agent一覧

Amazonbotの用途・準拠状況はAmazonの公式ページ（developer.amazon.com/amazonbot）で確認できます。Bytespider等、運営元の公式ドキュメントを確認できなかったUser-Agentは本表に掲載していません。

「学習は拒否、検索引用は許可」の設定例

# 生成AIの学習用クローラーを拒否
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: meta-externalagent
Disallow: /

# 検索・引用用クローラーは許可
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

注意点は2つあります。第一に、Google-Extendedは独自のUser-Agent文字列を持たず、既存のGoogleのUAでクロールした内容の利用可否を制御するトークンです。アクセスログには現れません。第二に、OpenAIはOAI-SearchBotを拒否したサイトはChatGPT検索の回答に表示されなくなると明記しており、検索用トークンの拒否は引用機会の放棄を意味します。

拒否と引用機会のトレードオフ

学習用と検索用のトークンが分かれているため、「モデルの学習には使わせないが、検索経由の引用・リンクは受け入れる」という方針は設定として表現できます。一方で、次のトレードオフを理解しておく必要があります。

• 学習を拒否すると、将来のモデルが自社の情報を内部知識として持たない可能性があり、検索を伴わないAI回答での説明に影響しうる
• CCBotの拒否は、Common Crawlの公開データセットを利用する多数の研究・開発主体への意思表示となり、影響範囲を個別に予測しにくい
• 許可・拒否のどちらを選んでも、AI回答での引用や表示が約束されるわけではない

どの経路を許可するかは、コンテンツの性質（無料公開の集客記事か、有料・会員向け資産か）ごとに分けて判断するのが実務的です。

robots.txtのできないこと・限界

• 強制力がない：robots.txtは慣行に基づく意思表示であり、準拠は各運営元の自主的な運用に依存する
• 未知のBotに効かない：公表されていないUAや新規のBotは、トークンを書きようがない
• なりすましを防げない：UA文字列は自己申告のため、第三者がGPTBot等を名乗るアクセスは排除できない
• 遡及しない：過去に取得済みのデータやアーカイブが削除されるとは限らない
• ユーザー操作型に適用されない場合がある：ChatGPT-User、Perplexity-User、meta-externalfetcherは適用外となる場合があると各社が公表している

確実な遮断が必要な場合は、WAF、認証、レート制限などサーバー側の制御を併用します。

アクセスログでの確認方法（概要）

robots.txtの設定が実際にどう働いているかは、自社のアクセスログで確認できます。手順の概要は次の通りです。

1. アクセスログからGPTBot、ClaudeBot等のUA文字列を含む行を抽出する
2. 期間別・パス別・ステータスコード別に件数を集計し、来訪頻度と対象コンテンツを把握する
3. robots.txt変更日を記録し、変更前後で各Botのアクセスが変化したかを比較する
4. UAは自己申告のため、運営元が確認手段を公開している場合はIP等で照合する

実務チェックリスト

1. 現状のアクセスログで、AI系UAの来訪有無・頻度・対象パスを確認した
2. 学習・検索・ユーザー操作の3用途に分けて、許可・拒否の方針を決めた
3. robots.txtへ用途別のUser-agentグループを記述し、文法を検証した
4. 検索用トークンを拒否した場合の引用機会への影響を関係者へ共有した
5. 変更日を記録し、変更前後のログで各Botの挙動変化を確認した
6. 準拠しないBotへの対応（WAF・レート制限等）をサーバー側で別途検討した
7. 各社の公式ドキュメントを定期的に再確認する体制を決めた（UAと用途は追加・変更される）

なお、Googleは自社のAI機能への表示にあたり、新しい機械可読ファイルやAI用テキストファイルを作成する必要はないと公表しています（developers.google.com/search/docs/appearance/ai-features）。llms.txtのような試みは、AIによる利用や引用を約束するものではなく、現時点では効果が確立していない実験的な補助手段として扱うのが妥当です。

株式会社Trillion Bank（トリリオンバンク）は、限定商用検証・導入相談受付中のHackⅡで、選定した質問に対するAI回答本文と引用URLの保存・比較を支援しています。robots.txt変更の前後で同一質問を再測定すれば、引用状況の変化を証跡付きで確認できます。ただし、測定はAI検索での引用や流入を保証するものではありません。