保守運用しているクライアントサイトのアクセスログを定期チェックしていたところ、GPTBotやClaudeBotといったAIクローラーのアクセスが明らかに増えていることに気づきました。放置してよいものか判断がつかず、ChatGPTにrobots.txtの対策案を相談してみました。結論から言うと、「学習目的のクローラー（GPTBot・CCBot・ClaudeBotなど）を一律ブロックする」という判断はChatGPTに相談した瞬間に方針が固まりました。一方で、「ChatGPT検索やPerplexityの回答生成に使われる“検索用”クローラー（OAI-SearchBot・PerplexityBotなど）まで一緒にブロックするかどうか」は、ChatGPTが判断を出し切ってくれず、結局自分でAI検索経由の流入データや業界動向を調べて決めるしかありませんでした。「一律禁止でいいもの」と「機会損失とのトレードオフが絡むもの」がはっきり分かれた、という話です。

なぜ気づいたか ― サーバーの管理画面で見た違和感

保守契約しているクライアントサイトの月次レポート作成のため、サーバーのアクセスログとリソース使用状況を確認するのは毎月のルーティン作業です。今月、あるコーポレートサイトのアクセス数が先月比で明らかに増えているのに、Google Analytics上の実ユーザー数はほとんど変わっていないという不自然な状態に気づきました。

アクセスログのUser-Agentを絞り込んでみると、「GPTBot」「ClaudeBot」「CCBot」といったAIクローラーからのアクセスが、人間のアクセス数に匹敵するレベルまで増えていました。サーバー自体が落ちるほどの負荷ではなかったものの、共用サーバーで複数クライアントサイトを運用している都合上、放置して他サイトの表示速度に影響が出るのは避けたいところでした。

正直「クローラーなんてGoogleとBingくらいしか気にしたことなかった」というのが本音でした。

これまでrobots.txtはGooglebot・Bingbot向けの設定しか意識してこなかったのですが、AIクローラーが世界のボットトラフィックの中でGooglebotに次ぐ規模になっているという話も見かけ、さすがに一度きちんと対策を考える必要があると感じました。

ChatGPTにrobots.txt対策を相談してみた

学習用クローラーのブロックは一瞬で方針が決まった

まず、ChatGPTに現状のアクセスログの傾向（AIクローラー由来のUser-Agentが急増していること、サーバーが共用環境であること）を伝え、robots.txtの対策案を相談しました。

以下の条件でrobots.txtの設定案を提案してください。

- クライアントサイト（コーポレートサイト、共用サーバー運用）
- 直近でGPTBot、CCBot、ClaudeBot等のAIクローラーからの
  アクセスが急増し、サーバー負荷が気になっている
- 検索エンジン（Googlebot、Bingbot）の巡回は今まで通り許可したい
- AIクローラーへの対応方針を、リスクと機会の両面から整理してほしい

返ってきた提案は明快でした。「モデルの学習データ収集のみを目的とするクローラー(GPTBot、CCBot、ClaudeBotなど)は、サイトへの実質的なメリットがほぼないため一律ブロックして問題ない」という点はほぼ即決できました。学習用クローラーは、クロールした分がそのままサイトへの流入や引用として返ってくるわけではないため、「ブロックして失うもの」がほとんどないというのがChatGPTの説明でした。実際に、AIクローラーの巡回に対してサイトへの流入がごくわずかしか対応していない、という趣旨の話は複数の海外の技術系メディアでも指摘されており、納得感がありました。

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

このあたりの学習用クローラーのDisallow設定は、クライアントに説明する際も「AIの学習データとして無断で使われるのを防ぐ設定です」と一言で理解してもらえ、導入のハードルはまったくありませんでした。

検索用クローラーをどうするか、ChatGPTは決めてくれなかった

問題は、OAI-SearchBot(ChatGPT検索用)やPerplexityBotのような、「学習用ではなく、ユーザーの質問に答える際にリアルタイムでサイト内容を参照する」タイプのクローラーの扱いでした。ChatGPTにこの点を重ねて聞いてみると、以下のような回答が返ってきました。

「ブロックするか許可するかは、サイトの目的次第です」と言われた瞬間、一番聞きたかった答えをもらえなかったなと思いました。

ChatGPTは「検索用クローラーを許可すればAI検索経由の露出機会が増える一方、コンテンツが無断で要約・引用されるリスクもある」という一般論までは整理してくれましたが、「このクライアントサイトでどちらを選ぶべきか」という最終判断までは出してくれませんでした。これは当然といえば当然で、判断材料になる「このサイトがAI検索経由の流入をどれだけ重視するか」「コンテンツの独自性をどれだけ守りたいか」という文脈は、クライアントの事業内容や競合状況を知っている自分にしか判断できない部分だったからです。

実際に調べて自分で判断した基準

結局、以下の点を自分で調べたり整理したりした上で、クライアントごとに判断することにしました。

  • AI検索経由の流入がすでに一定あるかどうか: Search Consoleやサーバーログで、Perplexityやbing.com/chat経由のリファラーが実際に発生しているかを確認。ゼロに近いサイトは、ブロックしても失うものが少ないと判断
  • コンテンツの独自性・専門性の高さ: 一般的な会社概要・サービス紹介レベルのページが中心のサイトは、そもそもAI検索に引用されても直接的な不利益は小さいと判断
  • 問い合わせや資料請求など、直接のコンバージョンを重視するサイトかどうか: AI検索の回答内で完結されてしまうと、クリックされずに終わるリスクがあるため、コンバージョン重視のサイトほど慎重に検討

「学習用クローラーは一律ブロック、検索用クローラーはサイトの性質に応じて個別判断」という2段構えの方針に落ち着きました。あわせて、Cloudflareを利用しているサイトについては、robots.txtだけでなく「Content Signals」のような、検索・AIエージェント・学習用途を個別に許諾できる新しい設定項目が追加されていることも確認し、robots.txt一本での制御に固執しすぎないようにしました。

実際にやった手順

  1. 保守運用中の各クライアントサイトのアクセスログで、AIクローラー系User-Agentのアクセス数を集計
  2. ChatGPTに現状を伝え、robots.txtの対策案(学習用クローラーの扱い)を相談
  3. 学習目的のクローラー(GPTBot、CCBot、ClaudeBot、Google-Extendedなど)は全サイト一律でDisallowを設定
  4. 検索用クローラー(OAI-SearchBot、PerplexityBotなど)については、サイトごとにAI検索経由の流入実績とコンテンツの性質を確認した上で許可・ブロックを個別判断
  5. Cloudflare利用サイトは、robots.txtに加えてContent Signalsの設定状況も確認
  6. 設定変更後、1〜2週間ほどアクセスログを再確認し、サーバー負荷が実際に下がったかを検証

6)の検証をせずに設定して終わりにすると、「本当に効いているのか」がわからないまま放置することになりがちなので、必ず変更後の確認までセットにするようにしています。

それでも相談する価値があったと判断した理由

最終判断は自分で下すしかありませんでしたが、それでもChatGPTに最初に相談してよかったと感じています。理由は3つです。

  • 論点の整理が一瞬でできた。「学習用」と「検索用」でクローラーの性質がまったく違うという整理を自分でゼロから調べる手間が省けた
  • 一律ブロックしていい部分の判断が速かった。学習用クローラーについては、追加の調査なしにその場で方針を決められた
  • 見落としがちな新しい選択肢を知れた。Content Signalsのような新しい仕組みの存在は、相談していなければ調べようとも思わなかった可能性が高い

どんなクライアントサイトなら、どう判断すべきか ― パターン別の基準

今回の経験を踏まえて、社内では次のような基準でクライアントごとに判断することにしました。

  • AI検索経由の流入実績がほぼゼロで、共用サーバーで負荷が気になっているサイト → 学習用・検索用クローラーともに一律ブロックしてよい。まずサーバー負荷の軽減を優先
  • 問い合わせや資料請求などコンバージョンを重視し、専門性の高い独自コンテンツを持つサイト → 学習用クローラーはブロックしつつ、検索用クローラーはクライアントと相談の上、露出機会とコンテンツ保護のどちらを優先するか合意してから決める
  • すでにAI検索経由のアクセスが一定数発生しているサイト → ブロックによる露出ゼロ化の影響が大きいため、検索用クローラーは許可を維持し、学習用クローラーのみ個別に対応

まとめ

  • AIクローラーのアクセス急増への対策は、「学習目的のクローラーを一律ブロックする」判断はChatGPTに相談した瞬間に決まった
  • 一方で**「検索用クローラーを許可するかどうか」というAI検索経由の露出機会とコンテンツ保護のトレードオフだけは、自分でアクセスログとサイトの性質を調べて判断するしかなかった**
  • 次にやるべきアクションは、まず学習用クローラーを一律ブロックした上で、検索用クローラーの扱いはサイトごとのAI検索経由の流入実績とコンバージョン重視度を確認してから個別に決めること
  • robots.txtだけで完結させず、Cloudflareの新しい制御機能なども含めて選択肢を確認しておくと、判断の幅が広がる