本文へ移動
お問い合わせ LINEで相談

CDN移行直後の負荷増に注意、Googlebotを遮断せずオリジンを守る方法

CDN移行後のキャッシュ・元サーバー負荷・検索クロールを一緒に確認するイラスト

CDNを導入すれば、配信が速くなり、元のサーバーへの負荷も下がる。通常はそう期待しますが、切り替え直後には逆にオリジンサーバーへのアクセスが増える場合があります。対処を急いでボットを一律に遮断すると、Googlebotまでサイトを取得できなくなり、検索への掲載にも影響しかねません。重要なのは、移行直後の負荷と不審なアクセスを混同せず、キャッシュが十分に蓄積するまでの運用を準備することです。

Googleが説明した、CDN移行直後に負荷が増える仕組み

Googleは2026年11月11日公開のSearch Centralの解説記事で、CDNへの移行時に起こり得るクロール増加と、その対処方法を説明しました。新機能や新しい制限の発表ではなく、配信経路を変えたときに、Googleのクロール制御とCDNのキャッシュがどう作用するかを整理した内容です。

CDNは、利用者に近い場所にあるエッジサーバーからコンテンツを配信する仕組みです。元のコンテンツを保持するオリジンサーバーの代わりに、エッジ側で保存したコピーを返せれば、応答の短縮と負荷の軽減につながります。ただし、CDNを有効にした時点で、すべてのページや画像のコピーが各エッジにそろうわけではありません。

Googleのクロール基盤は、接続先の応答速度や安定性を継続的に見ています。応答が遅くなるとクロールを抑え、速く安定して応答する場合は、クロールの需要があることを前提に、クロール容量の上限を徐々に引き上げます。CDNへの切り替えで応答が速くなると、Google側にはサイトの処理能力が高まったように見えるため、取得要求が増える可能性があります。

ここで区別したいのは、CDNの応答が速いことと、オリジンが大量の要求を処理できることは同じではない点です。Googleの説明でも、クロール量が瞬時に増えるわけではなく、多くのCDNには接続のペースを調整する仕組みがあるとされています。それでも、キャッシュが空の段階では、オリジンが処理の中心になる状況は残ります。

影響が出やすい条件は、空のキャッシュと広いURL群

エッジサーバーに対象URLのキャッシュがない場合、その要求を満たすためにオリジンサーバーから応答を取得する必要があります。これがキャッシュミスです。取得した応答がキャッシュ可能であればコピーを保存し、その後の要求をエッジ側で処理できるようになります。したがって、CDNの効果を判断する際には、導入済みかどうかだけでなく、必要なコンテンツが実際にキャッシュされているかを見る必要があります。

一般の訪問者とクローラーでは、アクセス先の広がりも異なります。原文は、訪問者のアクセスがトップページや人気記事、実施中のキャンペーンなど比較的限られたページに集まりやすい一方、クローラーはサイト内の幅広いURLを探索すると説明しています。人気ページのキャッシュが温まっていても、まだ取得されていない多数のURLへのクロールは、オリジンへの要求につながります。

つまり、ページが速く表示されるようになったことだけでは、移行時の負荷対策が完了したとは判断できません。エッジでは速く応答できるページがある一方、未キャッシュのページではオリジンへの取得が続く可能性があります。とくに確認すべきなのは、訪問者が多いページだけでなく、よくクロールされるURLを含めて準備できているかという点です。

また、事前に一度アクセスすれば、あらゆる場所や条件でキャッシュが利用できると考えるのも適切ではありません。原文が説明しているのは、エッジのある場所で対象URLのコピーがないときに、オリジンへの取得が必要になる仕組みです。実際の適用範囲は、自社のCDN設定とキャッシュの状態を確認して判断する必要があります。

一律のボット対策は、検索からの流入にも影響する

移行後にオリジンのアクセスログで自動アクセスの増加を見つけると、CDNやWAFのボット対策を強めたくなるかもしれません。WAFはWebサイトへの通信を検査・制御する仕組みですが、すべての自動アクセスを同じように扱う設定では、検索に必要なクローラーまで止めてしまいます。負荷の原因を確認する前に、一括遮断へ進まないことが重要です。

Googleのクローラーは、CDNやWAFが提示するCAPTCHAの認証を通過できません。その結果、本文ではなく認証画面やエラーページしか取得できなくなると、Google側にはサイトが制限されている、または正常に利用できない状態として映ります。原文は、この状態が続けばクロールが減り、ページやショッピングの掲載などが検索から失われ始めると警告しています。

ここでの問題は、セキュリティ対策を導入すること自体ではありません。不要な自動アクセスを防ぐ設定と、必要なクローラーを通す設定を分けていないことです。検索からの訪問が重要なサイトでは、一般利用者が閲覧できるかだけでなく、認証済みのGooglebotが本来のコンテンツを取得できるかも、移行時の確認項目になります。

原文は、多くの主要なCDNやWAFに、既知または認証済みのボットを許可する設定や管理ルールがあると説明しています。ただし、すべての製品で同じ操作や機能が提供されるとは限りません。自社で利用するサービスの設定を確認し、必要なクローラーだけを適切に例外扱いすることが、負荷対策と検索への配慮を両立させる出発点です。

移行前後に必要な行動を、三つに分けて準備する

1.認証済みボットを通す経路を確保する

Googleが挙げる対策の一つは、CDNとファイアウォールで認証済みボットを許可することです。Googleのクローラーの識別には、Googleが公開するIPアドレス範囲を利用できるとしています。名前だけでアクセスを信用するのではなく、サービス側の認証済みボット向け機能など、確認可能な仕組みを使う方針が必要です。

原文は、不要な特定のボットを対象にrobots.txtやルールを設定する方法も示しています。ただし、ここでは「どのボットに取得を控えてほしいか」という制御と、通信そのものを拒否する防御を区別して考えることが実務上重要です。一律のボット遮断を出発点にするのではなく、止めたい相手と維持したい取得経路を整理してから設定します。

2.重要なURLのキャッシュを事前に温める

Googleは、全トラフィックを新しいCDNに向ける前に、アクセスの多いページ、今後の集中が予想されるページ、頻繁にクロールされるURLを、制御されたペースでCDN経由で取得するよう勧めています。これはキャッシュの事前準備であり、切り替え直後にオリジンへ取得が集中する状況を和らげるための対策です。

実務上の提案としては、対象URLを「通常の人気ページ」「キャンペーンなどで利用が増えるページ」「クロール頻度が高いページ」に分けると、優先順位を検討しやすくなります。重要なのは、大量のURLへ一気に要求を送ることではありません。準備のためのアクセス自体がオリジンへの負荷になるため、処理状況を見ながら進める必要があります。

3.緊急時だけ、一時的な応答でクロールを抑える

キャッシュの準備中もオリジンに重大な負荷がかかる場合、Googleは短時間の対策としてHTTPステータスコード429または503を返す方法を案内しています。429は要求が多すぎる状態、503はサービスを一時的に提供できない状態を表します。恒久的にアクセスを拒否するのではなく、処理を一時的に抑えるための選択肢です。

原文が示す実施期間は数時間、長くても1〜2日です。これは長期運用を勧めるものではなく、キャッシュが整うまでオリジンを守るための緊急措置として読む必要があります。設定したまま放置しないよう、実務上は解除の担当者と確認時刻を決め、負荷の回復とともに通常の応答へ戻す手順を用意するとよいでしょう。

CDN移行の成否は、切り替え直後の表示速度だけでは判断できません。キャッシュミスによるオリジンへの要求、認証済みクローラーの到達可否、一時的な制御を解除できる運用まで確認することが大切です。速く配信する仕組みを導入するからこそ、キャッシュが育つまでの負荷と、検索エンジンが正しく取得できる経路を、別々の課題として管理しましょう。

参考情報

事業の次の一歩を、
Webから。

お問い合わせ

新規制作も、今あるサイトの見直しも。目的と課題を整理するところからお話ししましょう。