Google、CDN移行でクロールが急増する理由と対策を解説
Google検索セントラルブログ（11月11日）は、サイトをCDNに移した直後にGooglebotのクロールが急増し、元のサーバー（オリジン）に負荷がかかる仕組みと対策を解説した。応答が速くなるとクロール量が増える一方、キャッシュが空の間は初回アクセスがすべてオリジンに届く。一律のボット対策でGooglebotを遮断すると、ページが検索結果から落ちるおそれがある。
ポイント
- 応答が速く安定するとクロール容量の上限（ホストロード）が徐々に上がり、遅くなると下がる
- 新しいCDNはキャッシュが空（コールド）で、各URLへの最初のリクエストはオリジンまで届く
- 一律のボット防御でCAPTCHAや403を返すと、Googlebotは通過できずクロールを控え、ページや商品情報が検索から消えていく可能性がある
背景・解説
CDNは、世界各地のエッジサーバーからコンテンツを配信して表示を速くし、オリジンの負荷を減らす仕組みです。Googleは、人間の訪問者が人気ページに集中するのに対し、クローラーはサイト内のURLを幅広く巡回するため、キャッシュに載っていないURLが多いと負荷が表面化しやすいと説明しています。
対策としてGoogleは、必要な場合は検証済みボットを許可する設定にすること、重要なページを事前に取得してキャッシュを温めること、負荷が高いときは数時間〜最長1〜2日程度、一時的に429または503を返すことを挙げています。
お店への影響
自社サイトやネットショップをCDNへ移す、あるいはセキュリティサービスのボット対策を強める中小店舗やその制作会社が対象です。設定を誤ると、Googleの検索結果や商品掲載から自店のページが外れ、集客に影響する可能性があります。
お店がやること
- CDNやセキュリティサービスを導入・変更する際は、制作会社やサーバー管理者に『Googlebotを許可しているか』を確認する
🔒 ほか3件の「やること」は会員向け
要点はSeiichi Studioが元の発表をもとに独自にまとめたものです。正確な内容は必ず出典をご確認ください。