Google說明遷移至CDN後抓取量暴增的原因與因應方式
Google搜尋中心部落格（11月11日）說明了網站遷移至CDN後，Googlebot抓取量為何會暴增、對來源伺服器造成壓力，以及因應方式。回應變快會提高抓取量，而快取為空時，首次存取全部會回源。若以一刀切的機器人防護攔截Googlebot，頁面可能從搜尋結果中消失。
重點
- 回應快速穩定時，抓取容量上限（主機負載）會逐步提高，回應變慢則會下降
- 新的CDN快取為空（冷快取），每個URL的第一次請求都會回到來源伺服器
- 一刀切的機器人防護若回傳驗證碼或403，Googlebot無法通過並會減少抓取，頁面與商品資訊可能逐漸從搜尋中消失
背景解讀
CDN透過遍布全球的邊緣伺服器分發內容，加快頁面載入並減輕來源伺服器負擔。Google指出，人類訪客集中在少數熱門頁面，而爬蟲則會廣泛走訪網站的URL，因此未快取的URL很多時，來源伺服器的負載就容易浮現。
Google提出的建議是：如需攔截機器人，應在CDN與防火牆設定中放行經驗證的機器人；事先抓取重要頁面以預熱快取；來源伺服器負載過高時，可在短時間內（數小時，最長一到兩天）暫時回傳429或503。
對店家的影響
這主要關係到正把網站或網路商店遷移到CDN、或在資安服務中加強機器人防護的中小店家及其網站製作公司。設定不當可能使頁面從Google搜尋結果與商品展示中消失，影響客源。
店家該做什麼
- 導入或變更CDN、資安服務時，向製作公司或伺服器管理員確認是否已放行Googlebot
🔒 另有 3 則「該做什麼」僅限會員
重點由 Seiichi Studio 根據原始發布獨立整理，詳細內容請以原文為準。