Google解释迁移到CDN后抓取量激增的原因及应对办法
Google搜索中心博客（11月11日）解释了网站迁移到CDN后，Googlebot抓取量为何会骤增、给源服务器带来压力，以及应对办法。响应变快会提高抓取量，而缓存为空时，首次访问全部会回源。若用一刀切的机器人防护拦截Googlebot，页面可能从搜索结果中消失。
要点
- 响应快速稳定时，抓取容量上限（主机负载）会逐步提高，响应变慢则会下降
- 新的CDN缓存为空（冷缓存），每个URL的第一次请求都会回到源服务器
- 一刀切的机器人防护若返回验证码或403，Googlebot无法通过并会减少抓取，页面和商品信息可能逐渐从搜索中消失
背景解读
CDN通过遍布全球的边缘服务器分发内容，加快页面加载并减轻源服务器负担。Google指出，人类访客集中在少数热门页面，而爬虫则会广泛遍历网站的URL，因此未缓存的URL很多时，源服务器的负载就容易显现。
Google给出的建议是：如需拦截机器人，应在CDN和防火墙设置中放行经过验证的机器人；提前抓取重要页面以预热缓存；源服务器负载过高时，可在短时间内（几小时，最长一到两天）临时返回429或503。
对店铺的影响
这主要关系到正在把网站或网店迁移到CDN、或在安全服务中加强机器人防护的中小店铺及其网站制作公司。设置不当可能使页面从Google搜索结果和商品展示中消失，影响获客。
店铺该做什么
- 引入或更改CDN、安全服务时，向制作公司或服务器管理员确认是否已放行Googlebot
🔒 另有 3 条「该做什么」仅限会员
要点由 Seiichi Studio 根据原始发布独立整理，具体内容请以原文为准。