日经225官网调查:llms.txt设置率5.0%,robots.txt提及AI爬虫4.9%
生成式AI企业Uravation调查了日经平均指数225家成分股公司的官网:在有响应的180家中,设置了面向AI的说明文件llms.txt的有9家(5.0%);在有响应的184家中,在robots.txt里点名AI爬虫的有9家(4.9%),没有公司完全屏蔽AI搜索用爬虫。
要点
- 在有响应的180家官网中,9家(5.0%)设置了llms.txt
- 在有响应的184家官网中,9家(4.9%)在robots.txt中写明了AI爬虫名称,其余175家(95.1%)没有提及
- ChatGPT、Claude、Perplexity的搜索用爬虫(OAI-SearchBot、Claude-SearchBot、PerplexityBot)没有任何一家完全屏蔽
背景解读
调查于2026年10月23日对各公司官网根目录下的robots.txt和llms.txt各抓取一次并汇总。无法获取的公司(robots.txt为41家,llms.txt为45家)未计入分母。
调查对象是大型上市公司,个体店铺和中小企业未必有同样倾向。另外,调查公司本身提供AI搜索优化服务,且该调查并未验证llms.txt是否真的能增加被引用的机会。
对店铺的影响
可以看出多数大企业对AI爬虫尚未做出明确设置。对店铺和中小企业而言,自家信息能否出现在AI搜索的回答中,可能取决于网站的基础设置和信息整理是否清晰。
店铺该做什么
- 打开自家网站域名根目录下的robots.txt,确认没有无意中屏蔽AI搜索用爬虫
🔒 另有 3 条「该做什么」仅限会员
要点由 Seiichi Studio 根据原始发布独立整理,具体内容请以原文为准。