网站建设步骤：上线前怎样核对抓取与索引配置
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /c433d7c05d31.html
📄
网站建设步骤：上线前怎样核对抓取与索引配置
上线前核对抓取与索引配置，核心是确认三件事：爬虫能顺利访问页面、页面返回正确的状态码、可索引页面没有被错误地挡住。做法不是看一遍设置就结束，而是用“抓取—解析—索引”三段逐项验证，并把结果记录在交付清单里，方便多人协作时复查。
先看 robots.txt 是否误挡了重要目录
robots.txt 是给爬虫看的访问规则，写错一个斜杠就可能挡住整站。检查时按下面顺序做：
- 在浏览器打开
/robots.txt，确认文件能正常返回，而不是 404 或跳转到首页。 - 逐条读
Disallow，确认没有挡住栏目页、详情页、列表页等需要收录的路径。 - 确认
Sitemap指向的地址与实际提交的一致。
判断依据：如果某个目录被 Disallow: / 或误写成 Disallow: / 加栏目名，爬虫就不会抓取下面的页面，页面再多也不会进入索引。测试环境的屏蔽规则尤其容易忘记删除，交付前要单独列一条检查项。
再确认页面没有 meta robots 与响应头冲突
页面级控制主要有两种：HTML 里的 <meta name="robots"> 和 HTTP 响应头里的 X-Robots-Tag。冲突时以更严格的一方为准，所以两边都要看。
- 查看页面源代码，确认没有
noindex、nofollow这类误加的指令。 - 用命令行或浏览器开发者工具查看响应头，确认没有服务端统一加上的屏蔽指令。
- 分页、筛选参数、打印页等低价值页面可以合理屏蔽，但不要在模板里一刀切。
如果页面既想被收录又带了 noindex，结果就是抓取正常但不进索引。这种情况在复制模板或迁移配置时最常见，属于“已经定位的原因”，不是猜测。
用状态码判断抓取是否真的成功
爬虫拿到 200 才算正常抓取。常见异常及含义：
- 301/302：跳转链路过长会浪费抓取额度，尽量让重要页面直达最终地址。
- 404：已删除或写错链接，确认是否需要保留并做跳转。
- 5xx：服务器或程序错误，先修服务再谈索引。
- 软 404：返回 200 但内容是空页或错误提示，容易被判为低质量页面。
执行方法：抽取首页、栏目页、详情页各若干条，用抓取工具或命令行请求，记录状态码与最终 URL。判断结果时看两点：重要页面是否全部为 200，跳转是否一步到位。多人协作时把这份记录附在交付文档里，复查的人不用重新猜。
最后核对 sitemap 与 canonical 是否自洽
sitemap 是主动告知可收录地址的清单，canonical 是指定规范地址的标签。两者指向不一致时，索引结果会变得难以判断。
- 确认 sitemap 里的地址都是 200 状态、可索引、非跳转的最终地址。
- 确认每个页面的 canonical 指向自己或正确的规范版本，而不是全部指向首页。
- 确认 sitemap 没有包含被 robots.txt 屏蔽或被标记 noindex 的地址。
一个可执行的复查动作：随机挑 5 条 sitemap 地址，逐一打开并查看源代码里的 canonical，比对是否一致。如果 sitemap 收录的是带参数的地址，而 canonical 指向无参数版本，就要统一成同一个版本再提交。
交付前的复查清单
把下面几项写进上线检查表，指定一人核对、一人复核：
- robots.txt 可访问，重要目录未被屏蔽，sitemap 地址正确。
- 重要页面无
noindex，响应头无冲突指令。 - 抽样页面状态码为 200，跳转链不超过一跳。
- sitemap 与 canonical 指向同一批规范地址。
- 测试环境屏蔽规则已移除，线上配置与预期一致。
下一步：把这份清单变成可勾选的交付模板，上线后隔一段时间再抽样复查一次状态码与索引情况，确认配置没有被后续改动覆盖。
