这两个文件常被一起提起,职责却不同:一个列出「这里有哪些页面」,一个说明「哪些地址不建议来取」。把范围分清楚,才不会用错工具去解决另一个问题。
01地图是一份清单
站点地图由同一份可枚举的数据生成:首页、栏目、条目详情、工具页与说明页都应该在里头,且每一条都确实可访问、返回正常。新增一类页面时,让生成规则跟着更新,避免页面能打开却没进清单,或清单里留着已不存在的地址。
「站点地图」写给机器看之前,先写给人看:一句能读懂的标题,通常也是最稳的描述起点。
02规则说明边界
robots 文件用于说明不希望被自动取回的路径,例如带查询条件的检索结果页。它是请求而非强制,不能用来保护敏感内容;真需要保护的目录,应当从权限与访问控制上解决,不要指望一段文本声明。
关于「站点地图」,地址一旦公开就尽量别改,稳定比好看更重要。
03定期核对一致性
把地图里的地址逐条请求一遍,统计状态码,确认没有 404、没有指向另一个名字、没有混入临时文件。这个检查很容易脚本化,每次改动后跑一遍,比隔很久才人工翻一次可靠得多。
「站点地图」的同一内容出现在多个地址时,明确一个主地址,能省掉后面的重复判断。
要点速览
- 地图列出可访问的页面,由同一份数据生成。
- 新增页面时同步更新生成规则,避免遗漏或残留。
- robots 只是请求,不能作为敏感内容的保护手段。
- 定期逐条请求地图地址并统计状态码。
一个负责列清单,一个负责划边界,别让它们互相代劳。
