修改robots文件后,要分三件事确认:公网是否已返回新文件、谷歌是否重新获取、目标页面是否重新处理。谷歌通常将该文件缓存至多24小时,但获取失败时可能更久,这不是改完24小时内必收录或删除的保证。
被挡住的网址仍可能出现在搜索结果中。过了几天还能搜到它,并不能据此认定规则没有生效,完整核对可以参考修改robots后生效与核验方法。
改之前先定什么目的
恢复被误挡的公开文章,先移除相应抓取限制,再检查不索引、规范地址、状态与正文。让公开页面不出现在搜索中,使用适当不索引,并允许读取。保护客户资料或后台,实施真正的身份验证与访问控制,该文件不是保密措施。减少无用网址组合的抓取,先识别实际路径与内容用途,再设计规则。
缓存与读取规则是什么
缓存通常至多24小时,超时、服务端错误等导致无法刷新时可能延长,缓存控制的最大年龄也可能影响寿命。规则只作用于对应的协议、主机和端口,www、非www、子域以及不同端口不能共用效力。文件应放在对应站点根路径,使用纯文本。大小上限为500KB即512000字节,超出部分会被忽略,只使用有效规则,支持有限通配符,不等于任意正则,也不支持用延迟指令控制谷歌爬虫。
发布后先查什么
备份原文件及预期改变的路径,发布后用真实请求核对响应和正文。先确认公网返回的是新文件,再看是否重新获取,最后看目标页面是否重新处理。三步分开,不要混为一次刷新。
搜得到等于没生效吗
不等于。需要排除索引时用不索引说明,不能用屏蔽代替不索引。规则控制遵守规则的爬虫请求范围,恶意抓取另行处理。
Go from blank canvas to front door — fast.
Premium 12-color HD printing on archival satin paper. No sales calls, no minimums on most orders.