Skip to content
SEO与数字营销

改了robots还没生效?先分清缓存、获取与索引

公网返回、重新获取、页面处理分开查,缓存24小时不是生效保证。

By Editorial Team

修改robots文件后,要分三件事确认:公网是否已返回新文件、谷歌是否重新获取、目标页面是否重新处理。谷歌通常将该文件缓存至多24小时,但获取失败时可能更久,这不是改完24小时内必收录或删除的保证。

被挡住的网址仍可能出现在搜索结果中。过了几天还能搜到它,并不能据此认定规则没有生效,完整核对可以参考修改robots后生效与核验方法。

改之前先定什么目的

恢复被误挡的公开文章,先移除相应抓取限制,再检查不索引、规范地址、状态与正文。让公开页面不出现在搜索中,使用适当不索引,并允许读取。保护客户资料或后台,实施真正的身份验证与访问控制,该文件不是保密措施。减少无用网址组合的抓取,先识别实际路径与内容用途,再设计规则。

缓存与读取规则是什么

缓存通常至多24小时,超时、服务端错误等导致无法刷新时可能延长,缓存控制的最大年龄也可能影响寿命。规则只作用于对应的协议、主机和端口,www、非www、子域以及不同端口不能共用效力。文件应放在对应站点根路径,使用纯文本。大小上限为500KB即512000字节,超出部分会被忽略,只使用有效规则,支持有限通配符,不等于任意正则,也不支持用延迟指令控制谷歌爬虫。

发布后先查什么

备份原文件及预期改变的路径,发布后用真实请求核对响应和正文。先确认公网返回的是新文件,再看是否重新获取,最后看目标页面是否重新处理。三步分开,不要混为一次刷新。

搜得到等于没生效吗

不等于。需要排除索引时用不索引说明,不能用屏蔽代替不索引。规则控制遵守规则的爬虫请求范围,恶意抓取另行处理。

Go from blank canvas to front door — fast.

Premium 12-color HD printing on archival satin paper. No sales calls, no minimums on most orders.