时光随笔
死链文件提交 8 天后,日志里百度还在抓其中两条。查下来有三件事:它不一定还在看你那份文件,抓清单的也不全是百度。
16 篇推送记录全是”成功”,可真蜘蛛一篇正文都没抓过。推送和收录中间隔着两层,这两层分别怎么验,看日志就明白了。
我给百度单独写了一段 robots 规则,本意是稍微松一点。日志里它正在抓我明确屏蔽过的作者分页,404。