跳至内容

时光随笔

  • 首页
  • 关于本站
  • 网站运维

Baiduspider

robots.txt 给百度单独放行,前面的屏蔽全作废

2026年10月6日 作者 张工
alt:robots.txt 中 User-agent:* 段与 User-agent:Baiduspider 段的规则对照,后一段只保留两条 Disallow,/author/ 与 /attachment/ 未被继承

我给百度单独写了一段 robots 规则,本意是稍微松一点。日志里它正在抓我明确屏蔽过的作者分页,404。

分类 未分类 标签 Baiduspider、 robots.txt、 SEO、 抓取日志、 百度收录 发表评论

近期文章

  • 提交了百度死链,为什么它还在抓
  • 百度推送成功不等于收录,区别在哪
  • robots.txt 给百度单独放行,前面的屏蔽全作废
  • WebP 压缩参数,我实测出这张表
  • 编辑器里看到的,就是线上会渲染的

近期评论

  1. 不错的见解 发表在 WordPress 自动提交百度:我配了半年,其实一直失败
  2. 开的 发表在 网站突然提示证书不受信任?三个月前埋的雷,今天炸了
© 2026 时光随笔 · 豫ICP备2024090827号