robots.txt具体应该禁止些什么文件｜完整配置示例

robots.txt是放在网站根目录的爬虫协议文件，用来告诉搜索引擎蜘蛛哪些目录、页面不要抓取。很多站长直接网上复制一份，要么屏蔽太少，爬虫浪费配额抓取垃圾页面；要么误封重要目录，导致全站不收录。本文讲清楚到底哪些目录、文件建议禁止抓取，哪些绝对不能禁止。

一、robots可以禁止的对象

robots只能控制爬虫不去抓取，并不能删除已经收录的页面；已经收录的页面需要配合noindex标签或者站长平台删除工具处理。

✅建议禁止抓取的目录/文件类型

• 网站后台管理目录：后台会有大量管理页面、设置页，无公开价值，消耗爬虫配额。
• 插件、主题资源目录：WordPress的wp‑content/plugins、themes，css、js、缓存文件不需要被搜索引擎收录。
• 搜索结果页：站内搜索会生成大量动态重复页面，极易产生垃圾快照。
• 会员、登录注册页面：登录、注册、个人中心，普通访客不需要访问，无需收录。
• 缓存、备份、临时文件：程序生成的缓存、备份压缩包，防止被爬虫抓取泄露。
• 友链页面（可选）：/links/友情链接页，根据需求选择屏蔽，避免分散权重。
• 评论分页：大量评论分页会生成海量重复页面，建议屏蔽。
• 附件下载目录：zip、备份压缩包，避免爬虫抓取备份文件。

❌绝对不能禁止的内容

• 文章、栏目、首页所在主目录，禁止根目录会直接造成网站不收录。
• sitemap地图文件，不要屏蔽sitemap.xml，否则爬虫拿不到站点地图。
• 图片、静态封面图片目录，禁止后图片无法被图片搜索收录。
• css、js不要全部禁止，现代网站爬虫需要渲染页面，完全屏蔽会导致解析异常。

二、WordPress子比主题完整robots.txt示例

User-agent: *
Allow: /

# 禁止后台管理目录
Disallow: /wp-admin/
Disallow: /wp-login.php

# 禁止插件、主题后台资源
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/

# 禁止站内搜索页，防止大量动态垃圾页面
Disallow: /?s=

# 禁止评论分页
Disallow: /comment-page-

# 禁止会员相关页面（按需）
Disallow: /member/
Disallow: /login/
Disallow: /register/

# 禁止缓存、备份目录
Disallow: /backup/
Disallow: /cache/

# 可选：屏蔽友情链接页面，不需要就注释掉
# Disallow: /links/

# 提交站点地图地址
Sitemap: https://你的域名/sitemap.xml

三、逐条说明每一条禁止的意义

1、Disallow: /wp-admin/ /wp-login.php

WordPress后台登录与管理后台，里面全是管理功能页面，没有对外公开价值。不屏蔽爬虫会反复抓取后台页面，浪费抓取配额。千万不要写 Disallow: /wp‑content/，会拦截图片附件。

2、Disallow: /wp‑content/plugins/ /themes/

插件、主题的源码文件，css/js源码，不需要被搜索引擎抓取，只屏蔽插件主题文件夹，图片上传目录/wp‑content/uploads/保持放行，保证文章图片正常抓取。

3、Disallow: /?s=

屏蔽站内搜索，用户在网站搜索会生成大量动态URL，内容高度重复，如果不屏蔽，会产生成千上万无效快照，消耗爬虫配额。

4、Disallow: /comment‑page‑

评论分页，一篇文章评论多会生成大量page‑1、page‑2分页页面，内容几乎完全重复，容易造成重复内容问题。

四、常见踩坑

❌坑1：写 Disallow: /，直接禁止全部抓取，网站直接零收录。

❌坑2：直接屏蔽 /wp‑content/，导致文章图片全部无法抓取，图片搜索流量丢失。

❌坑3：屏蔽 sitemap.xml，搜索引擎拿不到站点地图，新页面发现变慢。

❌坑4：写大量模糊规则，把文章栏目页误屏蔽。

❌坑5：修改robots之后不校验，直接上线，建议使用百度/谷歌robots校验工具检测语法。

五、robots使用补充要点

1. robots.txt必须放在网站根目录，路径为 域名/robots.txt，放子目录无效。
2. robots只是“建议”，恶意爬虫会无视该协议；防爬虫还需要防火墙配合。
3. 禁止抓取 ≠ 删除已收录快照；旧快照需要站长平台删除 + noindex标签。
4. 修改robots后，搜索引擎不会立刻生效，存在缓存周期，可以在站长平台提交robots更新。
5. 子比主题自带robots功能，可以后台直接编辑，也可以上传静态robots.txt到根目录。

六、快速检查清单

✅后台、插件主题目录已屏蔽

✅站内搜索、评论分页已屏蔽

✅uploads图片上传目录保持Allow放行

✅sitemap地址正确填写

✅使用robots校验工具确认语法无错误

✅没有误屏蔽首页、栏目、文章路径

总结

robots.txt核心思想：把无价值、重复、后台页面禁止抓取，把爬虫宝贵配额留给文章、栏目等有效内容。不要过度屏蔽，也不要完全放任爬虫抓取垃圾页面，合理配置可以显著提升网站收录效率。

广告