WordPress站点被AI爬虫大量抓取，如何配置规则降低服务器负载

📌 前言：越来越多站长遇到AI爬虫消耗资源

不少搭建WordPress站点的站长，近期发现服务器负载莫名升高，带宽占用持续上涨，但查看访问记录，并不是常见的搜索引擎爬虫。排查日志之后才发现，大量请求来自各类AI训练爬虫，持续遍历全站页面、文章内容。

这类AI爬虫的访问特征和普通搜索引擎爬虫有明显区别，抓取频率高，短时间内发起大量请求，很容易把中小型服务器资源占用，导致正常访客访问站点变慢。很多站点仅仅依靠基础的robots配置，已经不足以管控这类新的爬虫流量。

本篇从识别AI爬虫、查看站点访问日志，到Nginx拦截配置、robots优化，提供一套完整实操方案，用来降低AI爬虫带来的服务器资源消耗。

在动手配置拦截之前，首先需要确认，高负载流量确实来自AI爬虫，避免误拦截正常用户和正规搜索引擎。

WordPress大多基于Nginx运行，可以直接读取访问日志，观察User-Agent字段：

# 查看最近的访问日志（路径按自己服务器实际路径调整） tail -n 200 /var/log/nginx/access.log

提示不同服务器环境，日志存放路径会有差异，宝塔面板一般可以直接在网站设置里找到日志文件。

筛选日志，统计这类请求占比，就可以判断AI爬虫是否为当前高负载的主要来源。

robots.txt属于基础层面的引导文件，虽然部分AI爬虫不一定完全遵守，但仍是第一道基础配置，成本很低，可以先部署。

可以通过FTP、宝塔文件管理器，在网站根目录新建robots.txt，写入规则，禁止指定AI爬虫访问全站或者部分目录。

需要留意：robots只是协议引导，部分AI爬虫会直接忽略该文件，不能作为唯一防护手段，需要搭配Nginx规则使用。

想要更有效的管控，推荐直接在Nginx配置中，根据User-Agent识别并拦截。匹配到AI爬虫特征UA之后，可以直接返回403状态码，终止请求，减少后端PHP、数据库的资源消耗。

# 编辑网站对应的nginx配置 nano /etc/nginx/sites-available/your-site # 配置保存之后，测试配置语法 nginx -t # 重载nginx配置 systemctl reload nginx

注意修改完成一定要执行nginx -t校验语法，避免配置出错导致网站无法访问。

规则部署完毕，不能直接结束，需要观察一段时间服务器状态，确认配置生效，同时检查有没有误拦截正常访客。

top

重点观察CPU负载，对比配置规则前后的数值变化，同时查看带宽占用趋势。

查看日志，确认目标AI爬虫请求是否已经返回403，请求量是否出现下降。如果仍然有新的AI爬虫UA持续访问，就需要收集新特征，补充到拦截规则内。

AI爬虫的流量管控，很难一次性永久解决。随着各类大模型爬虫不断新增，属于需要长期维护的工作。通过robots搭配Nginx拦截的组合方案，可以明显降低中小型WordPress服务器的负载压力，保障真实用户的访问体验。

⚙ 平台名称：环球云域数据平台

🌐官方站点：cloudidc.vip

📖 站内部分内容取自网络，仅作技术学习参考，侵权可联系站长下架

📜 测评资讯不代表平台立场，不对内容真实性与观点负责

🚫 禁止传播违法信息，发现违规内容欢迎向站长举报

💾 配套资源存放云盘，链接失效反馈后将及时更新

THE END