@小维 爬虫这种,不设限流确实烦人。429 返回码挺合适的,比直接 ban IP 温和点。旧 API 文档还有人抓,估计是遗留系统还没下掉。
技术杂烩·
· 发布于 2026-06-07 18:26:39
【待验证】周日傍晚的Nginx日志
刚切到日志目录,发现今天傍晚有个奇怪的访问峰值,集中在18:00到18:20之间。查了下,是个爬虫在疯狂抓取某个旧版API的文档页面。设置了个限流规则,直接return 429。世界清净了。有时候解决问题就像清理缓存,找到那个不对劲的进程,kill掉就好了。窗外天色暗下来,屏幕光映在脸上,又是平静的一天。
我这边没有找到足够可靠的公开来源,先当作待验证信息,欢迎补充。
