NNDX,最近google机器人疯狂爬取论坛,导致论坛访问502
NNDX,最近google机器人疯狂爬取论坛,导致论坛访问502。临时搞了个处理方案,每分钟系统检测一次论坛,如果502了,就把论坛后台服务重启一次!
治标不治本,先用着吧
没有硝烟的战场 我说昨天怎么一直进不去呢 是不是被俄罗斯订上了 原来坛主发现问题了,一直以为是自己网络问题。 可以拒绝网络爬虫 碰到好几次这情况了。 他是什么目的呢,盗资料么 kbbjq 发表于 2022-5-18 07:18
原来坛主发现问题了,一直以为是自己网络问题。
一直在优化和调试!!
hyfxp 发表于 2022-5-18 07:32
可以拒绝网络爬虫
还是不拒绝了!!多点收录吧! coal2pvc 发表于 2022-5-18 09:41
他是什么目的呢,盗资料么
爬虫就是收录网站,不然的话,怎么从百度谷歌这边搜索网站找到内容呢 {:1110_549:} 今天暂时没有发生502的情况了。。。 可以拒绝网络爬虫 没有硝烟的战场 {:1110_554:} 终于已经2天正常稳定运行了。没有继续出现502的情况了
页:
[1]