ここ何日かのクローラーやbotが酷すぎる

ここ何週間かクローラーやbotのアクセスに悩まされていて寝不足気味ですｗいくらなんでも1秒間に20回もアクセスするとかどうなのよ。あとなぜか、yahooが来ているのと同時にtwitterやらSuperfeedrとかSemrushBotとか何なのよそれ？っていうbotが同時に来やがります。

そういうのが一度にくると、サイトが重くなって反応がなくなります。なので、その時は、

# service http stop

してしばらくしてから

# service http start

したりしていました。

だいたいPHP系のCMSを設置していてるので、そもそも重いです。PHPのキャッシュ系も使っていません（面倒だし）

で、access_logを見ながら地道に.htaccessにIPアドレスを登録して、拒否設定したり、robots.txtを設置したりして来ないでよって設定をしていたのですが、そんなんに従うお行儀のよいbotなんていません。まあ、海外のbotにそんなお行儀を求めても意味ないですが、、、

それでついに今日頭来たので、アクセスを国内限定という設定をしました。こことか見てhtaccessに設定したのです。ただこの設定GoogleとかYahooとかBINGとかのbotも当然はじきます。なので、そこは逆に、allow from の設定をしないといけませんね。

しばらくこれで様子を見て、また対応を考えたいと思います。

関連記事:

HUAWEI MediaPad T2 8 Proを購入 やっとCentOS7を扱ってみる Firefoxが57.0になったけど、それなりな感じ ニンテンドークラシックミニ スーパーファミコン本日発売