最近よく落ちて困る。原因はアレだったので、拒否設定しました。

by bambi1964 · 2017年12月18日

最近よくサイトが落ちます。mysqldがシャットダウンしてしまい、DBにつながらない・・・原因はなんでしょう？前回、xmlrpc.phpを狙った攻撃は、iptableで拒否していてそれは今のところ止んでいます。他には・・・あまり聞いたことないようなところからのBotですかね。

サイトのクロールは、GoogleとFacebook、TwitterでOKと思っているので、他は切りたいです。Facebook、Twitterは許可しておかないと、FBに投稿した時サムネイルが消えたままになります。まあ、同期でイメージは不要って話しもあるかもですが、、、

なので、イライラするbotのアクセスを以下のようにして拒否ります。

SetEnvIf User-Agent bingbot shutout
SetEnvIf User-Agent Yeti shutout
SetEnvIf User-Agent Baiduspider shutout
SetEnvIf User-agent Googlebot-Image shutout
SetEnvIf User-agent Yahoo-MMCrawler shutout
SetEnvIf User-agent ia_archiver shutout
SetEnvIf User-agent msnbot-media shutout
SetEnvIf User-agent BaiduImagespider shutout
SetEnvIf User-agent e-SocietyRobot shutout
SetEnvIf User-agent MJ12bot shutout
SetEnvIf User-agent SemrushBot shutout
SetEnvIf User-agent Yahoo! Slurp shutout
SetEnvIf User-agent DotBot shutout
SetEnvIf User-agent BLEXBot shutout

order Allow,Deny
Allow from all
Deny from env=shutout<code>

これを、.htaccessに入れて保存すると、httpdのアクセスコードが200だったのが、403などに変わってアクセスできなくなります。もちろん、正規にはrobots.txtなどおいておけばお行儀の良い検索ボットさんはちゃんとアクセス制御してくれるのですが、そんなのばかりじゃないし・・・私はもっぱらこれで制限してします。