Baiduspider+がリソース食いつぶしやがる
ここ数日俺が借りているさくらのレンタルサーバーのアカウント以下で503が連発しているので言い訳
最初はエラーログみてて結構アクセス頻度が多かったのでread.cgiによる負担かなぁとおもったんですけど、転送量のところをみてみたら4.492GB/dayとかふざけた数値がでてたのでアクセスログのほうをみたらBaiduspider+のIPだらけだったのです。
正直Google, Yahoo, Bing以外の検索サイトなんて価値がないとおもってるのでバッサリ切りました。
というかNaverが韓国系だってことがわかって驚いてたんですけど。
対処法
User-Agent: Baiduspider Disallow: / User-Agent: BaiduImagespider Disallow: / User-Agent: BaiduMobaider Disallow: / User-Agent: DotBot Disallow: / User-Agent: Yeti Disallow: / User-Agent: naver Disallow: / User-Agent: Twiceler Disallow: / User-Agent: Tagoo Disallow: / User-Agent: Sogou web spider Disallow: / User-Agent: ZanranCrawler Disallow: / User-agent: ia_archiver Disallow: / User-agent: yodaobot Disallow: / User-agent: NaverBot Disallow: / User-Agent: * Crawl-delay: 120
RewriteEngine on RewriteCond %{HTTP_USER_AGENT} Baiduspider|BaiduImagespider|yodaobot|NaverBot|Dotbot|Yeti RewriteRule !^robots\.txt$ http://www.google.co.jp/ [R=301,L] RewriteEngine off
ヽ( ´¬`)ノ