この記事について
| 環境 | さくらレンタルサーバー |
|---|---|
| 目的 | 503エラー頻発とアクセス制限を解消する |
| 結果 | bingbot のクロール頻度を robots.txt とウェブマスターツールで制限した |
つまずきポイント要約
- エラーログの AccessExceededNumber はアクセス数上限超過の警告
- 利用統計を見ると bingbot（msnbot）のアクセスが異常に多かった
事象
503エラーが頻発してアクセス制限された。
サーバーコントロールパネルのリソース使用状況
2017/xx/xx php.cgi の過負荷により、CGI/PHPが制限されています。サーバーのエラーログを確認すると AccessExceededNumber がたくさんある。AccessExceededNumber は、サーバ側のアクセス数上限設定を越えているという警告。
サーバーコントロールから見られる利用統計を確認するとbingbot（msnbot）のアクセスが異常に多い。
対策１：robots.txt でクロール頻度を制限
robots.txt に記述
User-agent:bingbot
Crawl-delay:30対策２：Bingウェブマスターツールで調整
Bingウェブマスターツールで、クロールの頻度を調整。
