クロールバジェットとは
Googleが特定サイトに割り当てる1日あたりのクロール上限。サイト規模・サーバー性能・更新頻度で決まる。
誰が気にすべき？
- ECサイト（商品数千ページ）
- ニュース・メディアサイト
- 動的生成ページが多い
- 個人サイト（〜数百ページ）はあまり気にしなくてOK
無駄を減らす施策
1. robots.txtでDisallow
- 管理画面（/wp-admin/等）
- 絞り込み検索結果ページ
- 並べ替えパラメータURL
2. canonicalタグで重複統一
パラメータ違いの重複URLを1つに集約。
3. 不要ページの整理
- noindex + nofollow
- 古い・低品質ページの削除
- 404・410で完全削除
4. サーバー速度向上
レスポンス速度UPでクロール頻度も上がる。
確認方法
- Search Console「クロール統計情報」
- 1日のクロール数推移
- クロール時のレスポンス時間
- サーバーログ解析
まとめ
- 個人サイトはあまり気にしなくてOK
- 大規模サイトは必須対策
- robots.txt・canonical・不要ページ整理
- Search Consoleで定期監視