Définition

Le budget de crawl (ou crawl budget) est le nombre de pages qu’un moteur de recherche est prêt à explorer sur un site sur une période donnée. Il dépend de deux facteurs combinés :

• La limite de crawl : la fréquence supportable par le serveur sans dégrader les performances
• La demande de crawl : l’intérêt du moteur pour le site (popularité, fraîcheur, autorité)

Quand ça devient un sujet

Sur un petit site (moins de 10 000 URL), le budget de crawl est rarement un problème. Il devient critique pour :

• Les sites e-commerce avec des dizaines de milliers de fiches produit
• Les sites avec beaucoup de filtres et de paramètres d’URL
• Les médias publiant en très grand volume
• Les sites multilingues avec hreflang sur de nombreuses zones

Comment l’optimiser

• Maintenir un sitemap XML propre
• Bloquer les zones inutiles via robots.txt
• Utiliser correctement la balise canonique
• Supprimer les pages de faible valeur et résoudre les erreurs 404 / 5xx
• Améliorer la vitesse du serveur (Core Web Vitals)