Budget de crawl : ce que personne ne dit sur les 100k pages

📌 POINTS À RETENIR

• Le budget de crawl ne devient un vrai problème qu'à partir de 100 000 pages — avant ça, c'est rarement votre priorité n°1
• Googlebot gaspille du budget sur vos URL parasites (filtres, paramètres, pages vides) pendant que vos pages importantes attendent
• Trois leviers concrets : robots.txt, canoniques et maillage interne — dans cet ordre
• Les logs serveur sont votre seule source de vérité sur ce que Googlebot crawle vraiment

⏱️ Temps de lecture : ~7 min

---

Vous avez 150 000 pages sur votre site. Google Search Console vous dit que 40 000 seulement sont indexées. Et pourtant, vous avez soumis un sitemap propre, vos balises sont en ordre, votre contenu est là.

Le problème, c'est souvent le budget de crawl — et plus précisément, ce que Googlebot fait de ce budget pendant que vous regardez ailleurs.

C'est quoi le budget de crawl ? C'est le nombre de pages que Googlebot accepte de visiter sur votre site dans un laps de temps donné. Pas une notion abstraite : une contrainte réelle qui détermine quelles pages entrent dans l'index et lesquelles restent invisibles.

Dans cet article, on va voir pourquoi ce sujet ne concerne vraiment que les gros sites, où part votre budget sans que vous le sachiez, et comment récupérer du crawl sur ce qui compte.

Le budget de crawl, c'est quoi exactement ?

Google a formalisé la notion de crawl budget dans sa documentation officielle sur Search Central. Deux composantes la définissent.

La capacité de crawl : Googlebot adapte sa fréquence de visite à la santé de votre serveur. Si vos temps de réponse sont élevés ou si vos pages mettent du temps à charger, le bot ralentit pour ne pas vous faire planter. Si votre serveur répond vite, il accélère.

La demande de crawl : Google priorise les pages populaires (qui reçoivent des liens) et les pages fraîches (récemment mises à jour). Une page orpheline sans lien interne, publiée il y a deux ans, sans backlink — elle va attendre longtemps.

Ces deux facteurs combinés donnent le volume de crawl que Google est prêt à consacrer à votre domaine. Et ce volume est limité.

Pourquoi ça devient critique au-delà de 100k pages

Google est explicite là-dessus : le budget de crawl n'est un problème réel que pour les sites de grande taille. Si vous avez 500 pages bien structurées, Googlebot reviendra régulièrement sur tout le site sans contrainte.

À partir de 100 000 pages, la dynamique change. Le bot fait des choix. Il ne peut pas tout crawler à la même fréquence, alors il priorise — et pas forcément selon vos priorités à vous.

C'est là que le problème devient stratégique. Un site marketplace avec des pages vendeurs, des filtres, des pages de résultats paginées et des URL de tracking peut générer des millions d'URL que Google ne devrait jamais crawler. Pendant ce temps, vos nouvelles pages de contenu ou vos fiches produits récentes patientent.

Le budget mal alloué se traduit directement par de l'indexation lente — voire absente. Ce n'est pas la même chose qu'un problème de contenu. Sur le diagnostic des problèmes d'indexation, j'explique pourquoi une page peut être crawlée sans jamais être indexée — c'est un niveau de complexité supplémentaire, mais ça commence toujours par comprendre ce que Googlebot visite.

Les voleurs de crawl que personne ne surveille

Voici les coupables récurrents que je retrouve sur presque tous les gros sites.

Les URL de filtres et de facettes. C'est le cas classique du e-commerce. Une catégorie « Chaussures » avec 12 filtres (couleur, pointure, marque, matière, prix) peut générer des centaines de milliers de combinaisons d'URL. Chacune est crawlable. Presque aucune ne mérite d'être indexée.

Les paramètres de tracking. UTM mal gérés, paramètres de session, paramètres d'affiliation — si vos URL changent selon la source de trafic, Google peut crawler la même page en dizaines de versions différentes. Chaque version consomme du budget.

Les pages de pagination. page=2, page=3… jusqu'à page=847. Sur un site avec beaucoup de contenu paginé, ces URL aspirent une part significative du crawl sans apporter de valeur propre.

Les pages avec peu ou pas de contenu. Comptes utilisateurs vides, pages de tags avec un seul article, pages de résultats sans résultats — Google va quand même les crawler si elles sont accessibles. Et chaque visite grignote votre budget.

⚠️ ERREUR COURANTE — Beaucoup d'équipes ajoutent noindex sur ces pages en pensant que ça résout le problème. Une page noindex est quand même crawlée. Elle n'est pas indexée, mais Googlebot y passe quand même. Pour économiser du budget de crawl, il faut bloquer dans robots.txt — ou mieux, corriger la source du problème.

L'outil de référence pour comprendre les architectures qui génèrent ces URL parasites, c'est un crawler SEO. Si vous hésitez entre Screaming Frog, Sitebulb et Oncrawl pour ce travail, le comparatif terrain des crawlers SEO détaille les cas d'usage de chacun.

La méthode pour diagnostiquer et corriger

1. Commencer par les logs serveur

La Search Console vous dit quelles pages sont indexées. Les logs serveur vous disent ce que Googlebot crawle vraiment, à quelle fréquence, et sur quelles URL il passe son temps.

C'est la seule source de vérité. Tous les autres outils sont des approximations.

Extraites les requêtes Googlebot sur 30 jours, triez par nombre de hits, et regardez le top 50 des URL les plus crawlées. Si vous y trouvez des URL de filtres, de paramètres ou de pages vides — vous avez identifié votre problème. Search Engine Journal détaille cette approche dans leur guide sur l'optimisation du crawl budget.

2. Bloquer ce qui n'a aucune valeur

Une fois les URL parasites identifiées, la correction dans robots.txt est souvent la plus rapide. Quelques règles de Disallow bien placées peuvent récupérer des dizaines de milliers de crawls par mois.

Structure typique pour un site e-commerce :

User-agent: Googlebot
Disallow: /recherche?
Disallow: /*?couleur=
Disallow: /*?tri=
Disallow: /compte/

Attention : ne bloquez que ce que vous êtes certain de ne jamais vouloir indexer. Une erreur dans robots.txt sur un gros site peut avoir des conséquences importantes — c'est l'un des points que je vérifie systématiquement lors d'un audit technique SEO complet.

3. Corriger les canoniques

Les balises canoniques mal configurées sont une autre source de gaspillage. Si deux URL différentes (avec et sans paramètre, avec et sans slash final, en http et https) pointent vers des canoniques différentes ou circulaires, Googlebot les crawle toutes.

Auditez vos canoniques avec un crawler, repérez les chaînes, les boucles et les canoniques vers des pages non-indexées.

💡 ASTUCE — Sur les sites avec beaucoup de contenu dupliqué ou near-duplicate (pages de marques proches, déclinaisons de fiches produits), une canonique bien placée vaut mieux qu'un noindex. Elle consolide le signal vers la version de référence au lieu de le diluer.

4. Améliorer le maillage interne

Le maillage interne est souvent sous-estimé comme levier de crawl. Googlebot suit les liens — si vos pages importantes ne sont pas liées depuis d'autres pages crawlées, elles seront découvertes moins souvent.

Concrètement : vos nouvelles pages doivent être liées depuis des pages déjà bien crawlées (catégories, piliers de contenu, homepage). Un article publié dans un coin sans aucun lien entrant peut attendre des semaines avant d'être visité.

Ce point est particulièrement critique sur les plateformes SaaS qui génèrent des pages programmatiques. L'article sur le SEO SaaS et l'architecture produit traite spécifiquement de la façon dont la taxonomie produit influence le crawl et l'indexation à grande échelle.

5. Surveiller dans la durée

Le budget de crawl n'est pas un problème qu'on règle une fois. Chaque déploiement, chaque refonte partielle, chaque nouveau template peut recréer des URL parasites.

Mettez en place un monitoring : logs serveur en continu ou via un outil dédié, rapport de couverture GSC à suivre mensuellement, crawl régulier avec comparaison de delta. Search Engine Land explique bien la mécanique de fond et les signaux à surveiller dans le temps.

FAQ — Budget de crawl

C'est quoi le budget de crawl Google ?

Le budget de crawl désigne le nombre de pages que Googlebot accepte de crawler sur votre site dans un laps de temps donné. Il dépend de deux facteurs : la capacité de crawl (liée à la vitesse de votre serveur) et la demande de crawl (liée à la popularité et la fraîcheur de vos pages). Plus votre serveur est rapide et vos pages populaires, plus Google vous alloue de budget.

Le budget de crawl concerne-t-il tous les sites ?

Non. Google le précise clairement : le budget de crawl n'est un vrai problème que pour les sites de plus de 100 000 pages, les sites dont le contenu change très fréquemment, ou les sites qui génèrent des URL dynamiques en masse. En dessous de ce seuil, optimiser le crawl budget est rarement prioritaire — mieux vaut se concentrer sur la qualité du contenu et le maillage interne.

Comment diagnostiquer un problème de budget de crawl ?

Le meilleur point de départ est le rapport de couverture dans Google Search Console, combiné à l'analyse des logs serveur. Si Googlebot crawle massivement des URL inutiles (paramètres, facettes, pages vides) au détriment de vos pages prioritaires, c'est un signal clair de gaspillage de budget. Un crawler SEO comme Screaming Frog ou Oncrawl permet ensuite de quantifier le volume d'URL parasites.

Bloquer des URL dans robots.txt améliore-t-il le budget de crawl ?

Oui, bloquer les URL inutiles dans robots.txt est l'un des leviers les plus efficaces pour récupérer du budget de crawl. Attention toutefois : une URL bloquée dans robots.txt peut quand même apparaître dans l'index si elle reçoit des liens externes. Pour ne pas indexer une page, préférez la balise noindex. Les deux leviers ont des rôles distincts et complémentaires.

Conclusion

Le budget de crawl est un sujet qu'on sort rarement des tiroirs — sauf quand le trafic organique stagne sans raison apparente sur un gros site. À ce stade, regarder les logs serveur est souvent la révélation.

Ce qu'il faut retenir :

• En dessous de 100 000 pages, ce n'est probablement pas votre urgence du moment
• Les URL parasites (filtres, paramètres, pagination, pages vides) sont les vrais coupables sur la majorité des gros sites
• Logs serveur + robots.txt + canoniques + maillage interne — c'est le quatuor qui règle 80 % des problèmes

Si vous êtes dans cette situation et que vous voulez un diagnostic structuré, le formulaire de contact est là — c'est exactement le type de mission sur lequel j'interviens.