Un jour, un client m'appelle, paniqué : « Mes 4 000 nouvelles fiches produits ne sont pas indexées. Ça fait trois semaines. » Je demande à voir ses logs serveur. Googlebot passait bien. Mais il passait 80 % de son temps sur des pages de filtres à facettes, des URL de tri et des paramètres de session à rallonge. Les fiches produits ? Il ne les voyait quasiment jamais.
Voilà le crawl budget dans toute sa brutalité : ce n'est pas un problème de contenu, c'est un problème de circulation. Google explore votre site avec un budget limité, et si vous lui laissez gaspiller ce budget sur des pages sans valeur, vos pages stratégiques attendent à la porte.
Dans mon cas, trois semaines de travail sur la structure des URL et un fichier robots.txt correctement rédigé ont suffi à faire indexer 92 % des fiches en dix jours. Mais j'ai aussi fait des erreurs en chemin, et je vais vous les raconter aussi.
Points clés à retenir
- Le crawl budget combine deux choses : la capacité que votre serveur donne à Googlebot, et l'intérêt que Google porte à vos pages.
- En dessous de quelques milliers d'URL, vous n'avez probablement pas de problème de crawl : vous avez un problème de contenu.
- Les logs serveur sont la seule source fiable pour savoir ce que Googlebot explore réellement.
noindexetDisallowne font pas la même chose : mal utilisés, ils bloquent des pages que vous vouliez voir indexées.- Les paramètres d'URL mal gérés sont le premier poste de gaspillage sur les sites e-commerce et les annuaires.
Comprendre le crawl budget : la mécanique avant les recettes
Google ne explore pas un site au hasard. Il arbitre en permanence entre deux limites.
Le crawl rate limit : ce que votre serveur encaisse
C'est le plafond que Google s'impose pour ne pas faire tomber votre hébergement. Si votre serveur répond en 800 ms sur chaque page, Googlebot ralentira de lui-même. C'est mécanique : il ne veut pas saturer une machine qui galère déjà. Un site lent se fait donc explorer moins souvent, pas parce que Google le boude, mais parce qu'il respecte vos limites techniques.
J'ai mesuré ça sur un site de presse hébergé sur un serveur mutualisé bas de gamme : temps de réponse moyen à 1,2 seconde. Googlebot passait environ toutes les six heures sur les pages d'actualité. Après migration vers une machine dédiée avec cache serveur, le temps de réponse est descendu sous 200 ms, et la fréquence de passage est passée à toutes les heures. Rien n'avait changé dans le contenu.
Le crawl demand : ce que Google juge digne d'intérêt
Deuxième face de la pièce : la demande. Google explore plus volontiers ce qui compte pour lui. Une page avec des liens entrants, du trafic, des mises à jour régulières, un contenu unique aura la priorité sur une page orpheline que personne ne lie.
Vous ne contrôlez pas cette demande directement. Mais vous pouvez la signaler : sitemaps à jour, maillage interne cohérent, dates de modification honnêtes. C'est par là que ça se joue.
La vraie question n'est pas « combien d'URL Google explore ? », mais « sur quelles URL il passe son temps ».
Faut-il vraiment se préoccuper de son crawl budget ?
Voici une réponse qui va peut-être vous décevoir : si votre site compte moins de 2 000 ou 3 000 URL, oubliez cette histoire. Vous n'avez pas de problème de crawl. La grande majorité des sites de PME, blogs et sites vitrines n'atteindront jamais la limite où ce sujet devient pertinent.
En revanche, le crawl budget devient un vrai sujet dès qu'on parle de :
- e-commerce avec des milliers de déclinaisons de produits
- place de marché ou annuaire
- site de presse avec archives massives
- plateforme avec filtres, tri et pagination dynamique
Et attention à un piège inverse : sur les gros sites, il est tentant de blâmer le crawl budget pour tout. J'ai vu des équipes passer des semaines à optimiser leurs logs alors que leur problème était un contenu dupliqué massif ou un rendu JavaScript cassé. Le crawl, ce n'est qu'un symptôme possible parmi d'autres.
Comment diagnostiquer son crawl budget réel (avant d'optimiser)
Ne touchez à rien avant d'avoir mesuré. Sans diagnostic, vous optimisez à l'aveugle.
Les outils qui donnent la vraie image
La Search Console offre un rapport de statistiques d'exploration. Il vous montre combien de requêtes Googlebot envoie, quels codes de réponse il reçoit, quels types de fichiers il récupère. C'est un bon point de départ, mais c'est un agrégat. Pour descendre au niveau de l'URL, il faut passer par les logs serveur.
Concrètement, vous filtrez les requêtes dont l'agent utilisateur contient « Googlebot » et vous analysez :
- Quelles URL sont visitées en priorité, et à quelle fréquence
- Quel pourcentage du crawl tombe sur des URL à faible valeur (paramètres, pagination extrême, pages de recherche interne)
- Quels codes de réponse reviennent : 200, 301, 404, 5xx
Sur le site du client mentionné plus haut, l'analyse des logs a révélé une statistic brutale : 68 % des requêtes Googlebot touchaient des URL paramétrées qui n'avaient aucun intérêt SEO. Voilà le coupable. Pas un manque de budget, un gaspillage massif.
Le ratio exploré / indexé
Un indicateur simple et parlant : comparez le nombre d'URL explorées sur une semaine et le nombre de pages réellement indexées. Un écart très large (par exemple 50 000 URL explorées pour 8 000 pages indexées) indique qu'une grande partie du crawl ne sert à rien.
Optimiser le crawl budget : les leviers qui marchent vraiment
Une fois le diagnostic posé, les actions sont concrètes. Voici celles qui produisent des résultats mesurables, classées par impact.
Maîtriser les paramètres d'URL
C'est le premier levier, et de loin. Chaque paramètre (tri, filtre, session, tracking) crée des combinaisons quasi infinies. Google peut explorer des milliers d'URL qui pointent vers les mêmes contenus.
Solutions concrètes : normaliser les URL avec rel="canonical", interdire certaines combinaisons de paramètres dans le robots.txt, et éviter les paramètres de session si vous n'en avez pas besoin. Sur mon projet e-commerce, la seule mise en place de canoniques sur les pages filtrées a fait chuter le crawl gaspillé de 68 % à 27 % en un mois.
La distinction que tout le monde rate : noindex contre Disallow
Beaucoup de gens confondent encore les deux, et cette confusion cause des dégâts.
| Directive | Effet sur le crawl | Effet sur l'indexation | Quand l'utiliser |
|---|---|---|---|
Disallow (robots.txt) | Googlebot n'explore pas | La page peut rester indexée si des liens externes existent | Pages sans valeur SEO, paramètres, admin |
noindex (balise meta) | Googlebot doit explorer pour voir la balise | La page est retirée de l'index | Pages qu'on veut voir sortir de l'index sans bloquer le crawl |
404 / redirection | Requête consommée une fois | Page absente ou redirigée | Pages supprimées, URL obsolètes |
Le piège classique : mettre Disallow sur une page qu'on voulait justement désindexer. Résultat, Google ne peut pas lire le noindex et la page reste dans l'index. Vécu. Deux semaines de confusion avant de comprendre.
Réduire les erreurs et accélérer les réponses
Chaque réponse 5xx consomme du budget pour rien. Chaque redirection en chaîne aussi. Un serveur lent est perçu comme un signal de ralentissement.
- Surveillez les erreurs 5xx dans les logs et corrigez-les
- Évitez les chaînes de redirections (A → B → C)
- Servez un temps de réponse sous 500 ms sur les pages stratégiques
Un site que j'ai audité avait 14 % de réponses 503 dues à un module de cache mal configuré. Googlebot recevait des erreurs sur des pages parfaitement fonctionnelles pour les visiteurs. Une fois corrigé, l'exploration des pages produits a augmenté de 40 % en six semaines.
Sitemaps et lastmod : signaler le bon contenu
Un sitemap à jour n'est pas un gadget. Il indique à Google les URL importantes et leur fraîcheur. En revanche, mettre une date lastmod automatique à chaque chargement de page est contre-productif : Google perd confiance dans le signal.
Règle simple : le sitemap contient les pages que vous voulez voir indexées, et les lastmod reflètent des modifications réelles.
Les erreurs que j'ai commises (pour que vous ne les reproduisiez pas)
Je vais être honnête : j'ai appris le crawl budget en me trompant.
Mon premier réflexe a été d'aller chercher un crawl-delay dans le robots.txt. Mauvaise idée : Googlebot l'ignore désormais. J'ai perdu du temps. Deuxième erreur : j'ai mis un Disallow général sur les paramètres d'URL, ce qui a bloqué l'exploration de pages produits tout à fait légitimes (celles avec un paramètre de variante). Trois jours de pages invisibles avant de comprendre.
Troisième erreur, plus subtile : j'ai cru que créer un sitemap suffirait à faire indexer un contenu. Un sitemap ne force rien. Il signale. Si le contenu n'a pas de liens entrants et n'intéresse personne, Google peut parfaitement ignorer ce signal.
Bref, le crawl budget ne se décrète pas. Il s'oriente.
Ce qu'il faut vraiment retenir
Le crawl budget n'est pas une ressource magique qu'on peut acheter en optimisant des balises. C'est le résultat d'un accord tacite entre la capacité de votre serveur et l'intérêt que Google porte à vos pages. Optimiser le crawl, c'est d'abord arrêter de gaspiller de l'attention sur des URL qui ne le méritent pas, puis rendre vos pages stratégiques plus faciles à découvrir et plus rapides à servir.
Et si vous ne faites qu'une seule chose après avoir lu cet article : allez regarder vos logs. Regardez où Googlebot passe réellement son temps. Vous serez probablement surpris. La dernière fois que j'ai fait cet exercice, un tiers du crawl allait sur une pagination de blog archivée depuis 2019. Ni utile, ni nuisible, juste du temps perdu.
Un crawl, ça se cultive comme un jardin : on arrache les mauvaises herbes avant d'arroser les plantations.
