Alerte au crawl : comment débusquer les problèmes d’exploration dans la GSC
Comprendre les problèmes de crawl n’est pas une mince affaire et ceux-ci peuvent insidieusement faire beaucoup de dégâts sur votre trafic organique et vos conversions. Voici les points d’attention à garder à l’esprit pour éviter la catastrophe ou diagnostiquer rapidement :
Search Console ou gros outils ?
Lorsque l’on pense à l’exploration, on se retrouve rapidement face aux outils externes comme Oncrawl ou Botify et leur coût mirobolant, pour peu que l’on gère un gros site à plusieurs centaines de milliers de pages. Si vous avez plusieurs dizaines de milliers d’euros de budget, alors oui, foncez. Si, comme beaucoup, vous n’avez pas ça sous le coude, alors vous pouvez vous rabattre sur des solutions pour petits sites comme le Log File Analyzer de Screaming Frog ou… la Google Search Console !
La GSC dispose donc d’une version simplifiée de ces gros outils, située dans Paramètres > Statistiques sur l’exploration, et offre de nombreuses fonctionnalités intéressantes qui permettent souvent de débusquer de gros soucis sans avoir à débourser un rouble.
Est-ce pour autant suffisant ? Non, mais souvent faute de mieux, la plupart des référenceurs se rabattent dessus avec un succès certain.
Les points d’attention
Vous voilà maintenant dans l’espace « Statistiques sur l’exploration » de la Search Console. Les sections à regarder sont :
- La stabilité du total des demandes d’exploration
- Si l’hôte rencontre des problèmes
- Le niveau d’actualisation/découverte des URLs
Total des demandes d’exploration
Le total des demandes d’exploration doit rester stable, hormis lorsque du nouveau contenu est créé. Même si une augmentation drastique peut parfois indiquer un intérêt accru de la part de Google, c’est souvent révélateur de problèmes plus profonds, liés à la présence de contenu dupliqué par exemple.
État de l’hôte
À ignorer la plupart du temps SAUF lorsque des problèmes sont mentionnés. Des troubles de serveur par exemple y sont régulièrement mentionnés et peuvent être relayés rapidement aux équipes concernées pour une résolution rapide.
Actualisation et découverte des URLs
De manière générale, le niveau de découverte de nouvelles URLs devrait rester faible, même en cas de publication importante de nouveaux contenus.
Si le niveau de découverte dépasse 10-20%, alors il est fort probable qu’un nombre considérable d’URLs indésirables (avec paramètres d’URL par exemple) soient explorées et attire l’attention de Google sur des pages à faible valeur.
Et le remède ?
Il dépend bien sûr du problème déniché, mais ce rapport d’exploration de la Search Console est souvent le point de départ de tests profonds.
Un niveau de découverte d’URLs anormalement élevé ? Un crawl Screaming Frog peut probablement me confirmer d’où ça vient. Un souci d’exploration du fichier robots.txt ? Il serait probablement bon de vérifier avec les développeurs si des changements récents ont eu lieu.
Que l’on soit à la recherche d’une optimisation de son budget de crawl ou de la source d’une chute drastique de son trafic, l’exploration est souvent un bon point de départ.
Bien évidemment les autres éléments (type de fichier, type de Googlebot), ont également leur importance mais constituent moins fréquemment les premières zones à étudier.
Il ne reste plus qu’à monitorer régulièrement cet espace crucial de la GSC et de prendre les mesures adéquates. Ne pas se gêner, c’est gratuit !