L’exploration, ou crawl, désigne la visite d’une page web par un robot qui en lit le contenu et suit ses liens vers d’autres pages. Une page que ce robot n’a jamais visitée n’a aucune chance d’apparaître dans les résultats de recherche, aussi bien écrite soit-elle.
Prenez un artisan plombier qui vient de publier une page « intervention chauffe-eau » sur son site. Tant qu’aucun robot n’est passé la lire, elle n’existe pour Google ni dans un sens ni dans l’autre : pas de visite, pas d’indexation, pas de classement, même si le texte répond parfaitement à la question d’un client.
Table des matières
Googlebot, le robot qui explore pour Google
Le robot qui remplit ce rôle pour Google s’appelle Googlebot. Il découvre une nouvelle page de deux façons : en suivant un lien depuis une page qu’il connaît déjà, ou via un sitemap XML que le site lui soumet. C’est tout l’enjeu du maillage interne : une page reliée nulle part ailleurs sur le site est une impasse pour Googlebot, même si elle existe bel et bien sur le serveur.
Le sitemap XML complète le maillage sans le remplacer. C’est une liste de pages que le site transmet directement à Google, pratique pour signaler une page tout juste publiée en attendant qu’un lien interne vienne la relier au reste du site. Un sitemap accélère la découverte, il ne dispense jamais de relier correctement ses pages entre elles.
Googlebot n’est pas un robot unique mais deux : une version qui simule un visiteur sur smartphone et une version qui simule un visiteur sur ordinateur de bureau. Google indexant en priorité la version mobile des sites pour la quasi-totalité d’entre eux, la majorité des visites provient du robot mobile. Les deux répondent toutefois au même nom dans le fichier robots.txt : impossible de bloquer l’un sans bloquer l’autre.
Sur le rythme des visites, Google est précis : Googlebot ne devrait pas accéder à un même site plus d’une fois toutes les quelques secondes en moyenne, même si de courts pics peuvent dépasser ce rythme. Un petit site de PME n’a donc rien à craindre d’une surcharge, le robot ajuste son passage à ce que le serveur peut encaisser.
Le nombre de pages explorées à chaque visite, et la fréquence des visites elles-mêmes, ne sont pas fixes non plus. Google explique que Googlebot s’appuie sur un processus algorithmique qui décide quels sites explorer, à quelle fréquence et combien de pages y récupérer à chaque passage. Ce calcul dépend de signaux propres à chaque site, pas d’un chiffre identique pour tous.
De l’exploration au classement : trois étapes distinctes
Le parcours d’une page sur Google se déroule en trois temps que la documentation officielle de Google détaille, et qu’il vaut mieux ne pas confondre. L’exploration, d’abord : Googlebot visite la page et en lit le contenu. L’indexation, ensuite : Google analyse ce contenu (texte, balises de titre, attributs alt des images) et décide si la page rejoint son index, notamment en vérifiant qu’elle n’est pas un doublon d’une page déjà connue. Le classement enfin, que Google appelle aussi le « serving » : au moment d’une recherche, parmi les pages indexées jugées pertinentes, des centaines de facteurs (localisation, langue, appareil de l’internaute) déterminent leur ordre d’apparition.
Ces trois étapes sont indépendantes. Une page peut être explorée sans jamais être indexée, par exemple si son contenu est jugé trop faible ou si une balise meta robots l’interdit explicitement. Et une page indexée n’est pas pour autant bien classée : elle entre simplement dans la course, rien ne garantit sa position.
Ce qui empêche Googlebot d’explorer votre site
Trois blocages reviennent le plus souvent chez les petites structures. Le premier est une règle du fichier robots.txt qui interdit l’accès à une partie du site, parfois posée des années plus tôt par un développeur pour un environnement de test puis jamais retirée. Le sujet est traité en détail dans notre article sur le blocage des robots via robots.txt.
Le deuxième blocage, ce sont les liens absents : une page publiée mais reliée à aucune autre, souvent une fiche produit ajoutée hors menu et de tout lien contextuel. Une boutique en ligne qui met en vente cinquante nouvelles références via un flux automatisé, sans jamais les relier depuis une page de catégorie ou un article du blog, se retrouve avec cinquante pages fantômes, présentes sur le serveur mais invisibles pour Googlebot. Sans sitemap à jour, cette situation peut durer des mois sans que personne ne s’en aperçoive.
Le troisième, ce sont les erreurs serveur : une page qui renvoie une erreur 500, un temps de réponse trop long, ou un hébergement qui coupe l’accès au robot. Un site lent ou instable finit par recevoir moins de visites du robot, qui ajuste son rythme d’exploration à la capacité réelle du serveur. Notre article sur le SEO technique sous WordPress détaille les réglages de vitesse et de cache qui évitent ce genre de situation.
Vérifier que Googlebot explore bien votre site
La Search Console de Google, gratuite, classe les pages du site en catégories précises : indexée, explorée mais non indexée, bloquée par une règle robots.txt, ou en erreur serveur au moment du passage du robot. Chaque catégorie pointe vers une cause différente, donc une correction différente : ce point figure parmi les premiers à contrôler dans tout audit SEO sérieux.
C’est le premier endroit à consulter avant de retoucher le contenu d’une page qui ne se classe pas : si Googlebot ne l’a jamais explorée ou l’a explorée puis écartée, aucune réécriture ne changera quoi que ce soit tant que le blocage n’est pas levé. Un réflexe complète cet outil : taper site:votredomaine.fr dans Google fait remonter les pages au minimum indexées, celles qui manquent à l’appel méritent une vérification dans la Search Console.
Avant d’optimiser le texte d’une page, vérifiez donc qu’elle est explorable : un lien interne qui pointe vers elle, aucune règle robots.txt qui la bloque, aucune erreur serveur qui la rend inaccessible. Le reste du travail de référencement ne sert à rien tant que Googlebot ne passe jamais.
Crédit photo : Pixabay.
