L’analyse de logs consiste à lire les journaux d’accès du serveur web, le fichier qui enregistre chaque requête reçue, pour voir quelles URL les robots d’exploration (Googlebot en tête) demandent réellement, à quelle fréquence et avec quel code de réponse. Cette lecture porte sur les fichiers bruts du serveur, pas sur un rapport déjà résumé par un outil tiers.
Prenez une boutique en ligne de 3 000 pages tenue par une petite équipe marketing. L’examen des logs révèle que les robots visitent très souvent les URL de filtres générées par la navigation à facettes (couleur, taille, prix), et beaucoup plus rarement les fiches produits qui font le chiffre d’affaires. Le temps que les robots passent sur des pages à faible valeur est autant de passages qui n’atteignent jamais les pages qui comptent vraiment.
Table des matières
Ce que montre, et ne montre pas, le rapport Crawl Stats de Search Console
Google Search Console propose un rapport Statistiques sur l’exploration qui restitue un historique agrégé : nombre de requêtes par jour, répartition par code de réponse (200, 301, erreur 404, 5xx), temps de réponse moyen et état général de l’hôte. Ce rapport reste une synthèse construite par Google, pas la liste brute des requêtes. Google le précise lui-même : si le nombre total de requêtes qu’il affiche dépasse nettement ce que montrent les journaux du serveur, cela peut signaler un fichier robots.txt resté indisponible trop longtemps pendant ses vérifications (source). Les deux outils se complètent sans se remplacer : la Search Console donne la tendance, les journaux donnent le détail ligne par ligne.
Vérifier qu’une ligne de journal vient vraiment de Googlebot
Le user-agent inscrit dans une ligne de journal se déclare, il ne se prouve pas : un script peut très bien se présenter comme « Googlebot » sans l’être. Google documente deux façons de vérifier l’origine réelle d’une requête (source) : la recherche DNS inversée sur l’adresse IP, qui doit renvoyer un domaine en googlebot.com, google.com ou googleusercontent.com, confirmée ensuite par une recherche DNS directe dans l’autre sens ; ou la comparaison de l’IP avec les plages officielles que Google publie et met à jour. Une analyse qui compte toutes les lignes « Googlebot » sans vérifier l’IP risque de mesurer un robot usurpé plutôt que le vrai.
Les limites à connaître avant de s’y mettre
L’accès aux journaux dépend de l’hébergement : certains hébergements mutualisés ne gardent que quelques jours d’historique ou limitent l’export, quand un serveur dédié ou un VPS permet de tout conserver. Sur un site à fort trafic, le volume de lignes grossit vite et rend la lecture à l’œil nu impossible : il faut un minimum d’outillage pour filtrer et compter. Les journaux contiennent aussi des adresses IP, qui sont des données personnelles au sens du RGPD : on les conserve le temps nécessaire à l’analyse technique, pas indéfiniment, et on évite de les recouper avec d’autres données d’identification sans base légale.
Une analyse de logs ne remplace pas la Search Console, elle la complète : l’une confirme que Google explore le site, l’autre montre comment il le fait vraiment, page par page, filtre par filtre.
Crédit photo : Pixabay.
