Google, Microsoft, OpenAI et Anthropic ont annoncé le 30 octobre 2026 qu’ils liront bientôt le même signal dans robots.txt pour refuser l’entraînement de leurs IA génératives sur le contenu d’un site. Jusqu’ici, chaque fournisseur avait son propre robot et sa propre règle : Google-Extended, GPTBot, une ligne par acteur à surveiller et mettre à jour. L’idée du nouveau signal est de sortir de cette multiplication des règles : une seule déclaration, honorée par plusieurs entreprises à la fois.
Table des matières
Le token proposé : un groupe User-agent dédié à l’entraînement
Le signal prend la forme d’un groupe User-agent à part dans robots.txt, pas d’une nouvelle directive. Le brouillon technique qui le définit, publié le 30 octobre 2026 par Kevin Kelley, ingénieur chez Anthropic, et soumis au groupe de travail AIPREF (AI Preferences) de l’IETF, décrit un token nommé __usage_ai-training :
User-agent: __usage_ai-training
Disallow: /
Un site peut nuancer avec un Allow ciblé, par exemple pour garder son dossier de presse accessible à l’entraînement tout en bloquant le reste. Le brouillon précise un point que beaucoup de sites règlent mal : un groupe générique User-agent: * ne couvre pas ce token. Un site qui bloque déjà tout le monde par défaut devra l’ajouter explicitement pour que son refus d’entraînement soit lu. Ce texte reste une soumission individuelle, pas un standard IETF validé : il peut encore changer avant d’être figé.
Quatre entreprises, quatre calendriers
- Anthropic a déjà commencé à honorer le signal sur une partie de ses services, selon Kevin Kelley, qui prévient toutefois que la couverture complète prendra du temps.
- Google vise un déploiement en 2027, sans date plus précise dans son billet officiel.
- Microsoft/Bing a posé le calendrier le plus net : les nouvelles préférences entrent en vigueur au crawl à partir du 1er février 2027, avec une période de transition dans Bing Webmaster Tools dès le 15 décembre 2026, et un arrêt de la lecture des anciennes balises
NoArchiveetNoCachecomme signal d’entraînement à partir du 1er mars 2027. - OpenAI annonce un support « dans les prochains mois », sans date arrêtée.
Ce décalage compte : au moment où cet article est écrit, le signal est une annonce avec engagement et échéances, pas un comportement actif chez les quatre entreprises. Même Google, qui porte l’annonce, ne vise rien avant 2027.
Ce que le signal ne fait pas
Le billet officiel Google et le brouillon IETF posent les mêmes limites. Ce signal ne bloque pas le crawl : un robot continue de parcourir les pages pour l’indexation, le refus ne porte que sur l’usage « entraînement de modèle ». Il n’a aucun effet rétroactif sur un contenu déjà intégré à un jeu d’entraînement passé. Et c’est une déclaration d’intention des entreprises qui s’y engagent, sans force contraignante : rien n’empêche un robot tiers non signataire de l’ignorer.
La nuance Bing : entraînement et « grounding » ne sont pas la même chose
Microsoft ajoute une distinction propre à Bing, à ne pas généraliser aux trois autres fournisseurs. À côté du contrôle « entraînement », Bing introduit un contrôle séparé pour le « grounding » : l’usage du contenu pour nourrir une réponse générée en direct, comme dans Copilot. Une préférence DisallowExtended garde le contenu exploitable dans les expériences Microsoft elles-mêmes tout en l’excluant des services de grounding revendus à des tiers. Rien dans les billets Google, OpenAI ou Anthropic ne reprend ce découpage entraînement/grounding.
Faut-il modifier votre robots.txt maintenant ?
Pour un artisan ou une PME qui gère déjà son fichier robots.txt à la main ou via une extension, les options actuelles pour refuser l’entraînement IA, comme Google-Extended ou un blocage par user-agent, restent valables et continueront de fonctionner pendant que ce nouveau signal se déploie. Rien n’oblige à les retirer. Ajouter dès maintenant une ligne __usage_ai-training reviendrait à parier sur une syntaxe encore non figée dans un brouillon individuel. Mieux vaut attendre que les quatre entreprises confirment la syntaxe définitive sur leur documentation officielle avant de toucher au fichier. D’ici là, pour qui gère plusieurs sites, la logique rejoint celle déjà posée pour bloquer les crawlers IA au niveau serveur plutôt que robots.txt seul : un signal déclaratif se contourne facilement par un robot qui l’ignore, alors qu’un blocage serveur agit indépendamment de la bonne volonté du fournisseur.
FAQ
Ce signal remplace-t-il Google-Extended et les autres règles par robot ?
Non, pas à ce stade. Les règles existantes par robot continuent de fonctionner pendant le déploiement progressif du nouveau signal. Microsoft est la seule entreprise à avoir annoncé une date d’arrêt précise pour d’anciens contrôles : le 1er mars 2027 pour NoArchive et NoCache.
Ce signal empêche-t-il Google ou OpenAI d’explorer mon site ?
Non. C’est un signal d’usage, pas d’exploration : il porte sur ce que le fournisseur fait du contenu une fois collecté, pas sur le fait de le parcourir. Un site qui veut aussi bloquer le crawl lui-même doit continuer à utiliser les règles Disallow classiques par user-agent de robot.
Dois-je ajouter __usage_ai-training à mon robots.txt dès aujourd’hui ?
Rien ne presse. La syntaxe vient d’un brouillon individuel soumis à l’IETF, pas d’un standard publié, et les quatre entreprises concernées ne l’honorent pas encore toutes. Le plus sûr est d’attendre que Google, Microsoft, OpenAI et Anthropic confirment la syntaxe finale sur leur documentation officielle avant de modifier un fichier qui reste sensible à la moindre erreur.
Crédit photo : Pixabay.
