- →Trois familles de robots, trois décisions : l’entraînement est une question de propriété intellectuelle, la récupération une question de visibilité, l’agent déclenché par un humain une question de service rendu à un lecteur réel.
- →Bloquer Google-Extended ne retire pas un site des AI Overviews : ces réponses lisent l’index de Recherche alimenté par Googlebot. Le levier snippet, c’est nosnippet et max-snippet, pas Disallow.
- →L’étude BuzzStream sur une centaine de grands médias US et UK relayée début 2026 montre que 71 % bloquent au moins un crawler de récupération : les hôtes les plus autoritaires sont souvent les plus fermés au canal génératif.
- →Le robots.txt de l’hôte fait désormais partie de la due diligence avant un achat de lien : un lien contextuel peut transmettre du PageRank à Google et rester invisible pour la couche de récupération.
- →robots.txt est une déclaration pour robots coopératifs, pas un contrôle d’accès. Cloudflare a documenté en août 2025 du crawl furtif contournant les directives : ce qui doit être protégé se protège en authentification, WAF ou règles CDN.
- →Mesurer le canal IA au trafic référent est un contresens : les rapports Search Generative AI de la Search Console, lancés le 3 juin 2026, exposent les impressions sans données de clic dédiées.
Trois flux, un seul fichier
Pendant vingt ans, robots.txt a servi à une chose : empêcher un moteur de gaspiller son crawl sur des pages sans valeur commerciale. En 2026, le même fichier tranche une question de politique d’accès, et il la tranche mal quand on le remplit à la va-vite. Trois familles de robots frappent à la porte avec des intentions incompatibles : ceux qui aspirent du texte pour entraîner un modèle, ceux qui vont chercher une page en temps réel pour composer une réponse à une requête, et ceux qu’un utilisateur déclenche lui-même en collant une URL ou en posant une question. Les traiter avec la même ligne Disallow, c’est confondre trois arbitrages économiques distincts.
L’ordre de grandeur donne la mesure du déséquilibre. D’après l’analyse Cloudflare publiée en 2025 sur l’écart entre crawl et clic, l’entraînement représentait près de 80 % du crawl IA observé sur son réseau, avec des taux de renvoi de trafic très faibles pour plusieurs plateformes. Autrement dit : la majorité de la charge que subit un serveur n’a aucune contrepartie de visibilité. C’est précisément cette part qui justifie une politique restrictive, et c’est la seule.
Côté Google, la séparation est plus nette qu’on ne le dit. Googlebot alimente l’index de Recherche, donc les fonctionnalités génératives qui s’appuient sur cet index. Google-Extended est un jeton distinct qui concerne l’usage du contenu par les produits Gemini. La syntaxe du fichier elle-même n’a pas bougé d’un iota, ce sont les jetons user-agent qui se sont multipliés. Un Disallow global sur Googlebot ne retire pas un site de l’IA, il le retire de la Recherche : la confusion coûte cher et on la voit encore.
L’écologie des user-agents en 2026
Chaque éditeur de modèle publie aujourd’hui plusieurs jetons, et la nuance est dans le suffixe. Chez OpenAI, GPTBot collecte pour l’entraînement, OAI-SearchBot indexe pour la fonction de recherche, ChatGPT-User se déclenche quand un humain demande explicitement la lecture d’une page. Anthropic sépare de la même façon son crawler d’entraînement de ses accès initiés par un utilisateur. Perplexity distingue PerplexityBot de Perplexity-User. Bloquer le premier de chaque paire est une décision de propriété intellectuelle. Bloquer le second est une décision de visibilité, et elle se paie immédiatement.
Les volumes ont explosé sur la période. Cloudflare a mesuré entre mai 2024 et mai 2025 une hausse de 18 % du trafic crawler global, de 96 % pour Googlebot, de 305 % pour GPTBot, et de 2 825 % pour ChatGPT-User depuis une base faible. Sur les parts relatives en juillet 2025, la même source situe GPTBot à 11,7 % du trafic de crawl IA contre 4,7 % un an plus tôt, ClaudeBot autour de 10 % contre 6 %, et Bytespider en effondrement de 14,1 % à 2,4 %. Le bilan annuel Cloudflare de décembre 2025 place les bots IA à 4,2 % des requêtes HTML, contre 4,5 % pour Googlebot seul, avec un crawl déclenché par action utilisateur multiplié par plus de quinze sur l’année.
Ce que ces chiffres racontent, c’est un basculement de nature. La part agent, celle qui répond à un humain qui a une intention à l’instant T, est celle qui croît le plus vite. C’est aussi celle qu’un éditeur n’a aucune raison rationnelle de bloquer : elle correspond à un lecteur réel qui a demandé à lire la page, avec un coût serveur d’une requête unitaire. La bloquer relève du réflexe défensif, pas de l’arbitrage.
Le ratio crawl/citation n’est pas un argument SEO
Le chiffre qui circule le plus dans les discussions d’éditeurs vient de Cloudflare : environ 38 000 pages crawlées par Anthropic pour un visiteur renvoyé, environ 194 pour Perplexity, sur les données de juillet 2025. Ce ratio est un argument d’infrastructure, il est solide comme tel. Il ne dit rien de la valeur marketing du canal, et on le voit régulièrement mobilisé comme s’il la mesurait.
La raison est simple : dans un moteur de réponse, la contrepartie n’est pas le clic, c’est la citation nominative dans la réponse générée. Une marque nommée trois fois dans une réponse ChatGPT sur une requête d’évaluation de prestataires capte une part d’intention que le journal de référents ne verra jamais. Google a d’ailleurs lancé le 3 juin 2026 des rapports Search Generative AI dédiés dans la Search Console, couvrant AI Overviews, AI Mode et les fonctionnalités génératives de Discover : la première version expose impressions, pages, pays et appareils, sans données de clic distinctes par fonctionnalité. L’outil officiel lui-même mesure la présence, pas le renvoi. Piloter la façon dont une marque apparaît dans les réponses génératives au trafic référent, c’est utiliser la mauvaise unité.
La position de Google sur le sujet est cohérente et vaut d’être rappelée : son guide d’optimisation pour les fonctionnalités génératives, publié le 15 mai 2026, assume que ce travail reste du SEO, insiste sur le contenu non commoditisé et met en garde contre les formats présentés comme spécifiques au GEO qui ne reposent sur rien de supporté. Il n’existe pas de mécanisme robots.txt de classement IA. Il existe des jetons d’accès, et une politique éditoriale.
Ce que ça change quand on achète un lien
Voici le point que la plupart des acheteurs de liens n’ont pas encore intégré. Le robots.txt du média hôte est devenu un critère de sélection, au même titre que ses métriques d’autorité ou la qualité de son trafic. Un article sponsorisé publié sur un site qui bloque OAI-SearchBot, ClaudeBot et PerplexityBot transmettra son signal à Google normalement, et restera parfaitement invisible pour la couche de récupération qui alimente les réponses génératives. Une même page, deux canaux de distribution, un seul ouvert.
Et la corrélation joue contre l’acheteur. L’étude BuzzStream portant sur une centaine de grands sites d’actualité américains et britanniques, relayée début 2026 par Search Engine Journal, relève que 79 % bloquent au moins un crawler d’entraînement, 71 % au moins un crawler de récupération, 67 % PerplexityBot et 46 % Google-Extended, 14 % bloquant tous les crawlers analysés et 18 % aucun. Les hôtes les plus prestigieux sont statistiquement les plus fermés. Pour un objectif de visibilité dans les moteurs de réponse, la hiérarchie classique de sélection des supports s’inverse en partie, et un média de niche ouvert vaut mieux qu’un quotidien national verrouillé.
Le contrôle prend trente secondes : un curl sur le /robots.txt du domaine avant de valider la commande, en cherchant les jetons de récupération et pas seulement les jetons d’entraînement. C’est une vérification qu’on fait systématiquement sur le catalogue de médias consultable sans inscription, et c’est aussi la raison pour laquelle les médias éditoriaux que nous opérons en propre partagent une politique d’accès homogène et vérifiable plutôt qu’un fichier hérité de chaque installation.
Les erreurs qu’on voit passer en audit
La première, et de loin la plus fréquente : le copier-coller d’une liste de blocage trouvée sur un blog, sans lire les jetons. On se retrouve avec OAI-SearchBot interdit alors que l’objectif déclaré était de refuser l’entraînement, ou avec un Disallow sur un jeton qui n’existe plus depuis dix-huit mois pendant que les trois nouveaux passent librement. Un robots.txt de blocage IA se relit tous les trimestres ou il ne sert à rien.
La deuxième : croire que le fichier est un mécanisme d’application. Cloudflare a documenté en août 2025 une activité de crawl non déclarée attribuée à Perplexity, capable de contourner les directives, avant d’étendre son AI Crawl Control pour identifier ces signatures au niveau du réseau. robots.txt est une déclaration à destination de robots coopératifs. Ce qui doit vraiment rester fermé se ferme en authentification, en règles WAF, en limitation de débit ou en filtrage CDN. Le même acteur a d’ailleurs ouvert une troisième voie avec ses réponses HTTP 402 et son pay-per-crawl : facturer l’accès plutôt que le refuser, ce qui est probablement le vrai débouché du sujet pour les gros éditeurs.
La troisième : confondre blocage de crawl et contrôle de snippet. Si l’objectif est de rester indexé mais de ne pas être repris textuellement dans une réponse, les leviers sont nosnippet, max-snippet et data-nosnippet, pas Disallow. Un Disallow empêche la lecture mais n’empêche pas l’indexation d’une URL connue par des liens entrants, ce qui produit le pire des deux mondes : une entrée dans l’index sans contenu pour la défendre.
La quatrième, plus stratégique : bloquer chez soi ce qu’on laisse ouvert ailleurs. Un contenu syndiqué, repris en marque blanche ou republié par un partenaire continue d’alimenter les modèles sous une autre signature. Le blocage n’a alors pas protégé l’actif, il a juste transféré la citation à quelqu’un d’autre. C’est la même logique qui justifie de calibrer une campagne sur la durée plutôt qu’en à-coups : une politique d’accès ne vaut que si elle couvre toutes les copies du contenu.
L’arbitrage qu’on tient
Pour un site commercial dont le contenu n’est pas le produit vendu, la position par défaut est d’ouvrir la récupération et les accès déclenchés par un utilisateur, et de n’arbitrer que l’entraînement. Le coût serveur du premier groupe est marginal, son bénéfice de visibilité est réel et mesurable depuis juin 2026 dans la Search Console. Le second groupe est une question de patrimoine, à trancher selon que le contenu constitue ou non un actif différenciant.
# Entraînement refusé, récupération et agents autorisés
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: *
Allow: /Pour un média dont l’audience est le modèle économique, la logique s’inverse sur l’entraînement mais pas sur la récupération : refuser d’être cité dans les réponses génératives revient à sortir volontairement de la surface où se déplace une part croissante des requêtes. Le pay-per-crawl est la seule troisième voie sérieuse aujourd’hui, et elle demande une infrastructure que la plupart des sites n’ont pas. Entre les deux, l’immobilisme, qui consiste à laisser un robots.txt rédigé en 2019 arbitrer une question de 2026, reste l’option la plus répandue et la moins défendable.
Nautilinks opère un réseau de médias éditoriaux. Articles écrits en interne, mentions de transparence respectées, mix d'ancres calibré.
Questions fréquentes
Bloquer Google-Extended fait-il sortir un site des AI Overviews ?
Non. Google-Extended concerne l’usage du contenu par les produits Gemini. Les AI Overviews et AI Mode s’appuient sur l’index de Recherche alimenté par Googlebot, donc un Disallow sur Google-Extended ne change rien à la présence dans ces réponses. Le seul levier réel pour limiter la reprise textuelle en Recherche reste la famille nosnippet, max-snippet et data-nosnippet, appliquée au niveau de la balise robots ou de l’en-tête X-Robots-Tag. Bloquer Googlebot, lui, supprime la visibilité organique entière.
Comment vérifier si un média hôte bloque les crawlers de récupération avant d’y acheter un lien ?
Un curl sur le /robots.txt du domaine suffit, en cherchant explicitement OAI-SearchBot, PerplexityBot, Perplexity-User, ClaudeBot et les jetons d’accès utilisateur, pas seulement GPTBot. Beaucoup de fichiers bloquent les deux catégories par copier-coller sans que l’éditeur l’ait décidé. Un hôte fermé à la récupération reste utile pour un objectif Google classique, il est simplement neutre pour un objectif de citation dans les moteurs de réponse. La vérification se fait avant la commande, pas après publication.
Le ratio de 38 000 crawls par visiteur renvoyé justifie-t-il de bloquer Anthropic ?
Ce chiffre Cloudflare de juillet 2025 est un argument de coût d’infrastructure, valable pour un site à forte volumétrie où la charge se traduit en facture. Il ne mesure pas la valeur du canal, parce que la contrepartie d’une récupération n’est pas le clic mais la citation dans la réponse. Pour un site B2B dont la cible interroge un assistant avant de choisir un prestataire, être absent de la base de récupération coûte plus que quelques téraoctets de bande passante.
robots.txt suffit-il à empêcher l’entraînement sur un contenu payant ?
Non, et il faut le dire clairement. C’est une déclaration adressée à des robots coopératifs. Cloudflare a documenté en août 2025 une activité de crawl non déclarée capable de contourner les directives, et a répondu par une détection de signatures au niveau réseau. Tout contenu dont la fuite est un vrai risque doit être derrière une authentification, un paywall serveur, une limitation de débit ou des règles WAF. Le robots.txt exprime une politique, l’infrastructure l’applique.
Faut-il un robots.txt différent selon les objectifs de netlinking et de visibilité IA ?
Pas différent, mais explicite. Le netlinking classique ne dépend que de Googlebot et des crawlers d’outils tiers. La visibilité générative dépend en plus des jetons de récupération de chaque plateforme. Un fichier qui autorise Googlebot et bloque tout ce qui commence par un nom de modèle sert le premier objectif et sabote le second. Le bon réflexe est de lister les jetons par famille avec un commentaire indiquant l’intention, pour que la relecture trimestrielle soit possible.
Que change concrètement le rapport Search Generative AI de la Search Console ?
Lancé le 3 juin 2026, il isole les impressions sur AI Overviews, AI Mode et les fonctionnalités génératives de Discover, avec le détail par page, pays, appareil et date. Il permet enfin de distinguer une perte de visibilité générative d’une perte de position organique, ce qui était jusqu’ici de la déduction. Sa limite est nette : la première version n’expose pas de données de clic dédiées par fonctionnalité, donc le suivi des citations hors Google passe toujours par des outils tiers.
Testez vos connaissances
Quiz : robots.txt et bots IA
1/3Selon l’étude BuzzStream sur une centaine de grands médias US et UK relayée début 2026, quelle proportion bloque au moins un crawler de récupération ?