X-Robots-Tag

Ce que l’en-tête contrôle vraiment

Le X-Robots-Tag transporte une directive d’indexation dans l’en-tête de la réponse HTTP, au même rang que Content-Type ou Cache-Control. Ce qu’il exprime est rigoureusement identique à ce que porte la balise meta robots dans le head d’un document HTML : noindex, nofollow, nosnippet, noarchive, noimageindex, max-snippet, unavailable_after. La différence n’est pas sémantique, elle est architecturale. La balise meta suppose une page HTML avec un head que le parseur atteint. L’en-tête, lui, s’applique à toute ressource que le serveur renvoie, un PDF, une image, un fichier CSV, un flux JSON, une archive.

Deuxième différence, celle qui coûte des heures d’audit : la balise vit dans le contenu, l’en-tête vit dans l’infrastructure. Un rédacteur, un plugin SEO ou un champ de CMS contrôlent la première. Une directive Apache, un bloc de configuration Nginx, un middleware applicatif, une règle CDN ou une couche de sécurité contrôlent la seconde. C’est pour cette raison que les incidents d’indexation les plus longs à élucider viennent de l’en-tête plutôt que du HTML : la page consultée dans le navigateur est parfaitement propre, la balise meta robots est correcte, et pourtant l’URL ne rentre pas dans l’index. Personne ne regarde la réponse brute avant le troisième jour.

La documentation robots meta tags de Google Search Central, mise à jour le 24 mars 2026, pose la règle qui structure tout le reste : la directive n’est prise en compte qu’au moment où Google crawle l’URL. Un en-tête n’est pas une déclaration globale déposée quelque part, c’est une réponse par ressource, découverte requête par requête. Tout le raisonnement opérationnel découle de cette phrase.

Syntaxe, directives et mécanique en 2026

La syntaxe est volontairement pauvre : le nom de l’en-tête, éventuellement le user-agent visé, puis les directives séparées par des virgules. X-Robots-Tag: noindex, nofollow vaut pour tous les robots qui respectent le protocole. X-Robots-Tag: googlebot: noindex ne vise que Googlebot et laisse Bingbot faire son travail. Une même réponse peut empiler plusieurs lignes du même en-tête, une par agent, et c’est le seul moyen propre de traiter différemment Googlebot, Googlebot-Image et Bingbot sur une ressource unique. Ce ciblage par agent est justement ce que la plupart des pages qui rankent sur le sujet expédient en deux lignes, alors que c’est le cas d’usage le plus fréquent en environnement multi-marchés.

Parmi les directives, deux familles n’ont pas la même gravité. Le retrait pur et simple de l’index sort l’URL des résultats : elle continue d’être crawlée, elle ne peut plus être servie. Les directives d’affichage, nosnippet, noarchive, max-snippet, max-image-preview, laissent l’URL indexée et bornent seulement ce que Google a le droit d’en montrer. Confondre les deux est l’erreur la plus banale des cahiers des charges techniques, où l’on demande à masquer un extrait et où l’on obtient une désindexation.

Le point qui a réellement bougé depuis dix-huit mois porte sur nosnippet. La documentation Google indique désormais que cette directive, y compris servie par X-Robots-Tag, s’applique à la recherche web, à Images, à Discover, mais aussi aux aperçus générés en haut de la SERP et à l’AI Mode, et empêche le contenu d’être utilisé comme entrée directe de ces surfaces. max-snippet:0 y équivaut, une valeur positive borne le texte disponible. Un réglage d’affichage est devenu un interrupteur de présence dans les réponses génératives.

Faut-il l’actionner ? Notre réponse est non, sauf contrainte contractuelle, réglementaire ou de confidentialité réelle. Les données Ahrefs de décembre 2025 mesurent une chute de 58 % du CTR organique en position 1 quand un AI Overview s’affiche, et l’étude Seer Interactive portant sur 3 119 requêtes entre juin 2024 et octobre 2025 relève que les sites cités dans ces aperçus obtiennent un CTR organique supérieur de 35 % à celui des sites non cités. Poser nosnippet ne récupère pas le clic perdu, ça supprime la seule compensation encore disponible. La directive garde son intérêt sur les contenus sous licence, les fiches tarifaires que l’on ne veut pas voir résumées, les zones à données personnelles.

robots.txt, balise meta et en-tête : qui gagne

Les trois mécanismes ne jouent pas dans la même catégorie et l’essentiel des dégâts vient de là. Le fichier posé à la racine du domaine gouverne le crawl, c’est-à-dire le droit d’aller chercher la ressource. La balise meta robots et le X-Robots-Tag gouvernent l’indexation et l’affichage, c’est-à-dire ce que Google fait de la ressource une fois qu’il l’a récupérée. Un Disallow n’a jamais désindexé quoi que ce soit : il empêche la lecture, et une URL bloquée mais abondamment liée peut rester affichée en résultat, sans titre exploitable ni description.

D’où le piège classique, celui que l’on retrouve dans un audit sur deux. L’équipe pose X-Robots-Tag: noindex sur un répertoire, constate que rien ne bouge, et ajoute un Disallow dans le fichier robots.txt pour accélérer. L’effet est exactement inverse : le crawler cesse de récupérer la ressource, donc il ne voit plus l’en-tête, donc le noindex n’est jamais appliqué et l’URL se fossilise dans l’index. La séquence correcte consiste à laisser l’URL crawlable jusqu’à ce que la désindexation soit constatée dans la Search Console, puis seulement à bloquer le crawl si l’on veut économiser du budget d’exploration.

Entre la balise meta et l’en-tête, il n’y a pas de hiérarchie : la directive la plus restrictive l’emporte quand les deux sont présentes. Une page qui porte index dans son head et noindex dans son en-tête est désindexée. À ne pas confondre avec la déclaration d’URL de référence, qui est un signal de regroupement de doublons, pas une directive d’exclusion : combiner noindex et canonical sur la même URL envoie deux ordres contradictoires et laisse Google arbitrer seul.

Implémentation serveur et fichiers non-HTML

Sur Apache, tout passe par le module headers, dans la configuration du vhost ou dans un fichier .htaccess. Une règle globale se pose avec Header set X-Robots-Tag "noindex, nofollow", mais la forme utile en production est le ciblage par extension via un bloc <FilesMatch "\.(pdf|docx|xlsx)$">, ou par expression régulière sur un motif d’URL. Sur Nginx, la même logique s’écrit avec la directive add_header dans un bloc location, avec un détail qui fait perdre du temps : add_header n’est pas hérité dès qu’un bloc enfant en déclare un autre, ce qui explique des directives qui disparaissent sur une partie de l’arborescence. Sur IIS, l’en-tête se déclare dans les custom headers de la configuration.

Le cas d’usage qui justifie à lui seul de maîtriser cet outil, c’est le non-HTML. Un catalogue PDF, une bibliothèque de documents clients, un export de données, des visuels sous licence : rien de tout cela n’a de head où loger une balise meta. Un site qui laisse ses PDF s’indexer récolte des pages d’entrée sans navigation, sans maillage, souvent dupliquées avec la page HTML correspondante, et qui captent des requêtes de marque à la place de la page commerciale. La commande noimageindex servie sur les répertoires d’images produit le même effet côté Google Images. Pour les fichiers générés dynamiquement, l’en-tête se pose dans le code applicatif au moment de la construction de la réponse, ce qui reste la méthode la plus fiable puisqu’elle suit la logique métier plutôt qu’un motif d’URL.

Une variante mérite d’être connue : data-nosnippet, qui n’est pas un en-tête mais un attribut HTML appliqué à un élément, et qui permet d’exclure un fragment précis de l’extrait sans toucher au reste de la page. Là où X-Robots-Tag raisonne par ressource entière, data-nosnippet raisonne par bloc. Les deux se combinent très bien sur une fiche produit dont on veut protéger le prix mais pas la description.

Netlinking : quand l’en-tête annule un lien acheté

Un lien n’a de valeur que si la page qui le porte est crawlée et indexée. C’est une évidence énoncée, rarement vérifiée. Un éditeur qui sert X-Robots-Tag: noindex sur ses archives, ses pages d’auteur ou l’ensemble de sa rubrique sponsorisée neutralise la totalité des placements qui s’y trouvent, sans que rien ne se voie dans le navigateur. Pire, un en-tête nofollow au niveau de la réponse s’applique à tous les liens de la page d’un coup, sans attribut visible dans le code source du lien lui-même : l’acheteur qui contrôle le HTML autour de son ancre ne voit rien d’anormal.

La vérification tient en une ligne de commande sur l’URL du placement, et devrait faire partie de la recette de toute livraison. Le sujet est d’autant moins théorique que les budgets se tendent : l’enquête Reporter Outreach menée en 2026 auprès de 500 professionnels du SEO indique que 58 % d’entre eux ont augmenté leur budget d’acquisition de liens sur l’année, contre 14 % qui l’ont réduit. Payer davantage pour des pages sorties de l’index est une fuite silencieuse, et c’est une bonne raison de comparer ce que coûte réellement un placement une fois les contrôles techniques faits plutôt que le tarif affiché.

Sur les médias éditoriaux que nous opérons en propre chez Nautilinks, l’état des en-têtes fait partie du build et non d’un contrôle a posteriori : aucune page article ne peut partir en production avec une directive d’indexation restrictive héritée d’un environnement de recette. C’est le genre de garantie qui distingue un réseau opéré d’un inventaire revendu, et que l’on peut vérifier soi-même sur le catalogue de médias consultable sans inscription, URL par URL, avant de commander quoi que ce soit.

Diagnostic et erreurs fréquentes

Le réflexe de base est une requête sur les en-têtes seuls : curl -sI https://exemple.fr/doc.pdf, filtré au besoin sur la ligne qui nous intéresse. Deux précautions : ajouter -L et lire chaque saut de la chaîne de redirection, parce qu’une directive posée sur une URL intermédiaire suffit à condamner la destination, et rejouer la requête avec l’en-tête User-Agent de Googlebot, parce qu’un serveur configuré par agent ne renvoie pas la même chose à un navigateur. À l’échelle d’un site, un crawler de bureau qui expose les directives de réponse fait le travail, avec une édition gratuite limitée à 500 URL selon les conditions publiées par l’éditeur, ce qui suffit pour un échantillon mais pas pour un catalogue. Côté Google, l’outil d’inspection d’URL de la Search Console reste le juge de paix : il indique la raison de l’exclusion, et distingue une exclusion par directive d’une simple non-découverte.

Les erreurs récurrentes se ressemblent d’un audit à l’autre. Une configuration de préproduction promue en production avec son noindex global, incident classique après une refonte, qui vide l’index en quelques jours. Une expression régulière trop gourmande dans un .htaccess, écrite pour viser un répertoire et qui attrape la moitié du site. Une couche CDN ou un pare-feu applicatif qui ajoute son propre en-tête sans que personne dans l’équipe SEO n’ait accès à la console concernée. Un noindex laissé en place plusieurs mois sur des pages que l’on a fini par vouloir indexer, sans que le retrait de la directive ne soit accompagné d’une resoumission.

Un dernier réflexe de diagnostic, valable en 2026 plus qu’avant : quand un site perd de la visibilité pendant une fenêtre d’instabilité algorithmique, la première hypothèse formulée est presque toujours la qualité des liens. Le tableau de bord officiel de Google situe la mise à jour principale de mai 2026 entre le 21 mai et le 2 juin 2026, et une mise à jour anti-spam du 24 au 26 juin 2026. Avant d’imputer une baisse à l’une d’elles, il faut avoir écarté l’hypothèse la plus banale : un déploiement, un plugin, un gestionnaire de PDF ou une couche de sécurité qui a introduit un X-Robots-Tag restrictif au même moment. Cette vérification prend dix minutes et évite des mois de conclusions fausses.