Il y a encore dix-huit mois, la question qui revenait en boucle dans les réunions marketing tournait autour du positionnement Google. Aujourd’hui, elle a changé de nature. Les responsables de sites, les dirigeants de startups et les directeurs de communication demandent presque tous la même chose : comment faire pour que ChatGPT, Perplexity ou les réponses génératives de Google citent notre contenu plutôt que celui du concurrent ? La réponse ne se trouve presque jamais dans une nouvelle stratégie éditoriale complexe. Elle commence par un fichier texte minuscule, souvent oublié, que très peu d’équipes ouvrent réellement.
Début novembre 2026, un relevé systématique a été réalisé sur le robots.txt de cinquante sites français représentatifs. Dix titres de presse, dix médias spécialisés marketing et tech, dix acteurs e-commerce, dix éditeurs de logiciels et dix sites de voyage. Quarante-trois fichiers ont pu être lus sans subterfuge technique. Ce que ces fichiers révèlent contredit une bonne partie des idées reçues qui circulent depuis deux ans dans les conférences et les newsletters spécialisées.
Trois robots distincts, trois décisions commerciales différentes
Avant même d’ouvrir son propre fichier, il faut comprendre une réalité simple mais rarement expliquée clairement. Chaque grand éditeur d’intelligence artificielle ne dispose pas d’un seul robot. Il en utilise plusieurs, et chacun répond à un objectif précis.
Chez OpenAI, la documentation officielle distingue netement plusieurs agents. GPTBot sert principalement à collecter des pages pour l’entraînement des modèles de fondation. OAI-SearchBot est conçu pour faire apparaître des sites dans les résultats de recherche de ChatGPT. Enfin, ChatGPT-User intervient lorsqu’un utilisateur pose une question qui nécessite d’aller chercher une page précise en temps réel. OpenAI insiste sur le fait que ces réglages sont indépendants les uns des autres. Il est parfaitement possible d’autoriser OAI-SearchBot tout en interdisant GPTBot. Autrement dit, on peut accepter d’être cité tout en refusant que ses textes servent à entraîner le modèle.
Perplexity adopte une logique très proche. PerplexityBot est destiné à référencer et à lier les sites dans les réponses. L’éditeur précise explicitement que ce robot n’est pas utilisé pour alimenter les modèles de fondation. Perplexity-User, en revanche, intervient lorsqu’un humain pose une question. Ce dernier récupérateur ignore généralement les directives du robots.txt, car la demande est considérée comme provenant d’un utilisateur final.
La conséquence est immédiate pour toute entreprise. Bloquer GPTBot et bloquer OAI-SearchBot ne relèvent pas de la même décision. La première protège le patrimoine textuel. La seconde retire purement et simplement le site des réponses génératives. Confondre les deux revient à se priver volontairement de visibilité sans aucune compensation.
La presse ferme sa rédaction mais laisse sa boutique grande ouverte
Sur les quarante-trois fichiers effectivement lisibles, dix-neuf restreignent au moins un robot d’entraînement. Seulement dix restreignent un robot de citation. Et parmi ces dix, neuf appartiennent à des titres de presse.
Le détail est plus éloquent que le chiffre global. Sept de ces dix sites n’appliquent pas un blocage total. Ils posent un Disallow: / sur les robots de recherche des IA, puis réouvrent volontairement certaines rubriques via des règles Allow. Voici les zones qui restent accessibles, relevées telles quelles dans les fichiers :
Les Échos ferment l’ensemble du site à OAI-SearchBot et à PerplexityBot, mais laissent ouverte la rubrique de contenus de marque /thema. La Tribune applique le même principe et conserve /guide-achat/, /partenaires-603/ et /l-instant-selection-405/. L’Usine Digitale autorise l’accès à /publi-redactionnel/, /nos-webinars/ et /cherche-talents-numeriques/. Le Parisien laisse passer Perplexity sur /guide-shopping/. Ouest-France maintient ouvertes /shopping/, /tourisme/ et /publi-info/ en plus de ses éditions régionales. Le Figaro ouvre notamment /voyages, /culture, /style, /beaute, /joaillerie, /horlogerie et /bons-plans. 20 Minutes conserve une quinzaine de rubriques, parmi lesquelles /guide-achat/, /conso, /high-tech/ et /horoscope/.
Seuls trois titres ferment sans aucune exception : Libération, France TV Info et Le Monde (ce dernier uniquement sur le robot de recherche d’Anthropic). Toutes les exceptions ne sont d’ailleurs pas purement commerciales. Le Figaro laisse également accessible /elections/resultats, ce qui relève clairement d’une mission d’information publique.
La tendance reste cependant limpide. Neuf titres de presse sur dix restreignent au moins un robot de citation. Sept d’entre eux protègent leur production journalistique tout en laissant ouvertes les rubriques vendues à des annonceurs ou génératrices de revenus d’affiliation.
Si vous achetez un publi-rédactionnel dans un grand titre français, cette page fait peut-être partie du peu que ChatGPT et Perplexity peuvent encore lire et citer sur ce domaine. C’est un critère qui ne figure dans aucun média-kit.
– Analyse issue du relevé de novembre 2026
Pour un annonceur, la conséquence est concrète et mesurable. Une page sponsorisée peut aujourd’hui bénéficier d’une exposition dans les réponses génératives alors que l’ensemble de la rédaction reste invisible. Ce détail mérite d’être vérifié avant chaque campagne de contenu de marque.
Hors presse, la porte reste grande ouverte
L’attente initiale était de trouver de nombreuses entreprises qui se fermaient par simple imitation des médias. Le constat est exactement inverse. Hors presse, aucun site de l’échantillon ne restreint un robot de citation. Zéro sur six en e-commerce, zéro sur dix chez les éditeurs de logiciels, zéro sur neuf dans le secteur du voyage. Vingt sites sur quarante-trois n’ont même aucune règle nominative visant une intelligence artificielle, ce qui les laisse ouverts par défaut.
Le robot le plus fréquemment bloqué n’est d’ailleurs ni celui d’OpenAI ni celui de Google. C’est CCBot, le robot de Common Crawl, restreint par seize sites sur quarante-trois. Common Crawl constitue l’archive publique dans laquelle les premiers grands modèles ont puisé massivement. Cette ligne de blocage a circulé dans presque tous les articles de 2023 et est restée dans les fichiers bien après que la question stratégique se soit déplacée.
La leçon pour une marque ou une startup est claire. Le vrai danger réside dans l’imitation pure et simple. Recopier le robots.txt d’un grand éditeur de presse sans en partager les raisons économiques revient à se priver de visibilité sans obtenir la moindre contrepartie de licence ou de négociation. Un journal qui monétise ses archives a un intérêt légitime à fermer. Une entreprise qui cherche à être recommandée paie le même prix sans aucun bénéfice.
Le blocage invisible qui se situe au-dessus du robots.txt
Un fichier robots.txt parfaitement configuré ne garantit absolument rien. La décision d’accès se joue souvent à un autre niveau.
Google le rappelle explicitement dans sa documentation destinée aux éditeurs : la première bonne pratique consiste à s’assurer que l’exploration est autorisée à la fois dans le robots.txt et au niveau du CDN ou de l’hébergement. Perplexity va plus loin et publie dans sa documentation les règles Cloudflare à mettre en place, accompagnées des plages d’adresses IP à jour.
Lors du relevé de novembre 2026, sept sites sur cinquante n’ont pas répondu. Six d’entre eux ont opposé un refus 403 à un agent identifié qui demandait simplement un fichier texte public. Leur robots.txt n’interdisait rien. Leur protection anti-bots, en revanche, bloquait tout. Un pare-feu applicatif qui filtre sur la réputation ou sur le débit ne fait généralement pas la différence entre un aspirateur de contenu malveillant et le robot légitime qui vient chercher une page pour répondre à un utilisateur.
La vérification est simple et accessible à toute équipe technique. Il suffit d’interroger les logs serveur sur les trente derniers jours et de rechercher les passages de OAI-SearchBot, PerplexityBot et ClaudeBot. S’ils sont absents alors que le robots.txt les autorise explicitement, le problème se situe dans la couche supérieure (CDN, WAF ou règles Cloudflare).
llms.txt : onze sites sur cinquante, et Google dit non
Le relevé a également porté sur la présence d’un fichier llms.txt. Ce sommaire en markdown est censé aider les modèles à comprendre plus facilement la structure d’un site. Onze sites sur cinquante en possèdent un. Ils proviennent presque tous du même univers : des éditeurs de logiciels et des acteurs du voyage.
Google a tranché la question de façon inhabituellement directe dans sa documentation. L’entreprise indique qu’il n’est pas nécessaire de créer de nouveaux fichiers lisibles par machine, ni de fichiers texte destinés aux IA, ni de balisage particulier pour apparaître dans ses fonctionnalités d’intelligence artificielle. Elle ajoute qu’aucune donnée structurée schema.org spécifique n’est requise.
Le fichier llms.txt coûte environ une heure à produire et ne casse rien. Le présenter comme un levier de visibilité majeur relève cependant davantage d’un pari sur l’avenir que d’une mesure immédiatement efficace.
Ce qui rend réellement un passage reprenable par les modèles
Une fois la plomberie technique vérifiée, la question devient purement éditoriale. Sur ce terrain, il existe désormais un travail de recherche sérieux plutôt que de simples opinions.
L’article fondateur du domaine, GEO: Generative Engine Optimization, publié par une équipe de Princeton en novembre 2023, a testé de nombreuses modifications de contenu sur un banc d’essai de requêtes. Les chercheurs ont mesuré l’effet de ces modifications sur la visibilité dans les réponses génératives. Leurs trois méthodes les plus efficaces consistent à citer des sources, à ajouter des propos d’experts et à remplacer les formulations vagues par des chiffres concrets. Ces techniques améliorent la visibilité de 30 à 40 % sur la première métrique des auteurs et de 15 à 30 % sur la seconde. Pendant ce temps, le bourrage de mots-clés hérité du SEO classique fait 10 % moins bien que de ne rien faire du tout. Les auteurs précisent que l’efficacité varie fortement selon le domaine traité.
Ces résultats rejoignent la façon dont Google décrit le fonctionnement de ses propres réponses génératives. La documentation parle d’une technique de query fan-out : le moteur éclate la question initiale en plusieurs recherches sur des sous-sujets avant de composer la réponse finale. Une page qui traite une question en un seul bloc monolithique est moins exploitable qu’une page où chaque sous-question dispose de son propre paragraphe autonome, avec sa date, son montant et sa source nommée.
Sur le terrain, les pages les plus souvent reprises sont précisément celles qui respectent cette logique. Un guide découpé en questions réelles, avec les tarifs, les délais et les évolutions récentes, se laisse extraire bien plus facilement qu’un long texte continu.
Un dernier réglage technique mérite une vérification systématique, car il peut annuler silencieusement tous les efforts précédents. Google indique clairement que pour figurer comme lien d’appui dans AI Overviews ou AI Mode, une page doit être indexée et éligible à l’affichage d’un extrait. Les balises nosnippet, data-nosnippet, max-snippet et noindex limitent cet affichage. Une directive max-snippet posée il y a plusieurs années pour se protéger des agrégateurs peut aujourd’hui coûter sa place dans les réponses génératives.
Mesurer sa présence sans acheter d’outil coûteux
La mesure reste le point faible de tout le sujet. Autant le reconnaître franchement.
Google précise que les sites apparaissant dans ses fonctionnalités d’IA sont comptabilisés dans le trafic global de la Search Console, dans le rapport Performances, type de recherche « Web ». Aucune ventilation séparée n’est proposée. On voit le total, pas la part attribuable aux réponses génératives.
Trois mesures restent cependant accessibles à tout le monde :
- Le trafic de référence provenant de chatgpt.com, perplexity.ai et des domaines de Copilot dans l’outil d’analyse d’audience. Le volume est encore faible, mais la tendance se lit clairement mois après mois.
- Les logs serveur, pour savoir quels robots passent réellement et sur quelles pages.
- Une liste figée d’une vingtaine de questions stratégiques que l’on repose chaque mois aux principaux moteurs, en notant à la main qui est cité. C’est artisanal, cela prend une heure par mois, mais c’est aussi la seule donnée que personne ne peut retirer.
Les cinq vérifications à réaliser dans l’ordre
Voici la séquence pragmatique que toute équipe peut appliquer sans budget supplémentaire :
- Ouvrir son robots.txt et rechercher OAI-SearchBot, PerplexityBot et Claude-SearchBot. Aucune règle à leur nom constitue une bonne nouvelle : le site est ouvert.
- Vérifier les logs sur trente jours pour confirmer que ces robots passent réellement. S’ils sont absents, inspecter le CDN ou le pare-feu applicatif.
- Chercher les directives nosnippet et max-snippet dans les balises et les en-têtes HTTP.
- Relever le trafic de référence depuis les domaines d’IA pour disposer d’un point de départ daté.
- Travailler le contenu en dernier, uniquement lorsque les quatre points précédents sont au vert, en appliquant les méthodes concrètes d’adaptation au référencement génératif.
Les quatre premières vérifications prennent une matinée et ne se refont qu’une fois par an. La cinquième, en revanche, ne s’arrête jamais.
Une question encore ouverte sur l’évolution des médias
Le relevé de novembre 2026 ne tranche pas une question essentielle. Les éditeurs qui ouvrent aujourd’hui leur rubrique shopping aux moteurs d’IA tout en fermant leur rédaction tiendront-ils cette ligne lorsque les licences seront signées ? La réponse se lira directement dans leurs fichiers robots.txt. Elle est publique et actualisable à tout moment.
Pour les entreprises, startups et marques qui ne disposent pas de la force de négociation des grands groupes de presse, la stratégie la plus rationnelle consiste aujourd’hui à rester ouvertes aux robots de citation tout en surveillant de près les robots d’entraînement. La différence entre les deux est commerciale, pas technique. Et elle se joue dans un fichier de deux kilo-octets que presque personne n’ouvre encore.
Méthode du relevé
Les cinquante sites ont été interrogés le 7 novembre 2026 sur leur seul fichier robots.txt public, avec un agent identifié qui annonçait clairement son nom. Les directives ont été regroupées par user-agent comme le fait un robot d’exploration classique, la règle nominative l’emportant sur la règle générique. Un Disallow: / accompagné de règles Allow a été compté comme restriction partielle plutôt que comme blocage total. Sept sites n’ont pas pu être lus, dont six qui ont opposé un refus 403.
Cette photographie de novembre 2026 offre un état des lieux précis à un moment où les pratiques divergent encore fortement entre la presse et le reste de l’économie numérique française. Elle montre surtout que la visibilité dans les réponses génératives commence bien avant le contenu : elle commence par la décision, consciente ou non, d’autoriser ou d’interdire les robots qui viennent chercher ce contenu pour le citer.
Dans un contexte où les budgets marketing sont sous pression et où chaque canal de découverte compte, ignorer son robots.txt revient à laisser un concurrent plus attentif occuper la place. Les entreprises qui prendront le temps de vérifier ces cinq points simples disposeront d’un avantage structurel durable, bien avant même d’avoir optimisé une seule ligne de texte.
La bataille de la citation dans ChatGPT, Perplexity et les AI Overviews de Google ne se gagne pas uniquement avec de meilleurs contenus. Elle se gagne d’abord en s’assurant que les robots autorisés à citer ces contenus peuvent effectivement y accéder. Tout le reste n’est que littérature.
Les équipes qui traitent encore le robots.txt comme un fichier technique secondaire découvrent progressivement qu’il est devenu un levier stratégique de premier plan. Celles qui l’ont déjà compris prennent une longueur d’avance discrète mais mesurable sur leurs concurrents. Et cette avance se construit, une règle Allow ou Disallow à la fois, dans un fichier que tout le monde peut lire mais que très peu lisent réellement.
À l’heure où les modèles génératifs deviennent le premier point de contact avec l’information pour une part croissante des utilisateurs, la question n’est plus de savoir si l’on doit s’y intéresser. La question est de savoir combien de temps on peut encore se permettre de ne pas le faire.
Abonnez-vous à notre newsletter pour recevoir les derniers articles directement dans votre boîte mail.



Commentaires