Robots d’IA : faut-il les autoriser ?

Un artisan couvreur découvre dans les journaux de son hébergeur des dizaines de passages de robots au nom inconnu : GPTBot, ClaudeBot, PerplexityBot, Google-Extended. Son premier réflexe est de tout bloquer, par prudence. Les pages officielles des éditeurs décrivent pourtant des robots aux rôles différents : certains servent à l'entraînement de modèles, d'autres à la recherche, d'autres encore agissent à la demande d'un utilisateur. Le bon réglage dépend donc du robot, pas d'une règle globale.

Cet article s'appuie sur les pages officielles d'OpenAI, d'Anthropic, de Perplexity et de Google consultées le 10 octobre 2026. Les trois premières sont rédigées en anglais, sans date visible dans le texte relevé ; celles de Google sont en français et datées. Un relevé de la page de résultats et un relevé de recherche DataForSEO (France, français) complètent la lecture.

Ce que disent les pages officielles

Le tableau reprend, robot par robot, ce que chaque éditeur écrit. Les formulations sont reformulées ; aucune page n'est reproduite.

Relevé de la page de résultats

Relevé du 10 octobre 2026 sur la requête « bloquer les robots ia » (France, français, dix résultats). Seuls les titres, extraits, adresses et dates affichées sont décrits : le contenu des pages n'a pas été relevé.

Lecture du relevé

Parmi les neuf résultats, trois sont des fils de discussion et deux sont des pages du domaine Cloudflare ; aucun n'est la page d'un éditeur de robot. Les extraits parlent de réglages d'hébergeur ou de plateforme en plus du robots.txt : c'est un angle à connaître, mais ce que contiennent ces pages n'est pas relevé ici. La page relevée ne comporte que l'aperçu IA et des résultats naturels, sans question associée ni vidéo.

Un réglage par robot, pas un blocage global

Les pages officielles permettent de ranger les robots en trois familles. Les robots de recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot) servent à faire apparaître les sites dans les résultats de leur service. Les robots déclenchés par un utilisateur (ChatGPT-User, Claude-User, Perplexity-User) agissent quand une personne pose une question. Les robots d'entraînement (GPTBot, ClaudeBot) et le jeton Google-Extended concernent la réutilisation du contenu pour des modèles.

Pour un artisan qui vit de sa visibilité locale, la logique suit ce classement : bloquer un robot de recherche retire le site des résultats de ce service, comme l'écrit OpenAI pour OAI-SearchBot, et Anthropic parle d'une visibilité qui peut diminuer ; bloquer un robot d'entraînement exprime un refus de réutilisation du contenu. Google-Extended demande une précaution : selon Google, il ne touche pas la recherche Google, mais il couvre aussi l'ancrage dans les applications Gemini, pas seulement l'entraînement.

Pare-feu, adresses IP et délais

Le robots.txt n'est pas le seul verrou possible. Anthropic écrit que bloquer des adresses IP peut ne pas garantir durablement un refus, car cela l'empêche de lire le robots.txt. OpenAI et Perplexity, eux, recommandent d'autoriser leurs plages d'adresses publiées pour leurs robots de recherche, et Perplexity détaille une règle de pare-feu (Cloudflare, AWS) qui combine le nom du robot et les adresses. Une règle de blocage trop large peut donc retirer un robot que le site voulait accueillir.

Côté délais, OpenAI indique environ 24 heures entre une mise à jour du robots.txt et la prise en compte pour la recherche, Perplexity jusqu'à 24 heures, et Google met généralement en cache le robots.txt pendant 24 heures, parfois davantage. La page d'Anthropic ne donne aucun délai.

Calcul illustratif : le calendrier d'une modification

Hypothèse fictive : le robots.txt est modifié le lundi 12 octobre 2026 à 9 h. Le tableau applique les repères des pages officielles ; la dernière ligne suppose que le robots.txt répond en erreur 5xx dès cet instant.

Lecture : les trois services qui donnent un délai (OpenAI, Perplexity, Google) annoncent une journée, soit une échéance au mardi 13 octobre à 9 h dans les cas courants. En cas d'erreur 5xx, Google applique la dernière version récupérée jusqu'à 30 jours : un robots.txt qui ne répond pas est un point à surveiller avant toute modification du réglage.

Relevé de recherche

Relevé DataForSEO (France, français) du 10 octobre 2026 sur 32 expressions : 11 sont mesurées, 21 ne le sont pas. Le volume est la moyenne mensuelle sur 12 mois ; la dernière colonne compare août 2026 à septembre 2025. Les deux écritures de robots.txt wordpress renvoient la même série. Langues détectées autres que le français : robots ia, google-extended, perplexitybot, crawler ia et robots.txt wordpress (anglais), gptbot et bloquer chatgpt (catalan), ai crawler (italien).

Sur les 11 expressions mesurées, 8 sont plus basses en août 2026 qu'en septembre 2025, 2 sont plus hautes (google-extended et ai crawler) et 1 est identique. Les volumes sont faibles : hors « robots ia », ambigu, aucune expression ne dépasse 390 recherches par mois. Le volume de claudebot passe de 50 en septembre 2025 à 1 600 en janvier 2026 puis à 40 en août 2026 ; aucune cause n'est établie pour cette série.

Les 21 expressions non mesurées comprennent oai-searchbot, chatgpt-user, claude-user, bloquer gptbot, bloquer claudebot, bloquer perplexitybot, bloquer les robots ia, robots.txt gptbot, robots.txt chatgpt et robots.txt ia. « Non mesuré » ne veut pas dire « jamais recherché » : la base de l'outil ne contient pas ces expressions.

Plan d'action en six étapes

Étape 1 — Identifier les robots présents. Relever dans les journaux de l'hébergeur les noms de robots et les rattacher à leur éditeur ; OpenAI, Perplexity et Anthropic publient des adresses permettant de vérifier l'origine d'une requête.

Étape 2 — Décider famille par famille. Recherche, action d'un utilisateur, entraînement : un choix distinct pour chacune, selon l'objectif de visibilité du site.

Étape 3 — Écrire un groupe par robot. Un bloc User-agent par robot dans le robots.txt, placé à la racine ; Anthropic précise de le faire pour chaque sous-domaine concerné. Les bases du fichier sont dans l'article sur le robots.txt.

Étape 4 — Contrôler le pare-feu et le réseau de diffusion. Vérifier qu'aucune règle ne bloque, par adresse IP ou par nom, un robot de recherche que le site veut autoriser.

Étape 5 — Attendre au moins une journée. Vérifier ensuite les journaux : les repères officiels vont jusqu'à 24 heures, sauf pour Anthropic où aucun délai n'est donné.

Étape 6 — Revoir le choix régulièrement. Les pages des éditeurs évoluent ; pour la recherche Google, les commandes d'aperçu (nosnippet, data-nosnippet, max-snippet, noindex) limitent l'affichage, comme l'indique la page sur les fonctionnalités d'IA. Le suivi des résultats est détaillé dans l'article sur les KPI du GEO.