Robots.txt : à quoi sert ce fichier vraiment ?

Un lundi matin, votre site a disparu de Google. Aucune panne, aucune pénalité : une seule ligne de texte, oubliée dans un petit fichier après une refonte, interdit à tous les robots d’explorer vos pages. Ce scénario n’a rien d’exceptionnel, et il coûte des semaines de visibilité avant qu’on ne pense à regarder le fichier robots.txt.

À l’inverse, beaucoup de sites s’en servent pour « cacher » des pages, ce qu’il ne sait pas faire. Voici à quoi il sert vraiment, comment l’écrire, et surtout comment éviter les deux erreurs les plus courantes.

À quoi sert le fichier robots.txt ?

Le fichier robots.txt est un simple fichier texte placé à la racine de votre site (par exemple votresite.fr/robots.txt). Avant d’explorer vos pages, les robots des moteurs de recherche le consultent pour savoir où ils sont invités à aller… ou non. Il sert à trois choses :

• Orienter l’exploration : écarter les zones sans intérêt pour la recherche (administration, résultats de recherche interne, filtres à l’infini) afin que les robots consacrent leur temps à vos pages utiles.
• Ménager votre serveur : limiter les passages inutiles sur les grands sites.
• Indiquer votre sitemap : une ligne suffit pour donner l’adresse de votre plan de site aux robots.

Retenez la nuance : le robots.txt est une demande adressée aux robots respectueux des règles, pas un verrou. Google et les grands moteurs s’y conforment ; un robot malveillant peut l’ignorer.

robots.txt, noindex ou mot de passe : ne pas les confondre

C’est l’erreur numéro un. Bloquer une page dans le robots.txt empêche Google de la lire, mais pas forcément de la lister : si d’autres sites pointent vers elle, elle peut apparaître dans les résultats, sans description. Chaque outil répond à un besoin différent.

Comment lire et écrire un fichier robots.txt

Le fichier repose sur quelques commandes seulement :

• User-agent : désigne le robot visé. L’astérisque (*) vise tous les robots, Googlebot vise celui de Google.
• Disallow : interdit l’exploration d’une adresse ou d’un dossier.
• Allow : autorise une exception à l’intérieur d’un dossier interdit.
• Sitemap : donne l’adresse complète de votre plan de site.

Google comprend aussi deux caractères spéciaux : * remplace n’importe quelle suite de caractères et $ marque la fin d’une adresse. Un exemple typique pour un site WordPress :

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=

Sitemap: https://www.votresite.fr/sitemap_index.xml

Ici, tous les robots sont invités à éviter l’administration (sauf le fichier nécessaire au fonctionnement de certaines fonctions) et les pages de résultats de recherche interne, et le sitemap est indiqué. Le fichier est sensible à la casse et vaut uniquement pour le domaine où il se trouve : un sous-domaine a son propre fichier.

Les 5 erreurs qui font disparaître des pages

1. Laisser Disallow: / après la mise en ligne. Cette ligne interdit tout le site. Elle est parfois posée sur un site en construction, puis oubliée au lancement. Relisez le fichier le jour de la mise en ligne.
2. Bloquer les fichiers CSS et JavaScript. Google a besoin de les charger pour afficher vos pages comme un visiteur. Les interdire fausse son analyse.
3. Utiliser le robots.txt pour désindexer. Pour retirer une page des résultats, laissez-la explorable et ajoutez-lui la balise noindex. Bloquer l’exploration empêche Google de lire cette consigne.
4. Croire qu’il protège des informations sensibles. Le fichier est public : n’importe qui peut le lire, et il dévoile même les dossiers que vous cherchez à écarter.
5. Compter sur Crawl-delay pour Google. Cette commande est ignorée par Google : elle ne règle rien pour son robot.

Comment contrôler votre fichier

Commencez par l’afficher : ajoutez /robots.txt à l’adresse de votre site dans le navigateur. Ensuite, la Google Search Console propose un rapport dédié au robots.txt dans ses paramètres : il indique quelle version Google a lue et signale les erreurs. Son rapport d’indexation affiche aussi les pages « Bloquées par le fichier robots.txt » : vérifiez que ce sont bien celles que vous vouliez bloquer. Pour les autres motifs d’exclusion, voyez pourquoi Google n’indexe pas certaines pages.

Et les robots des intelligences artificielles ?

Les robots de certains assistants IA, comme GPTBot d’OpenAI, déclarent respecter le robots.txt. Vous pouvez donc décider de les autoriser ou de les refuser. Attention à l’arbitrage : refuser ces robots protège vos contenus d’un usage que vous n’avez pas choisi, mais peut aussi réduire vos chances d’être cité dans leurs réponses. Cette décision relève de votre stratégie de visibilité, notre approche GEO l’aborde au cas par cas.

Sur WordPress : où trouver le fichier ?

Si aucun fichier physique n’existe, WordPress génère un robots.txt « virtuel » avec des règles de base. Pour le modifier sans passer par le serveur, l’éditeur de fichiers de Yoast SEO (menu Outils) permet de le créer et de le changer depuis l’administration. Après toute modification, revérifiez l’adresse /robots.txt et testez une page importante avec l’Inspection d’URL. Cette vérification fait partie de tout bon audit technique, et de notre accompagnement SEO.

À lire aussi : pour comprendre ce que Google fait des pages en double, voir le contenu dupliqué : risques réels et solutions.