Votre robots.txt bloque peut-être les IA sans que vous le sachiez

Le fichier robots.txt indique aux robots ce qu’ils ont le droit de lire. Il est souvent créé au lancement du site, puis oublié. Le problème est qu’entre-temps de nouveaux robots sont apparus — ceux des moteurs de réponse — et qu’une règle générale écrite en 2021 peut aujourd’hui les exclure.

Les robots concernés

• GPTBot — OpenAI, alimente ChatGPT
• ClaudeBot — Anthropic, alimente Claude
• PerplexityBot — Perplexity
• Google-Extended — contrôle l’usage de vos pages par les fonctions IA de Google, séparément de l’indexation classique
• CCBot — Common Crawl, source utilisée par de nombreux modèles

Comment vérifier, en deux minutes

Ouvrez votre-site.ch/robots.txt dans un navigateur. Cherchez les lignes « Disallow: / » et regardez à quel « User-agent » elles se rapportent. Un « User-agent: * » suivi de « Disallow: / » bloque absolument tout le monde. Un bloc nommant explicitement GPTBot ou ClaudeBot avec un Disallow bloque ces robots-là. Si vous ne trouvez aucune mention de ces noms et aucun blocage global, vous êtes probablement en règle.

Bloquer peut être un choix légitime

Certains éditeurs bloquent délibérément les robots IA pour protéger un contenu payant ou une base documentaire qui fait leur valeur. C’est une décision défendable. Ce qui ne l’est pas, c’est de la subir sans le savoir : une PME qui veut être trouvée n’a aucun intérêt à rester invisible pour les moteurs où ses clients posent désormais leurs questions.