Derrière chaque IA générative se cache une flotte de robots aux rôles différents. OpenAI en opère trois : GPTBot (collecte pour l'entraînement), OAI-SearchBot (indexation pour les réponses de ChatGPT) et ChatGPT-User (récupération déclenchée par un utilisateur). Anthropic suit le même schéma avec ClaudeBot, Claude-SearchBot et Claude-User. Perplexity utilise PerplexityBot pour la recherche et Perplexity-User pour les requêtes lancées par l'internaute.
L'erreur classique consiste à tout bloquer d'un revers de main « pour protéger son contenu ». Résultat : on disparaît aussi des réponses citées, alors que l'objectif du GEO est précisément d'y figurer. La nuance tient au rôle du bot. Interdire GPTBot limite l'usage de vos pages pour l'entraînement, mais n'affecte pas votre visibilité IA si vous laissez passer les bots de recherche. Chaque robot a son propre user-agent : une directive qui vise l'un n'agit pas sur les autres.
Le critère de décision est donc stratégique. Si vous voulez être cité tout en limitant l'entraînement, autorisez les bots de recherche et d'utilisateur, et réservez le blocage aux seuls crawlers d'entraînement. Un cas particulier mérite l'attention : Perplexity considère Perplexity-User comme un agent déclenché par l'humain, qu'elle n'estime pas tenu de respecter le robots.txt — un point contesté par les éditeurs. Pour aller plus loin, complétez votre robots.txt d'un fichier llms.txt qui oriente ces robots vers vos contenus de référence.