L'essentiel
- Il existe trois familles de robots : entraînement des modèles, indexation pour les réponses des assistants, et visites déclenchées par un utilisateur.
- Bloquer les robots d'entraînement n'empêche pas d'apparaître dans les moteurs : Google précise par exemple que Google-Extended n'a aucun effet sur Google Search.
- Les robots qui agissent pour un utilisateur peuvent ignorer le robots.txt, selon la documentation de plusieurs éditeurs.
- Le robots.txt ne protège pas un serveur : pour la charge, il faut mesurer, filtrer les URL inutiles et limiter les abus côté serveur.
Trois familles de robots
- Les robots d'entraînement collectent des pages pour entraîner les modèles (GPTBot, ClaudeBot, MistralAI-Training…). Les autoriser ou non relève de votre politique de contenu, pas de votre visibilité immédiate.
- Les robots d'indexation pour les assistants constituent l'index dans lequel puisent les réponses (OAI-SearchBot pour la recherche de ChatGPT, Claude-SearchBot, PerplexityBot, et Googlebot pour les AI Overviews et le mode IA de Google). Les bloquer, c'est disparaître de ces réponses.
- Les visites déclenchées par un utilisateur (ChatGPT-User, Claude-User, Perplexity-User…) ont lieu quand quelqu'un demande à un assistant de consulter une page. Elles ressemblent davantage à un visiteur qu'à un robot d'exploration.
Les principaux robots en 2026
| Éditeur | Robot (token robots.txt) | Rôle | robots.txt |
|---|---|---|---|
| OpenAI | GPTBot | Entraînement des modèles | Nom documenté |
OAI-SearchBot | Indexation pour la recherche de ChatGPT | Nom documenté | |
ChatGPT-User | Visite à la demande d'un utilisateur | Peut ne pas s'appliquer | |
| Anthropic | ClaudeBot | Entraînement des modèles | Respecté, Crawl-delay pris en charge |
Claude-SearchBot | Indexation pour les réponses de Claude | Respecté | |
Claude-User | Visite à la demande d'un utilisateur | Respecté | |
| Perplexity | PerplexityBot | Indexation pour les réponses, sans entraînement | Nom documenté |
Perplexity-User | Visite à la demande d'un utilisateur | Généralement ignoré | |
Googlebot | Index de Google Search, y compris AI Overviews et mode IA | Respecté | |
Google-Extended | Directive sans robot dédié : entraînement de Gemini et ancrage dans d'autres produits Google | Respecté, sans effet sur Search | |
Google-Agent | Agents agissant pour un utilisateur | Généralement ignoré | |
| Apple | Applebot | Recherche Siri, Spotlight et Safari | Respecté |
Applebot-Extended | Directive sans robot dédié : refus de l'entraînement, sans effet sur la recherche | Respecté | |
| Meta | Meta-ExternalAgent | Entraînement et indexation | Respecté |
Meta-WebIndexer | Indexation pour Meta AI | Respecté | |
Meta-ExternalFetcher | Visite à la demande d'un utilisateur | Peut être contourné | |
| Microsoft | bingbot | Index de Bing, cité dans Copilot | Respecté |
| Amazon | Amazonbot | Exploration générale, peut servir à l'entraînement | Respecté |
Amzn-SearchBot | Recherche (Alexa), sans entraînement | Respecté | |
| Mistral | MistralAI-Training | Entraînement des modèles | Nom documenté |
MistralAI-Index | Indexation pour les réponses, sans entraînement | Nom documenté | |
MistralAI-User | Visite à la demande d'un utilisateur | Nom documenté | |
| DuckDuckGo | DuckAssistBot | Réponses IA en temps réel, sans entraînement | Respecté (sous 72 heures) |
| Common Crawl | CCBot | Corpus web ouvert, très utilisé par les projets d'IA | Respecté, Crawl-delay pris en charge |
« Nom documenté » : l'éditeur indique le nom à utiliser dans le robots.txt, sans s'engager explicitement à le respecter. ByteDance (Bytespider) et xAI (Grok) ne publient pas de documentation officielle équivalente à notre connaissance.
Que choisir pour une boutique en ligne ?
Pour un site marchand, l'enjeu principal est d'être recommandé par les assistants. Nous conseillons donc :
- Autoriser les robots d'indexation des moteurs et des assistants : Googlebot, bingbot, OAI-SearchBot, Claude-SearchBot, PerplexityBot, Applebot, DuckAssistBot, MistralAI-Index.
- Décider en connaissance de cause pour l'entraînement : autoriser GPTBot, ClaudeBot ou Google-Extended peut aider les modèles à connaître votre marque, les bloquer protège vos contenus. Cela n'a pas d'effet direct sur les moteurs de recherche.
- Fermer partout les zones sans intérêt : panier, compte client, résultats de recherche interne, variantes de tri et d'affichage des listes.
Exemple : tout le monde est bienvenu, sauf dans les zones privées
User-agent: *
Disallow: /checkout/
Disallow: /customer/
Disallow: /wishlist/
Disallow: /catalogsearch/
Disallow: /*?*dir=
Disallow: /*?*order=
Disallow: /*?*mode=
Disallow: /*?*limit=
Sitemap: https://www.votre-boutique.fr/sitemap.xmlExemple : visible dans les assistants, mais sans entraînement
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: MistralAI-Training
User-agent: CCBot
Disallow: /
User-agent: *
Disallow: /checkout/
Disallow: /customer/
Disallow: /wishlist/
Disallow: /catalogsearch/
Disallow: /*?*dir=
Disallow: /*?*order=
Disallow: /*?*mode=
Disallow: /*?*limit=
Sitemap: https://www.votre-boutique.fr/sitemap.xmlLes filtres (couleur, taille, prix…) créent une multitude d'URL, très coûteuses pour le serveur. Certaines combinaisons ont pourtant une valeur pour le référencement. Les bloquer ou non se décide avec votre stratégie SEO, en cohérence avec les balises canonical.
Mesurer leur poids sur le serveur
Avant de bloquer quoi que ce soit, regardez qui consomme vos ressources. Sur un serveur Apache ou Nginx au format de journal standard :
# Les 20 user-agents les plus actifs
awk -F'"' '{print $6}' access.log | sort | uniq -c | sort -rn | head -20
# Nombre de requêtes des principaux robots d'IA
grep -ciE 'GPTBot|OAI-SearchBot|ClaudeBot|PerplexityBot|Meta-ExternalAgent|Amazonbot|Bytespider|CCBot' access.log
# Les URL qu'ils sollicitent le plus
grep -iE 'GPTBot|ClaudeBot|Bytespider' access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20Si la charge vient des filtres de catégories ou de la recherche interne, les règles ci-dessus réduisent fortement le volume. Pour les robots qui ne respectent pas le robots.txt, la réponse se fait côté serveur : limitation du nombre de requêtes par adresse, filtrage, ou pare-feu applicatif.
Vérifier qu'un robot est authentique
N'importe quel programme peut se présenter comme « GPTBot ». Les principaux éditeurs publient la liste des adresses IP de leurs robots : OpenAI, Anthropic, Perplexity, Google, Apple, Microsoft, Amazon, Mistral, DuckDuckGo et Common Crawl le font dans des fichiers JSON référencés dans leur documentation. Comparer les adresses de vos journaux à ces listes permet de distinguer les vrais robots des imitateurs, qui peuvent être bloqués sans hésitation.
Crawl-delay et délais de prise en compte
- La directive
Crawl-delay, qui demande d'espacer les visites, est prise en charge par Anthropic, Common Crawl et Bing. Google, Apple et Amazon indiquent ne pas la suivre. - Une modification du robots.txt est prise en compte en environ 24 heures chez OpenAI, Perplexity et Amazon, et sous 72 heures pour DuckAssistBot. Amazon précise pouvoir conserver un robots.txt en cache jusqu'à 30 jours.
- Anthropic avertit que bloquer ses adresses IP peut l'empêcher de lire votre robots.txt, et donc de suivre vos consignes.
Questions fréquentes
Bloquer GPTBot me fait-il disparaître de ChatGPT ?
Non. Selon OpenAI, GPTBot sert à l'entraînement des modèles, tandis que la recherche de ChatGPT s'appuie sur OAI-SearchBot. Pour rester visible dans ChatGPT, c'est OAI-SearchBot qu'il faut laisser passer.
Bloquer Google-Extended me retire-t-il des AI Overviews ?
Non. Google indique que Google-Extended n'a pas d'effet sur l'inclusion dans Google Search. Les AI Overviews et le mode IA reposent sur l'index de Googlebot, contrôlé par les règles habituelles (robots.txt, noindex, nosnippet).
Les assistants qui naviguent pour un utilisateur respectent-ils le robots.txt ?
Pas toujours. OpenAI indique que les règles « peuvent ne pas s'appliquer » à ChatGPT-User, Perplexity que Perplexity-User les ignore généralement, et Google que ses robots déclenchés par un utilisateur les ignorent généralement. Anthropic et Mistral présentent au contraire leurs agents utilisateurs comme contrôlables par robots.txt.
Le fichier llms.txt remplace-t-il le robots.txt ?
Non. Le robots.txt indique ce que les robots peuvent visiter. Le llms.txt, une proposition plus récente, résume un site pour les assistants. Voir être cité par les assistants IA.
Sources
- OpenAI, robots d'OpenAI
- Anthropic, exploration du web par Anthropic
- Perplexity, robots de Perplexity
- Google, robots d'exploration de Google et fonctionnalités IA et votre site
- Apple, à propos d'Applebot
- Meta, robots de Meta
- Amazon, Amazonbot · Mistral, robots de Mistral AI · DuckDuckGo, DuckAssistBot · Common Crawl, CCBot
Documentations consultées le 1er octobre 2026. Les éditeurs ajoutent régulièrement de nouveaux robots : ce guide est mis à jour en conséquence.
Nous mesurons la part de chaque robot, appliquons les règles adaptées et réglons le filtrage côté serveur. Voir l'audit Magento et l'hébergement Magento.