← Retour à l'accueil / Actualités
Robots.txt et IA 📅 31 Octobre 2026 ⏱️ 7 min de lecture ✍️ Par Lefi Abdelmonem

Entraînement IA : le robots.txt de PrestaShop face au signal commun

Un nouveau jeton robots.txt, __usage_ai-training, servira à dire « pas d'entraînement IA » à plusieurs fournisseurs à la fois. Sur PrestaShop, il ne survivra pas à une régénération du fichier si vous l'ajoutez à la main.
Illustration : extrait d'un fichier robots.txt de boutique PrestaShop, avec un groupe __usage_ai-training placé en fin de fichier, séparé du groupe User-agent: *
Illustration : le jeton commun s'écrit dans un groupe séparé, en fin de fichier. Les réponses pour Googlebot n'en dépendent pas.

Le 30 octobre 2026, Google a annoncé qu'il prendrait en charge un signal d'opposition à l'entraînement IA commun à plusieurs fournisseurs, placé dans robots.txt. Rien ne change aujourd'hui dans la recherche Google : l'enjeu, pour une boutique PrestaShop, est de décider de sa position et de savoir où l'écrire pour qu'elle tienne.

1. Ce qui a été annoncé

Dans un billet de Google Search Central signé John Mueller, Google indique vouloir reconnaître un « jeton de politique » partagé dans robots.txt, issu des travaux du groupe AIPREF de l'IETF. La documentation des robots de Google, mise à jour le même jour, précise la syntaxe : user-agent: __usage_ai-training. Le billet parle d'une prise en charge en 2027, la documentation de début 2027.

Trois règles d'interprétation sont annoncées par Google :

  • si votre robots.txt s'oppose à l'entraînement avec ce jeton et ne mentionne pas explicitement Google-Extended, Google prévoit de le lire comme un Disallow de Google-Extended ;
  • les contrôles propres à chaque entreprise, dont Google-Extended, continuent de fonctionner à côté du signal commun ;
  • les sites qui autorisent explicitement Google-Extended restent éligibles pour apparaître dans les réponses des applications Gemini et y recevoir des clics, via l'ancrage (grounding).

Rappel tiré de la même documentation : Google-Extended n'a aucun effet sur l'inclusion dans la recherche Google et n'est pas un signal de classement. Il porte sur l'entraînement des modèles Gemini et sur l'ancrage dans les applications Gemini et Vertex AI.

Le texte technique de référence est un Internet-Draft individuel publié le 30 octobre, que l'IETF n'a pas adopté à ce stade. Deux points y comptent pour un marchand. D'abord, un groupe User-Agent: * ne doit pas être lu comme visant le jeton (section 4.2) : vos règles actuelles n'expriment donc aucune préférence. Ensuite, le jeton n'est pas une directive d'exploration (section 4.4) : il exprime un choix d'usage, même si un fournisseur peut en tenir compte pour décider de ce qu'il récupère.

2. Ce que cela change pour une boutique PrestaShop

Le robots.txt d'une boutique PrestaShop est en général produit par le back-office, bouton « Générer le fichier robots.txt » dans Paramètres de la boutique > Trafic et SEO. Nous avons lu la fonction qui l'écrit, Tools::generateRobotsFile() dans classes/Tools.php, dans quatre versions : 1.7.6.9, 1.7.7.8, 8.2.8 et 9.2.0. Le comportement est le même partout :

Constat dans le code Conséquence pour le jeton IA
Le fichier est ouvert en mode wb : il est réécrit en entier Toute ligne ajoutée à la main (FTP, gestionnaire de fichiers de l'hébergeur) disparaît à la prochaine génération
Un seul groupe est écrit : User-agent: * Le fichier par défaut n'exprime aucune préférence d'entraînement
Hook actionAdminMetaBeforeWriteRobotsFile Il modifie les listes du groupe * : inadapté pour créer un groupe à part
Hook actionAdminMetaAfterWriteRobotsFile, qui reçoit le fichier ouvert Un module peut y écrire un groupe __usage_ai-training en fin de fichier
L'enregistrement d'une URL de boutique (AdminShopUrlController) régénère le fichier sans exécuter les hooks En multiboutique, modifier une URL de boutique efface aussi le groupe ajouté par un module
⚠️ Le point le plus facile à manquer : en multiboutique, une modification dans Paramètres avancés > Multiboutique, sur l'URL d'une boutique, réécrit robots.txt sans passer par les modules.

3. Le test : quatre façons d'écrire la règle

Nous avons reconstitué le robots.txt que PrestaShop 9.2.0 génère pour une boutique fictive (racine du domaine, français et anglais, URL simplifiées), puis lu quatre variantes avec un petit analyseur écrit selon le RFC 9309 et la section 4.2 du brouillon IETF. Un second contrôle a été fait avec un analyseur déjà répandu, urllib.robotparser de Python.

Variante Fiche produit /fr/accueil/12-...html Panier /fr/panier Exploration par Googlebot
A. Fichier PrestaShop tel quel aucune préférence aucune préférence inchangée
B. A + groupe __usage_ai-training / Disallow: / en fin de fichier préférence contre préférence contre inchangée
C. B + groupe Google-Extended / Allow: / jeton commun : contre ; Google-Extended : pour idem inchangée
D. Jeton glissé sous User-agent: * préférence pour préférence contre inchangée

Ce que montre le test :

  • B est la forme correcte d'une opposition générale. Selon le billet de Google, elle vaudrait aussi refus de Google-Extended, puisque ce dernier n'est pas cité.
  • C est la forme d'un choix nuancé : opposition par défaut, mais maintien de l'éligibilité aux réponses ancrées des applications Gemini, puisque, selon Google, le jeton commun ne vaut refus de Google-Extended que si ce dernier n'est pas cité.
  • D est le piège propre à PrestaShop. Ajouter la ligne User-agent: __usage_ai-training juste sous User-agent: * rattache le jeton aux règles d'exploration de PrestaShop. Le panier, le compte et la recherche deviennent « contre », et tout le reste, fiches produits et images comprises, devient une préférence en faveur de l'entraînement. L'inverse de l'intention.
  • Dans les quatre cas, les réponses pour Googlebot sont identiques, avec les deux analyseurs. Le jeton ne change rien à l'exploration ni à l'indexation.
Lecture de consultant. Pour un catalogue, je ne vois pas de raison de se précipiter : Google ne prévoit de lire ce jeton qu'en 2027 et le brouillon IETF peut encore évoluer. En revanche, je conseille de trancher dès maintenant la question de Google-Extended, parce qu'elle a déjà un effet : un refus vous retire de l'ancrage des applications Gemini, un canal où des fiches produits peuvent être citées avec un lien. Pour une boutique qui vit de sa visibilité, la variante C me paraît la plus cohérente si vous voulez vous opposer à l'entraînement en général sans quitter Gemini. C'est un avis, pas une mesure : Google ne publie aucune donnée de trafic issue de cet ancrage. Sur le plan technique, ma règle est simple : sur PrestaShop, une préférence écrite à la main dans robots.txt est une préférence provisoire.

Que vérifier cette semaine

  1. Ouvrez https://votre-boutique/robots.txt et cherchez Google-Extended et __usage_ai-training. Si l'en-tête « automatically generated by PrestaShop » est présent et qu'une de ces lignes a été ajoutée à la main, elle disparaîtra à la prochaine génération.
  2. Dans Paramètres de la boutique > Trafic et SEO, notez qui, dans l'équipe ou l'agence, clique sur « Générer le fichier robots.txt » et à quelle occasion (changement de langue, de thème, de module).
  3. Si vous êtes en multiboutique, ajoutez à votre procédure un contrôle de robots.txt après toute modification d'URL dans Paramètres avancés > Multiboutique.
  4. Décidez de votre position sur Google-Extended (garder ou non l'ancrage dans Gemini) avant d'écrire quoi que ce soit pour le jeton commun.
  5. Si vous voulez une règle durable, demandez à votre développeur un module branché sur actionAdminMetaAfterWriteRobotsFile qui écrit un groupe séparé en fin de fichier, jamais sous User-agent: *.

Limites

  • Le jeton __usage_ai-training n'est encore qu'un Internet-Draft individuel, sans statut à l'IETF ; sa syntaxe peut changer avant 2027.
  • Google décrit une intention de prise en charge, pas un comportement en production. Les autres fournisseurs d'IA « peuvent » faire de même, selon le billet : aucun n'est engagé par ce texte.
  • Une préférence n'est pas un blocage technique : elle repose sur le respect du signal par chaque fournisseur.
  • Notre test porte sur un fichier reconstitué d'après le code, pas sur une boutique en production, et sur deux analyseurs seulement. Il ne dit rien du fonctionnement interne de Google.
  • Le brouillon IETF est signé par un auteur affilié à Anthropic, l'éditeur de Claude, outil utilisé pour préparer cet article.

Sources

Comment cet article a été produit. Faits vérifiés dans les sources listées ci-dessus ; lecture de la fonction generateRobotsFile() de PrestaShop 1.7.6.9, 1.7.7.8, 8.2.8 et 9.2.0, et test de quatre variantes de robots.txt avec un analyseur conforme au RFC 9309 et urllib.robotparser de Python, réalisés le 30 octobre 2026 (fichiers conservés). Rédigé avec l'aide de Claude (Anthropic), puis relu et validé par Lefi Abdelmonem avant publication.

À lire aussi : Google déploie les « AI-Organized Search Results »

Besoin d'un diagnostic sur votre boutique ?

Consultant SEO e-commerce et ingénieur PrestaShop, je vérifie votre robots.txt, la façon dont il est régénéré et vos réglages Google-Extended avant qu'une mise à jour ne les efface.

Me contacter