Vérifier si ChatGPT cite votre entreprise en dix essais

Un seul essai dans ChatGPT ne prouve rien sur votre entreprise

Faites l'essai. Tapez dans ChatGPT « quel prestataire choisir pour refondre le site d'une PME industrielle en Alsace », puis reposez la même phrase dans une fenêtre neuve : rien ne garantit que la deuxième réponse répète la première. La machine ne sort pas une fiche d'un tiroir : elle écrit mot après mot, et à chaque mot plusieurs suites sont possibles. Les ingénieurs appellent cela le non-déterminisme. Avec les grands modèles de langage, aucun réglage accessible depuis votre poste ne le supprime.

On m'objecte qu'il suffit de couper le hasard. La température dose cette part d'aléatoire ; réglée au minimum, elle devrait rendre la réponse presque toujours identique. En septembre 2025, Thinking Machines Lab a envoyé mille fois la même requête à un modèle ouvert, à température minimale, et obtenu quatre-vingts réponses distinctes^[1]. Le relevé porte sur ce modèle-là, pas sur ChatGPT : OpenAI ne publie rien d'équivalent.

D'où vient l'écart ? L'explication documentée par ce laboratoire tient aux serveurs : une question est traitée dans un lot, avec celles envoyées à la même seconde ; ce lot change de taille d'un appel à l'autre, et d'une heure à l'autre, puisque le service répond au monde entier. Le serveur ne calcule alors pas deux fois dans le même ordre, et un arrondi suffit à faire basculer un mot. Rien ne prouve que ChatGPT fonctionne exactement ainsi — OpenAI ne le documente pas —, mais c'est le mécanisme mesuré sur l'infrastructure comparable la mieux étudiée. Un travail universitaire déposé sur arXiv en janvier 2026 a mesuré l'effet sur les probabilités qui précèdent le texte : elles bougent surtout quand aucun mot ne s'impose^[2].

Lundi, votre responsable marketing vous envoie une capture : le site est cité. Jeudi, un commercial refait le test devant un client, et le nom de l'entreprise a disparu. Personne n'a menti : l'un et l'autre ont pris un tirage pour un état. La question « suis-je cité ? » n'a pas de réponse. « Sur dix essais dans la même heure, combien de fois ? » en a une.

Posez dix fois la même question à ChatGPT, en fenêtre privée

Le protocole de base circule déjà en français : session neuve, question reposée à quelques jours d'écart, journal tenu^[10]. Il laisse passer le cas qui fabrique le plus d'illusions : le même prompt, reposé cinq minutes plus tard.

Le geste tient en quatre étapes. Vous ouvrez une fenêtre de navigation privée : l'assistant, qui ne vous reconnaît pas, répond sans votre historique. Ce n'est pas l'écran d'un client connecté. La ville détectée pèse elle aussi sur les noms cités : gardez la même configuration du premier au dixième essai. Vous collez le prompt, toujours le même, et vous notez si le nom apparaît, puis si un lien vers le site apparaît. Vous fermez, vous recommencez, et vous répétez l'opération dix fois.

Un tableur suffit. Dix colonnes : date, heure, moteur, version du modèle, prompt exact, langue, connecté ou non, navigation web activée ou non, mention, citation. Chaque essai occupe une ligne ; si un seul de ces réglages change en cours de série, notez-le, car vous ne comparez plus la même chose. À la dixième ligne, vous tenez deux séries et non une, mettons sept mentions sur dix et quatre citations sur dix. Ces deux chiffres-là se discutent en réunion. Une capture d'écran ne se discute pas.

Ces chiffres bougent pour deux raisons. La première se voit dans l'heure : à site inchangé, la machine vous cite puis vous oublie. La seconde se voit d'un mois sur l'autre : de nouvelles pages entrent dans l'index, le modèle reçoit une mise à jour, et vos chances changent durablement. Sans la série du jour même, vous convoquez tout le monde parce qu'un chiffre est tombé de six à quatre, alors qu'il oscille entre les deux depuis mars.

Dix n'a rien de sacré : c'est le nombre pour lequel une apparition isolée pèse un dixième, pas une moitié. Soyons clair sur le statut de la série : dix essais font un test exploratoire, une première photographie de la variabilité, jamais une mesure statistiquement stable. Elle suffit à interdire les conclusions tirées d'une capture d'écran ; elle ne fonde aucun pourcentage définitif. Un dirigeant qui s'arrête « quand ce sera concluant » ne mesure plus rien.

Être nommé par ChatGPT n'est pas être cité comme source

Le mot « visible » recouvre deux résultats très différents. Prenez une entreprise de maintenance industrielle ; je l'appellerai Sotramec. Première réponse : « des sociétés comme Sotramec travaillent pour l'industrie lourde. » Le nom est écrit, sans un seul lien : c'est une mention. Deuxième réponse : le texte ne nomme personne, mais une pastille numérotée renvoie au site de Sotramec. C'est une citation.

Les deux résultats ne servent pas à la même chose. Une mention travaille la notoriété : un lecteur retient un nom et le tapera peut-être dans Google la semaine suivante. Une citation désigne votre page comme source déclarée — déclarée, pas démontrée, car ce lien accroché en fin de phrase ne soutient pas toujours ce qui précède. Les additionner revient à mélanger des kilomètres et des litres.

Dans le tableur, cela impose deux colonnes et pas une^[9]. Écrire « visible : oui » efface l'information : trois mois plus tard, personne ne saura si ce relevé comptait des noms écrits ou des pastilles renvoyant vers vos pages. Huit mentions sur dix et zéro citation : ce cas se travaille, et pas comme une absence totale.

Combien d'apparitions sur dix avant de dire que ChatGPT vous cite

Vos dix essais ne deviennent une décision que si la règle est écrite avant de commencer. Je l'appelle la règle des trois nombres : deux se fixent avant le premier essai, le troisième se lit après coup. Obtenir six sur dix puis décider que « cité, c'est à partir de cinq », c'est fabriquer sa conclusion. Écrivez plutôt, avant d'ouvrir la première fenêtre : « N = 10, seuil = 8. »

Le taux se lit comme une fraction, k sur N : k apparitions sur N essais identiques. Le tableau ci-dessous distingue quatre cas, et il se lit deux fois : une fois pour les mentions, une fois pour les citations, jamais sur un chiffre unique. Les bandes sont larges à dessein, et même ainsi, sur dix essais, un seul tirage sépare quatre de cinq : c'est dire la prudence qu'appelle un changement de bande. Ne commentez qu'un changement de bande, confirmé par une deuxième série. C'est la marge d'erreur de la méthode, y compris quand un fournisseur l'applique.

Le taux d'apparition, sa lecture et la décision qui en découle.

Le troisième nombre se lit en refaisant la série. Conduisez une série à neuf heures, une autre à vingt-deux heures, même prompt et même seuil. Six le matin et deux le soir ne se lisent pas comme quatre et quatre : c'est alors l'heure du test qui parle, et la charge des serveurs avec elle. Un tel écart interdit d'annoncer une moyenne : écrivez les deux chiffres et l'heure de chacun.

Le seuil suit l'usage. Pour une veille de fond présentée deux fois par an à un comité, exigez huit sur dix avant d'écrire « présent ». Pour vérifier si une page réécrite en mars produit un premier effet, trois sur dix ne permettent de rien conclure, mais le point se note et se compare de nouveau le mois suivant. En dessous du seuil fixé, on n'écrit jamais « cité » sans réserve.

Le rapport AI Performance de Bing n'attribue aucune citation à ChatGPT

Lisez maintenant les petits caractères. Microsoft ne compte pas tout : sa documentation précise que les chiffres affichés représentent un échantillon de l'activité réelle. Et rien ne permet de séparer Copilot des résumés Bing^[5][6]. Imaginons un compteur à 1 240 citations sur trente jours : vous ne saurez pas comment elles se répartissent.

Ce que le rapport de Bing couvre, moteur par moteur.

Regardez la ligne ChatGPT. La documentation OpenAI destinée aux développeurs consacre une fiche à chacun de ses quatre robots : OAI-SearchBot pour les réponses de recherche de ChatGPT, GPTBot pour l'entraînement, ChatGPT-User pour les pages ouvertes à la demande d'un utilisateur, OAI-AdsBot pour la publicité^[4]. Aucune de ces quatre fiches ne promet un rapport de citations aux éditeurs, et aucune ne mentionne Bing.

J'en tire une ligne de conduite. Pour Google, une donnée d'éditeur existe, à condition d'en connaître la limite : la Search Console, la console de Google réservée aux propriétaires de sites, n'offre aucun filtre pour isoler les impressions et les clics des aperçus IA du total de la recherche classique. Vous lisez un total, pas un comptage de citations. Pour ChatGPT, restent le test manuel, la fenêtre privée et le tableur.

Ce que les outils de suivi des citations IA ne voient pas de votre site

Quatre instruments gratuits reviennent souvent dans les équipes marketing, et aucun ne couvre ChatGPT de bout en bout. Choisir un outil, c'est choisir sa zone d'ombre.

Quatre outils gratuits, leur périmètre réel et l'angle mort propre à chacun.

Le test manuel répété voit tout ce que vous pouvez ouvrir : ChatGPT, Perplexity, Gemini. Il coûte du temps — dix fenêtres par prompt, cinq ou six prompts, deux à trois heures — et ne voit que les questions auxquelles vous avez pensé. Si vos clients tapent « qui répare un convoyeur en urgence le dimanche » et que vous testez « meilleure entreprise de maintenance industrielle », votre mesure passe à côté du sujet.

Le rapport de Bing offre l'avantage inverse : des citations comptées par la plateforme, sur un échantillon^[7] et sur le seul territoire Microsoft^[8]. Les générateurs de prompts en navigateur, eux, affichent un score après une passe unique, sans répétition ; prenez leur liste de questions, laissez le score. Quant à la recherche de marque dans vos statistiques, elle ne prouve aucune citation : la visite d'un lecteur qui a retenu votre nom se range avec celles du bouche-à-oreille. La courbe qui monte est un indice, jamais une preuve.

Aucun de ces quatre instruments ne se suffit à lui-même. Combinez : Bing pour la part Microsoft, comptée par la plateforme ; le test manuel répété pour ChatGPT et les autres, échantillonné par vos soins ; un générateur pour trouver les questions. Et sous chaque chiffre porté sur une diapositive, écrivez une ligne sur ce qu'il ne couvre pas.

Zéro citation sur dix essais : vérifiez l'accès avant de réécrire vos pages

C'est le résultat le plus mal lu, et le plus coûteux. Un dirigeant voit trois « non » d'affilée et lance une refonte complète. Or deux des trois causes n'ont rien à voir avec le texte de ses pages.

Première cause : le moteur n'a pas la page. Deux vérifications s'imposent, et pas dans ChatGPT. Ouvrez votre fichier robots.txt et regardez si OAI-SearchBot, le robot qui alimente les réponses de recherche de ChatGPT, y est bloqué. Puis, dans Bing Webmaster Tools, l'inspection d'URL vous indique si la page figure dans l'index de Microsoft. Ce second test ne renseigne en rien sur ce que ChatGPT connaît : il établit seulement si votre page est explorable et indexable par un robot public. Une page absente de tout index public a peu de chances d'entrer dans une réponse d'assistant : condition de possibilité, pas preuve. Si vous trouvez un blocage ou une absence, le problème est l'accès, pas la rédaction.

Deuxième cause : le modèle a puisé ailleurs. Entre quatre pages qui disaient la même chose, il en a retenu une autre que la vôtre : votre page n'a pas démérité, elle n'a pas été tirée.

Troisième cause : la page n'a pas pu être récupérée pendant le test. Un serveur qui répond en huit secondes, une protection anti-robot trop large ou une redirection en cours suffisent.

Conclure « mon contenu est mauvais » sur un « non » isolé, c'est lire un thermomètre comme un diagnostic. Une série de dix essais consignée dans le tableur, complétée par les deux vérifications d'accès décrites plus haut, permet de trancher entre trois chantiers : rétablir l'accès et l'indexation, réécrire les pages testées, ou ne rien toucher ce mois-ci. Les conditions à réunir en amont de la mesure — accès des robots, présence dans les index, page citable — sont détaillées dans le dossier être référencé sur ChatGPT. Séparer ces trois cas, page par page, c'est le travail que je mène dans un cadrage des usages IA. Mesurer d'abord, décider ensuite.