ChatGPT cite votre site. Combien de fois sur dix ?
Une capture paraît concluante : ChatGPT cite votre entreprise. Avant de présenter ce résultat, posez dix fois la même question dans les mêmes conditions. Vous verrez si le nom revient, si un lien pointe vers votre site et si la citation se répète.
La même question peut donner des réponses différentes
Posez la question une fois et vous n'aurez rien mesuré. Même envoyé dix fois, le même prompt, c'est-à-dire exactement la même question, ne produit pas toujours la même réponse : votre entreprise peut apparaître dans certaines réponses et pas dans d'autres. Un laboratoire indépendant a mesuré cette instabilité sur un modèle ouvert dont la température était réglée au minimum. Voir votre entreprise apparaître une fois ne suffit pas à établir qu’elle est régulièrement citée.
Faites l'essai. Tapez dans ChatGPT « quel prestataire choisir pour refondre le site d'une PME industrielle en Alsace », puis reposez la même phrase dans une nouvelle fenêtre : rien ne garantit que la deuxième réponse répète la première. ChatGPT ne récupère pas une fiche toute faite : il produit la réponse mot après mot, et plusieurs suites restent possibles à chaque étape. Les ingénieurs appellent cela le non-déterminisme. Avec les grands modèles de langage, aucun réglage accessible depuis votre poste ne le supprime.
On pourrait penser qu’il suffit de réduire la part d’aléatoire. La température dose cette part d'aléatoire ; réglée au minimum, elle devrait rendre la réponse presque toujours identique. En septembre 2025, Thinking Machines Lab a soumis mille fois la même requête à un modèle ouvert réglé à la température minimale et a obtenu quatre-vingts réponses distinctes [1]. Le relevé porte sur ce modèle-là, pas sur ChatGPT : OpenAI ne publie rien d'équivalent.
D'où vient l'écart ? L'explication documentée par ce laboratoire tient aux serveurs : une question est regroupée avec celles qui arrivent à la même seconde ; la taille de ce lot varie d'un appel à l'autre et d'une heure à l'autre, puisque le service répond au monde entier. Les calculs ne s'effectuent donc pas deux fois dans le même ordre, et un arrondi suffit à faire basculer un mot. OpenAI ne documente pas ce point, si bien que rien ne prouve que ChatGPT fonctionne exactement ainsi. Ce mécanisme reste cependant celui qui a été mesuré sur l'infrastructure comparable la mieux étudiée. Un travail universitaire déposé sur arXiv en janvier 2026 a mesuré cet effet dans les probabilités calculées avant la production du texte : elles varient surtout quand aucun mot ne s'impose [2].
Lundi, votre responsable marketing vous envoie une capture : le site est cité. Jeudi, un commercial refait le test devant un client, et le nom de l'entreprise a disparu. Personne n'a menti : l'un et l'autre ont confondu un tirage avec une situation stable. La question « suis-je cité ? » n'a pas de réponse. « Sur dix essais dans la même heure, combien de fois ? » en a une.
Posez dix fois la même question avant de conclure
Une méthode publiée en français conseille de refaire le test quelques jours plus tard : utile, mais insuffisant. Reposez la même question dix fois dans la même heure, chaque fois dans une nouvelle fenêtre, et vous verrez si la citation varie d'un essai à l'autre. Ce relevé réalisé le même jour vous évite d'attribuer plus tard cette variation à vos pages.
Le protocole de base circule déjà en français : nouvelle session, question reposée à quelques jours d'écart et journal tenu [10]. Il ne couvre pas le cas qui crée le plus d'illusions : celui du même prompt reposé cinq minutes plus tard.
Le protocole tient en quatre étapes. Ouvrez une fenêtre de navigation privée : l'assistant répond sans votre historique de conversation. Vous n'observez donc pas la réponse qu'obtiendrait un client connecté. La ville détectée pèse elle aussi sur les noms cités : gardez la même configuration du premier au dixième essai. Collez le prompt, toujours identique, puis notez si le nom apparaît et si un lien renvoie vers le site. Fermez la fenêtre et recommencez jusqu'au dixième essai.
Un tableur suffit. Dix colonnes : date, heure, moteur, version du modèle, prompt exact, langue, connecté ou non, navigation web activée ou non, mention et citation. Chaque essai occupe une ligne ; si un seul de ces réglages change en cours de série, notez-le, car vous ne comparez plus la même chose. À la dixième ligne, vous obtenez deux résultats, et non un seul : par exemple, sept mentions sur dix et quatre citations sur dix. Ces deux chiffres peuvent être discutés en réunion, contrairement à une capture d'écran isolée.
Ces chiffres varient pour deux raisons. La première se voit dans l'heure : à site inchangé, la citation apparaît dans certains essais et pas dans d'autres. La seconde se voit d'un mois sur l'autre : de nouvelles pages entrent dans l'index, le modèle reçoit une mise à jour et la fréquence des citations peut changer durablement. Sans série réalisée le même jour, une baisse de six à quatre peut sembler durable alors que le résultat oscille entre ces deux valeurs depuis mars.
Dix n'a rien de sacré : c'est le nombre pour lequel une apparition isolée pèse un dixième, pas une moitié. Le statut de la série doit être clair : dix essais constituent un test exploratoire, un premier relevé de la variabilité, jamais une mesure statistiquement stable. Cette série suffit à interdire les conclusions tirées d'une capture d'écran ; elle ne fonde aucun pourcentage définitif. Arrêter le test dès que le résultat vous convient fausse la lecture de la série.
Le protocole en sept étapes
- 1 Fixez une formulation unique du prompt, mot pour mot.
- 2 Définissez une mention : le nom apparaît sans lien.
- 3 Définissez une citation : un lien renvoie vers la page.
- 4 Lancez dix essais, chaque fois dans une nouvelle fenêtre privée.
- 5 Notez chaque résultat sur une ligne distincte.
- 6 Refaites la série à une autre date avec les mêmes réglages.
- 7 Comparez les séries entre elles, jamais un essai isolé.
Votre nom apparaît. Y a-t-il aussi un lien vers votre site ?
Le mot « visible » recouvre deux résultats très différents. Prenez une entreprise de maintenance industrielle ; je l'appellerai Sotramec. Première réponse : « des sociétés comme Sotramec travaillent pour l'industrie lourde. » Le nom est écrit, sans un seul lien : c'est une mention. Deuxième réponse : le texte ne nomme personne, mais une pastille numérotée renvoie au site de Sotramec. C'est une citation.
Mention ≠ citation. Il y a mention quand votre nom figure dans la réponse sans renvoi vers vous ; il y a citation quand un lien désigne votre page comme source.
Les deux résultats ne servent pas à la même chose. Une mention contribue à la notoriété : un lecteur retient un nom et le tapera peut-être dans Google la semaine suivante. Une citation présente votre page comme une source, sans garantir que le lien étaye la phrase qui le précède. Les additionner dans un score unique rend celui-ci inexploitable.
Dans le tableur, cela impose deux colonnes et pas une [9]. Écrire « visible : oui » efface l'information : trois mois plus tard, personne ne saura si ce relevé comptait des noms écrits ou des pastilles renvoyant vers vos pages. Huit mentions sur dix et zéro citation : ce résultat ne se traite pas comme une absence totale.
Le tableur de suivi
Données d’exemple| Essai | Date | Prompt | Modèle et navigation web | Mention | Citation | Source citée | Commentaire |
|---|---|---|---|---|---|---|---|
| 1 | 21/07/2026, 9 h 05 | « quel prestataire choisir pour refondre le site d’une PME industrielle en Alsace » | modèle par défaut, web activé | oui | non | Aucune | Sotramec est nommée parmi trois prestataires, sans lien. |
| 2 | 21/07/2026, 9 h 18 | idem, au mot près | modèle par défaut, web activé | oui | oui | page « Maintenance industrielle » | Une pastille numérotée renvoie vers la page. |
| 3 | 21/07/2026, 9 h 31 | idem, au mot près | modèle par défaut, web activé | non | non | Aucune | Trois concurrents sont nommés ; Sotramec est absente. |
Fixez votre règle de lecture avant de voir les résultats
Écrivez le seuil avant le premier essai. Fixez deux nombres à froid : le nombre d'essais et le nombre d'apparitions à partir duquel vous déclarerez le site cité. Ce seuil dépend de l'usage : huit sur dix devant un comité, moins pour une page réécrite. Le choisir après le test revient à adapter la règle au résultat.
Vos dix essais ne peuvent guider une décision que si la règle est écrite avant de commencer. Je l'appelle la règle des trois nombres : deux se fixent avant le premier essai, le troisième se lit après coup. Obtenir six sur dix puis décider que « cité, c'est à partir de cinq », c'est fabriquer sa conclusion. Écrivez plutôt, avant d'ouvrir la première fenêtre : « N = 10, seuil = 8. »
Nombre d'essais (N)
Le même prompt est répété N fois en fenêtre de navigation privée.
Seuil de déclaration (k)
Le site est déclaré cité lorsque ce nombre d'apparitions est atteint.
Écart entre deux séries
Cet écart correspond à la différence entre deux séries de dix réalisées le même jour à des heures différentes.
Le taux s'exprime par la fraction k/N : k apparitions sur N essais identiques. Le tableau distingue quatre cas. Lisez-le séparément pour les mentions et les citations, jamais pour un score unique. Les fourchettes sont volontairement larges. Malgré cela, sur dix essais, un seul résultat fait passer de quatre à cinq, ce qui impose de traiter tout changement de fourchette avec prudence. Ne le commentez que s'il est confirmé par une deuxième série. Cette prudence tient à la marge d'erreur de la méthode, y compris lorsqu'un fournisseur l'applique.
Le taux d'apparition, sa lecture et la décision qui en découle.
| Taux d'apparition (k sur N) | Lecture | Décision |
|---|---|---|
| 0 à 1 sur 10 | Il s'agit probablement de bruit ou d'un faux positif. | Le site n'est pas déclaré cité. |
| 2 à 4 sur 10 | Le signal est fragile et intermittent. | Retester avant de conclure. |
| 5 à 7 sur 10 | Le signal est présent, mais instable. | Le site est cité par intermittence. |
| 8 à 10 sur 10 | Le signal est stable ce jour-là. | Le site est cité pour ce prompt et à cette date. |
Le troisième nombre se lit en refaisant la série. Conduisez une série à neuf heures, une autre à vingt-deux heures, même prompt et même seuil. Six le matin et deux le soir ne se résument pas à quatre sur dix : cet écart peut tenir à l'heure du test et à la charge des serveurs. Un tel écart interdit d'annoncer une moyenne : écrivez les deux chiffres et l'heure de chacun.
Le seuil suit l'usage. Pour une veille de fond présentée deux fois par an à un comité, exigez huit sur dix avant d'écrire « présent ». Pour vérifier si une page réécrite en mars produit un premier effet, trois sur dix ne permettent aucune conclusion ; consignez ce résultat et refaites la comparaison le mois suivant. En dessous du seuil fixé, n'écrivez jamais « cité » sans réserve.
Les chiffres de Bing ne mesurent pas vos citations dans ChatGPT
Microsoft a lancé dans Bing Webmaster Tools le rapport AI Performance, en préversion publique, le 10 février 2026 [3]. Il compte les citations dans Copilot, dans les résumés IA de Bing et chez des partenaires que Microsoft ne nomme pas. Aucune ligne n'est attribuée à ChatGPT. Lire ce rapport comme un comptage des citations dans ChatGPT conduirait donc à engager un budget de contenu à partir d'une donnée qui ne mesure pas ce que l'on croit.
La documentation précise que les chiffres affichés représentent un échantillon de l'activité réelle. Elle ne permet pas non plus de séparer Copilot des résumés Bing [5] [6]. Imaginons un compteur à 1 240 citations sur trente jours : vous ne saurez pas comment elles se répartissent.
Ce que le rapport de Bing couvre selon les moteurs et les surfaces.
| Moteur ou surface | Présence dans le rapport de Bing | Décompte distinct fourni par la plateforme |
|---|---|---|
| Microsoft Copilot | Oui, dans un total agrégé et non isolable. | Non : Copilot est mêlé aux résumés IA de Bing. |
| Résumés IA de Bing | Oui, dans un total agrégé et non isolable. | Non : ces résumés sont mêlés à Copilot. |
| Partenaires non nommés | Oui, sans détail. | Aucun décompte distinct. |
| ChatGPT (OpenAI) | Aucune citation ne lui est attribuée ; les partenaires ne sont pas nommés. | Aucun décompte distinct. |
| Aperçus IA de Google | Non. | Aucun décompte distinct : la Search Console additionne ces vues au total de la recherche, sans ligne séparée. |
La documentation OpenAI destinée aux développeurs présente quatre robots : OAI-SearchBot pour les réponses de recherche de ChatGPT, GPTBot pour l'entraînement, ChatGPT-User pour les pages ouvertes à la demande d'un utilisateur et OAI-AdsBot pour la publicité [4]. Aucune de ces quatre fiches ne promet un rapport de citations aux éditeurs, et aucune ne mentionne Bing.
Pour Google, la Search Console fournit des données aux propriétaires de sites, mais aucun filtre ne permet d'isoler les impressions et les clics des aperçus IA du total de la recherche classique. Vous lisez un total, pas un comptage de citations. Pour ChatGPT, la mesure repose sur le test manuel, la fenêtre privée et le tableur.
Ce que chaque outil de suivi laisse dans l’ombre
Les équipes marketing utilisent souvent quatre moyens de suivi gratuits. Aucun ne couvre ChatGPT de bout en bout. Chacun laisse une partie du phénomène hors de la mesure.
Ce tableau compare quatre outils gratuits, leur périmètre réel et leur principal angle mort.
| Méthode ou outil | Ce qu'il mesure | Périmètre | Angle mort structurel |
|---|---|---|---|
| Test manuel répété | Il relève la présence ou l'absence dans la réponse sur N essais. | Tous les moteurs accessibles : ChatGPT, Perplexity et Gemini. | La mesure dépend des prompts choisis et demande du temps. |
| Rapport AI Performance de Bing | Il relève les citations comptées par Microsoft. | Copilot, résumés IA de Bing et partenaires. | Le rapport ne fournit aucune donnée attribuée à ChatGPT, repose sur un échantillon et n'isole pas Copilot. |
| Générateur de prompts en navigateur | Il calcule un score de visibilité en un seul passage. | Il couvre les moteurs listés par l'outil. | Le résultat n'est pas répété et aucune règle de lecture n'est fournie. |
| Recherche de marque dans les statistiques | Elle relève les retours indirects par une recherche de marque. | Elle ne couvre que votre site. | Elle ne prouve pas la citation ; le référent, c'est-à-dire le site d'origine de la visite, est souvent absent. |
Le test manuel répété couvre tous les moteurs que vous pouvez ouvrir : ChatGPT, Perplexity et Gemini. Il demande du temps : dix fenêtres par prompt pour cinq ou six prompts représentent deux à trois heures. Il ne couvre que les questions auxquelles vous avez pensé. Si vos clients tapent « qui répare un convoyeur en urgence le dimanche » et que vous testez « meilleure entreprise de maintenance industrielle », votre mesure passe à côté du sujet.
Le rapport de Bing offre l'avantage inverse : des citations comptées par la plateforme, sur un échantillon [7] et dans le seul périmètre Microsoft [8]. Les générateurs de prompts en navigateur affichent un score après un passage unique, sans répétition. Leur liste de questions peut être utile, mais leur score ne constitue pas une mesure répétée. Quant à la recherche de marque dans vos statistiques, elle ne prouve aucune citation : la visite d'un lecteur qui a retenu votre nom se range avec celles issues du bouche-à-oreille. La courbe qui monte est un indice, jamais une preuve.
Aucun de ces quatre moyens ne se suffit à lui-même. Le rapport de Bing couvre la partie Microsoft. Pour ChatGPT et les autres moteurs, utilisez le test manuel répété à partir de votre propre échantillon de questions ; un générateur peut compléter cette liste. Sous chaque chiffre porté sur une diapositive, écrivez ce qu'il ne couvre pas.
Aucune citation : vérifiez l’accès avant de réécrire vos pages
Ne pas être cité peut vouloir dire trois choses : la page n'est ni accessible au robot ni présente dans l'index interrogé, le modèle a puisé ailleurs ce jour-là ou la page n'a pas pu être récupérée pendant le test. Un « non » isolé dit seulement qu'à cette heure, sur cette question, votre nom n'était pas dans la réponse. Vous ne pouvez mettre vos pages en cause qu'après une série complète et après avoir écarté les deux autres causes.
C'est le résultat le plus mal lu, et le plus coûteux. Un dirigeant voit trois « non » d'affilée et lance une refonte complète. Or deux des trois causes n'ont rien à voir avec le texte de ses pages.
Première cause : le moteur n'a pas la page. Deux vérifications s'imposent, et pas dans ChatGPT. Ouvrez votre fichier robots.txt et regardez si OAI-SearchBot, le robot qui alimente les réponses de recherche de ChatGPT, y est bloqué. Puis, dans Bing Webmaster Tools, l'inspection d'URL vous indique si la page figure dans l'index de Microsoft. Ce second test ne renseigne en rien sur ce que ChatGPT connaît : il établit seulement si votre page est explorable et indexable par un robot public. Une page absente de tout index public a peu de chances d'entrer dans une réponse d'assistant. Sa présence dans un index rend la citation possible, sans la prouver. Si vous trouvez un blocage ou une absence, le problème est l'accès, pas la rédaction.
Deuxième cause : le modèle a puisé ailleurs. Entre quatre pages qui disaient la même chose, il en a retenu une autre que la vôtre. Cette absence dans la réponse ne prouve aucun défaut de rédaction.
Troisième cause : la page n'a pas pu être récupérée pendant le test. Un serveur qui répond en huit secondes, une protection anti-robot trop large ou une redirection en cours suffisent.
Un « non » isolé ne suffit pas à conclure que le contenu est mauvais. Une série de dix essais consignée dans le tableur, complétée par les deux vérifications d'accès décrites plus haut, permet de trancher entre trois chantiers : rétablir l'accès et l'indexation, réécrire les pages testées ou ne rien toucher ce mois-ci. Les conditions à réunir avant la mesure, à savoir l'accès des robots, la présence dans les index et une page citable, sont détaillées dans le dossier être référencé sur ChatGPT. Dans un cadrage des usages IA, je distingue ces trois cas page par page. Ce relevé permet de choisir la correction à entreprendre, ou de constater qu’il faut encore observer.
La position de farweb.fr
Un score de visibilité doit pouvoir s’expliquer
Sur l'écran de démonstration, le vendeur vous montre un cadran affichant, par exemple, 37,4 % de visibilité. Cette décimale donne une impression de précision.
Une décimale n'est ni vraie ni fausse : elle est indéfendable tant qu'on ignore sur combien d'essais elle a été calculée. Sur dix essais, aucun dixième de point n'existe : le plus petit écart possible vaut dix points. Sans le nombre d'essais, cette décimale ne garantit aucune précision.
Posez au vendeur trois questions en réunion. Sur combien d'essais ce 37,4 % est-il calculé ? Sur quelle période ? Inclut-il les mentions ou seulement les citations avec lien ? Un fournisseur sérieux répond aux trois questions et donne sa marge d'erreur. S'il se retranche derrière un algorithme propriétaire sans répondre, son score n'est pas vérifiable.
Sur un phénomène qui varie à chaque appel, le nombre d'essais compte davantage qu'un résultat isolé. Sans méthode de calcul explicite, ce score ne peut pas guider une décision.
Avant de signer, demandez par écrit sur combien d'essais le score est calculé, sur quelle période et ce que le fournisseur appelle une citation. Ces trois réponses permettent de juger si le score est vérifiable.
Raphaël Uhlrich
Consultant en stratégie digitale et en intelligence artificielle à Strasbourg
À retenir
- Une réponse d'IA est un tirage, pas un relevé. Sur un modèle ouvert réglé à la température minimale, mille requêtes identiques ont donné quatre-vingts réponses différentes. Une capture d'écran ne prouve rien.
- Écrivez trois nombres : avant le premier essai, le nombre de répétitions et le seuil de déclaration ; après la seconde série du même jour, l'écart entre les deux résultats. C'est la règle des trois nombres.
- Le rapport AI Performance de Bing ne comporte aucune ligne attribuée à ChatGPT, et ses partenaires ne sont pas nommés. OpenAI ne publie aucun rapport de citations aux éditeurs.
- Tenez deux colonnes dans le tableur : votre nom écrit dans le texte, c'est une mention ; un lien vers votre page, c'est une citation. Huit mentions et zéro citation ne se traitent pas comme une absence totale.
- Trois « non » d'affilée ne justifient aucune refonte. Vérifiez d'abord que le robot d'OpenAI n'est pas bloqué et que la page est bien indexée. Ces vérifications diagnostiquent un blocage technique ; elles ne mesurent aucune performance.
Suivre vos citations avec une méthode vérifiable
Je mets en place le test des dix essais avec des prompts figés, une grille de relevé et une cadence de mesure, afin que la décision repose sur une série, jamais sur une capture.
Questions fréquentes
Combien de fois refaire le même test ?
Où trouver les chiffres de citations dans Bing ?
Faut-il tester ChatGPT avec son compte habituel ?
Mon nom apparaît sans lien : qu’en conclure ?
Un outil payant fera-t-il mieux qu’un tableur ?
À quelle fréquence vérifier mes citations ?
Sources et références
- Thinking Machines Lab, « Defeating Nondeterminism in LLM Inference », septembre 2025, thinkingmachines.ai. Mille générations à température minimale produisent quatre-vingts réponses distinctes ; l'étude attribue cet écart à une taille de lot qui varie avec la charge du serveur.
- arXiv 2601.06118, « Beyond Reproducibility: Token Probabilities Expose LLM Nondeterminism », janvier 2026, arxiv.org/abs/2601.06118. Le non-déterminisme s'observe jusque dans les probabilités attribuées à chaque unité de texte produite, avec un effet marqué dans les zones d'incertitude.
- Microsoft, « Introducing AI Performance in Bing Webmaster Tools (Public Preview) », 10/02/2026, blogs.bing.com/webmaster. Le rapport couvre Copilot, les résumés IA de Bing et des partenaires ; les données reposent sur un échantillon, cinq vues sont proposées et ChatGPT n'est pas mentionné.
- OpenAI, « Bots » (documentation destinée aux développeurs), consultée le 23/07/2026, developers.openai.com/api/docs/bots. La documentation présente quatre robots, OAI-SearchBot, GPTBot, ChatGPT-User et OAI-AdsBot, sans mentionner Bing.
- Otterly.ai, « Bing AI Performance report: what it measures », 2026, otterly.ai. L'analyse indique qu'il est impossible d'isoler Copilot des résumés Bing dans les chiffres.
- Search Engine Land, « Bing Webmaster Tools officially adds AI Performance report », 2026, searchengineland.com. L'article confirme le périmètre du rapport et son statut de préversion publique.
- Search Engine Journal, « Bing Webmaster Tools Adds AI Citation Performance Data », 2026, searchenginejournal.com. L'article décrit les vues proposées et le caractère échantillonné des données.
- Semrush, « Bing Now Shows Which Pages Get Cited in AI Answers », 2026, semrush.com. L'article présente les pages citées et les limites d'une mesure restreinte à un seul moteur.
- chatbot.fr, « Vérifier si votre marque est citée dans ChatGPT et les IA », 2026, chatbot.fr. L'article distingue la mention de la citation.
- almaweb.fr, « Mon site apparaît-il dans ChatGPT ? Méthode gratuite », 2026, almaweb.fr. L'article présente en français un protocole manuel fondé sur une nouvelle session, la répétition et la tenue d'un journal.
