Mesurer un pilote IA pour les appels d’offres avant de l’industrialiser

01Un résultat ponctuel ne justifie aucune généralisation

Un pilote peut produire une réponse plus vite et rester impropre à toute extension. Le cas le plus convaincant attire naturellement l’attention, surtout lorsque le délai de préparation diminue et que le document final paraît satisfaisant. Pourtant, la décision d’industrialiser porte sur un dispositif complet : dossiers entrants, sources internes, règles de génération, contrôles, corrections, personnes responsables et situations de repli. Une réussite isolée ne renseigne pas sur la tenue de cet ensemble lorsque le dossier change ou que la charge augmente.

Le bilan doit donc séparer quatre résultats. Le gain brut décrit la vitesse de sortie du système. La qualité métier mesure ce que la réponse couvre et ce qui peut être vérifié. Le risque résiduel recense les défauts qui subsistent après contrôle. La capacité de maintien établit si l’organisation peut continuer à surveiller, corriger et documenter le dispositif. Les repères généraux d’adoption de l’intelligence artificielle invitent déjà les petites et moyennes entreprises à partir d’un besoin concret et à cadrer la décision, sans transformer un essai en preuve universelle.^[5]

Une revue de fin d’expérimentation ressemble ainsi à un jalon de projet. Elle réexamine les résultats, les changements, les risques et les conditions de poursuite avant de choisir une issue.^[10] Son objet n’est pas de défendre l’investissement déjà consenti. Il consiste à savoir si les gains observés résistent à une lecture plus exigeante, si les défauts restent détectables et si les contrôles peuvent être maintenus dans le travail courant.

Un résultat devient utile à une décision d’extension lorsqu’il peut être reproduit dans des conditions comparables. Le retour d’expérience de France Num consacré au dépouillement d’appels d’offres insiste sur l’implication d’un référent métier, le contrôle humain et des tests reproductibles.^[12] Cette portée est précise : la source décrit une démarche de pilote sectoriel. Elle ne permet pas d’affirmer que tout dispositif produira les mêmes gains ni qu’un essai réussi garantit une performance durable.

La constance, la répétabilité, la fiabilité et la valeur ajoutée doivent être testées avant toute généralisation.^[12] La constance vérifie que le niveau de résultat ne s’effondre pas sans raison apparente. La répétabilité demande si le même protocole appliqué au même type d’entrée conduit à un résultat comparable. La fiabilité porte sur la capacité à repérer les omissions, contradictions et affirmations fragiles. La valeur ajoutée ne se limite pas au temps : elle examine ce que le dispositif apporte réellement à la préparation et au contrôle de la réponse.

Le dossier de consultation doit être examiné dans sa composition réelle, notamment son règlement, ses critères, ses délais, ses formats et ses clauses.^[2] Deux dossiers ne sont donc comparables que si leurs différences sont décrites. Une consultation courte et familière ne peut pas servir seule de référence à une consultation dense, multi-lots ou riche en annexes. La comparaison doit préciser les catégories de documents, la nature des exigences, le volume utile, les contraintes de présentation et la disponibilité des preuves internes.

Une bonne série de tests comprend des dossiers représentatifs du périmètre envisagé, mais elle inclut aussi des cas difficiles. Les entrées incomplètes, les formulations ambiguës, les exigences dispersées ou les preuves internes insuffisantes révèlent davantage la robustesse du dispositif qu’un cas propre et bien documenté. Le test ne cherche pas à faire échouer artificiellement le système. Il vérifie où se situe sa limite opérationnelle.

Le même test sur plusieurs dossiers

Le protocole doit rester stable d’un dossier à l’autre. Il faut conserver les mêmes règles de préparation, le même périmètre documentaire, les mêmes contrôles et une méthode commune de qualification des écarts. Changer simultanément le modèle, les sources, les consignes et le niveau de contrôle interdit de savoir ce qui explique une amélioration ou une dégradation.

Chaque passage consigne au minimum le dossier testé, sa catégorie, la version du dispositif, les opérations effectuées, le temps humain mobilisé, les défauts observés et la décision rendue. Les écarts sont comparés à périmètre égal. Si un dossier exige un traitement particulier, cette exception est enregistrée au lieu d’être absorbée dans une moyenne.

La méthode de décision pondérée appliquée aux choix de candidature rappelle l’intérêt de critères explicites et d’une appréciation experte lorsque l’incertitude demeure.^[11] Ici, cette logique ne sert pas à décider de répondre au marché. Elle aide à rendre le bilan reproductible : les critères sont définis avant la lecture des résultats, puis appliqués à chaque dossier selon la même règle.

Une extension devient défendable lorsque les résultats convergent sur plusieurs cas, que les écarts sont expliqués et que les limites restent visibles. Si la performance dépend d’un seul dossier favorable, d’une seule personne capable de réparer les sorties ou d’un réglage impossible à stabiliser, le pilote a produit un apprentissage utile, mais pas une preuve d’industrialisation.

02La performance seule masque les incidents et les effets sur le processus

Un tableau de bord réduit au délai de production transforme une partie du résultat en verdict global. Or un dispositif d’intelligence artificielle modifie aussi la nature des contrôles, la répartition du travail, la visibilité des erreurs et les conditions dans lesquelles une personne peut reprendre la main. La mesure doit couvrir les performances, les risques, les incidents et les effets sur les personnes et le processus.^[9][15]

Le profil du NIST consacré à l’intelligence artificielle générative relie la gouvernance à la mesure, à la documentation, à la traçabilité et à la surveillance des risques.^[9] Le cadre général du NIST organise lui aussi la gestion du risque sur le cycle de vie du système.^[15] Ces cadres n’imposent pas un tableau de bord propre aux appels d’offres. Ils fournissent une discipline : définir ce qui doit être observé, conserver les preuves utiles et relier chaque mesure à une décision de maîtrise.

La performance reste nécessaire. Elle décrit, par exemple, la durée de préparation, la disponibilité du système ou la proportion de dossiers traités dans le périmètre prévu. Elle devient trompeuse si elle ignore le nombre de vérifications supplémentaires, les reprises complètes, les attentes créées pour les utilisateurs ou les incidents que seule une expertise rare permet de détecter.

Le risque examine ce qui pourrait dégrader la réponse, exposer une information ou rendre une affirmation indéfendable. L’incident désigne un événement observé, qualifié et traçable, pas une impression générale. Les effets sur les personnes portent sur la charge de vérification, la compréhension des responsabilités, la possibilité de contester une sortie et la capacité à reprendre le traitement. Les effets sur le processus concernent les nouvelles dépendances, les files d’attente, les validations et les points où une erreur peut rester invisible.

La CNIL recommande de partir d’un besoin concret, de définir les usages autorisés, de choisir une solution adaptée, de former les utilisateurs et d’impliquer les parties prenantes.^[16] Ces éléments rappellent qu’un résultat technique ne suffit pas. Une expérimentation peut sembler performante tout en laissant les personnes sans règle claire sur ce qu’elles doivent vérifier, conserver ou refuser.

Mesurer au-delà du temps

Le bilan gagne en précision lorsqu’il distingue les indicateurs avancés des constats tardifs. Une hausse des reprises manuelles, une multiplication des alertes non traitées ou un allongement de la vérification signalent une dégradation avant qu’un incident grave ne survienne. À l’inverse, une sortie rapide ne prouve rien si les erreurs sont découvertes seulement lors de la validation finale.

Les indicateurs doivent rester lisibles par le responsable de la décision. Pour chacun, le tableau de bord précise l’objet mesuré, la méthode, le périmètre, la période, le responsable de la collecte et l’issue déclenchée. Un indicateur sans règle d’interprétation produit une discussion, pas un arbitrage.

Le diagnostic peut révéler un défaut de gouvernance plus large : responsabilités non attribuées, risques mal documentés ou contrôles sans propriétaire. Dans cette situation, un audit des usages et de la gouvernance de l’intelligence artificielle constitue une suite logique pour établir les décisions, les rôles et les contrôles à maintenir. Ce lien ne remplace pas le bilan du pilote et ne préjuge pas de son issue.

03Le gain de temps disparaît si la reprise humaine devient trop lourde

Le temps affiché à la sortie du système n’est pas un gain. Il constitue seulement la première composante du calcul. Le temps gagné doit être calculé après contrôle et reprise humaine, et non à la seule sortie du système.^[6][1][12] Cette règle empêche qu’une génération rapide masque une vérification plus longue, une réécriture importante ou un retour complet au traitement manuel.

La CNIL rappelle que les résultats d’un système d’intelligence artificielle générative doivent être vérifiés, notamment en raison des hallucinations et des limites propres à ces systèmes.^[6] Le retour d’expérience France Num sur la réponse aux appels d’offres mentionne une première structure préparée avec l’intelligence artificielle et une relecture humaine systématique.^[1] Le pilote sectoriel consacré au dépouillement met également en avant le contrôle humain et le rôle du référent métier.^[12] Aucune de ces sources ne fournit un coefficient universel de correction. Elles établissent que le temps humain fait partie du processus observé.

Le calcul commence par une référence honnête : le temps nécessaire pour traiter manuellement un dossier comparable, selon le même niveau de qualité. On lui soustrait ensuite le temps réellement consacré au parcours assisté. Ce parcours inclut la préparation des documents, le lancement, l’attente utile, la lecture, la vérification des sources, la correction, l’enrichissement métier, la validation et les reprises éventuelles.

Il faut éviter le double comptage. Si le contrôle humain existait déjà dans le processus manuel, seule sa variation doit peser sur le gain net. Si le dispositif crée un contrôle supplémentaire, cette charge est entièrement comptée. Si une correction améliore aussi une preuve interne ou une règle réutilisable, ce travail peut être distingué comme investissement de maintenance, sans être artificiellement effacé du bilan.

Le gain se mesure par dossier et par catégorie. Une moyenne globale peut cacher une configuration fréquente : gain élevé sur les cas simples, perte de temps sur les cas complexes. Cette distribution importe davantage que le seul total, car l’industrialisation élargit souvent le nombre d’utilisateurs et la diversité des dossiers.

Du temps machine au temps réellement libéré

Le temps réellement libéré correspond à une capacité réaffectable, pas à quelques minutes dispersées entre plusieurs interruptions. Un gain fragmenté peut rester inutilisable si la personne doit surveiller le système, attendre des réponses ou revenir régulièrement dans le dossier. Le bilan doit donc préciser si le temps dégagé forme une séquence exploitable ou s’il demeure morcelé.

La recherche intelligente et l’analyse documentaire peuvent servir à rechercher, synthétiser, classer et extraire des informations dans des documents structurés ou textuels.^[13] Cette diversité de fonctions interdit de confondre toutes les opérations. Une extraction accélérée peut être utile même si la rédaction finale reste manuelle. À l’inverse, une rédaction rapide ne compense pas une extraction imprécise qui impose de tout relire.

La décision repose enfin sur la stabilité du gain. S’il disparaît dès qu’un document est mal structuré, qu’une exigence est dispersée ou qu’une preuve manque, le périmètre industrialisable doit être réduit. Un gain limité mais reproductible vaut davantage qu’une économie spectaculaire réservée aux meilleurs cas.

04La couverture et la vérifiabilité valent mieux que le volume produit

Une réponse volumineuse peut rester faible si elle contourne une exigence, mélange plusieurs obligations ou avance des éléments impossibles à rattacher à une preuve. La couverture des exigences et la vérifiabilité des affirmations sont des indicateurs plus proches du risque métier que le volume de texte produit.^[3][9]

Le dossier offre doit contenir les éléments techniques et financiers demandés, respecter les règles de présentation et fournir les documents requis.^[3] Le dossier de candidature doit, de son côté, démontrer les aptitudes et capacités attendues.^[4] Ces sources décrivent des objets distincts. Le bilan du dispositif doit donc vérifier ce que la génération couvre réellement, sans mélanger une réponse technique, une pièce administrative et une preuve de capacité.

La couverture mesure la part des exigences identifiées qui reçoivent une réponse exploitable. Elle ne se limite pas à la présence d’un mot ou d’un paragraphe. Une exigence est couverte lorsque la réponse traite son objet, respecte son niveau de précision et renvoie aux éléments nécessaires. Une réponse partielle, générique ou hors périmètre doit être qualifiée comme telle.

La vérifiabilité mesure la possibilité de contrôler une affirmation. Une phrase est vérifiable lorsque son origine, sa preuve ou son statut peuvent être retrouvés sans interprétation hasardeuse. Une affirmation peut être exacte et rester mal vérifiable si le lien avec la source interne a disparu. Inversement, une référence parfaitement traçable ne rend pas l’affirmation pertinente si elle ne répond pas à l’exigence.

Le volume conserve une utilité secondaire. Il peut signaler une sortie anormalement courte, une répétition excessive ou une dérive de format. Il ne dit rien, à lui seul, de la conformité de la réponse. En faire un indicateur principal incite même à produire davantage de texte alors que le risque réside dans les omissions et les assertions fragiles.

Deux indicateurs proches du risque réel

Le taux de couverture doit partir d’un dénominateur maîtrisé : la liste des exigences retenues dans le périmètre du test. Chaque exigence reçoit un statut défini avant l’évaluation, par exemple couverte, partiellement couverte, non couverte ou non applicable. Les cas non applicables restent visibles afin d’éviter une amélioration artificielle du taux.

La vérifiabilité peut être évaluée sur les affirmations qui influencent la réponse : capacité, méthode, engagement, expérience, délai, conformité ou caractéristique technique. Pour chacune, le contrôleur doit pouvoir retrouver la preuve autorisée et vérifier que la formulation n’en dépasse pas la portée. Les affirmations éditoriales de liaison peuvent être distinguées, car toutes les phrases ne portent pas le même niveau de risque.

Le profil du NIST recommande la documentation, la traçabilité et la mesure des risques propres à l’intelligence artificielle générative.^[9] Appliquée au bilan, cette discipline conduit à conserver la matrice des exigences, les affirmations contrôlées, les preuves utilisées et les corrections effectuées. La mesure reste alors auditable au lieu de dépendre du souvenir du relecteur.

La décision ne doit pas reposer sur un seuil inventé après observation des résultats. Les niveaux acceptables sont définis en fonction du risque du périmètre, des obligations de la consultation et de la capacité réelle à détecter les écarts. Une exigence critique omise peut bloquer l’extension même si le taux global paraît élevé.

05Une exception rare mais critique pèse plus qu’une série de corrections mineures

Une moyenne de qualité efface la forme des défauts. Dix corrections typographiques ne présentent pas le même risque qu’une exigence obligatoire omise, une contradiction sur un engagement ou une affirmation non prouvée. Les taux d’exception, retours au manuel, contradictions et incidents doivent être suivis avec leur gravité et leur coût de correction.^[9][15][12]

Une exception désigne un cas que le parcours normal ne traite pas correctement. Elle peut imposer une adaptation locale, une validation renforcée ou un retour au manuel. Une contradiction oppose deux éléments qui devraient rester cohérents, par exemple une réponse et sa preuve, deux parties du document ou une règle et son application. Un incident correspond à un événement observé qui affecte la qualité, la confidentialité, la disponibilité ou la décision.

Le cadre du NIST demande de cartographier, mesurer et gérer les risques sur le cycle de vie.^[15] Son profil consacré à l’intelligence artificielle générative ajoute des actions de surveillance, de documentation et de traçabilité.^[9] Le retour d’expérience sectoriel de France Num rappelle l’importance des tests reproductibles et du contrôle humain.^[12] Ensemble, ces sources soutiennent une méthode de suivi, sans fournir un barème universel de gravité.

La gravité dépend de la conséquence possible, pas de l’effort nécessaire pour corriger la forme visible. Une erreur rapidement modifiable peut être critique si elle serait difficile à détecter avant dépôt. À l’inverse, une reformulation longue peut rester mineure si elle ne modifie ni la conformité, ni la preuve, ni la compréhension de l’offre.

La détectabilité doit donc compléter la gravité. Un défaut fréquent mais immédiatement visible peut être maîtrisable. Une erreur rare, plausible et silencieuse présente un risque supérieur. Le coût de correction inclut le temps de recherche, la mobilisation d’un expert, la reprise du document, le nouveau contrôle et la désorganisation créée à proximité d’une échéance.

Fréquence, gravité et correction

Le registre des exceptions doit conserver l’unité d’analyse. Compter indistinctement une phrase corrigée et un dossier entièrement repris produit un taux inutilisable. Chaque entrée décrit le dossier, le type d’écart, le moment de détection, la gravité, la personne capable de le corriger, la durée de reprise et la règle préventive éventuelle.

La fréquence se lit sur plusieurs dossiers et sur une période définie. Elle ne doit pas être abaissée artificiellement en regroupant plusieurs défauts sous un seul incident, ni augmentée en découpant chaque correction en micro-événements. La méthode de comptage doit rester stable pendant toute l’expérimentation.

Le retour au manuel est un résultat à part entière. Il peut être la bonne décision lorsqu’un dossier sort du périmètre ou qu’une preuve manque. Il devient préoccupant lorsque sa fréquence augmente sans cause identifiée, lorsque le déclenchement arrive trop tard ou lorsque seule une personne sait reconnaître la situation.

La remise électronique d’une réponse impose par ailleurs de respecter les modalités du profil d’acheteur, les formats, les échanges et les précautions de dépôt.^[14] Ce cadre ne doit pas être absorbé dans le bilan de génération. Il rappelle cependant qu’une erreur non corrigée à temps peut rencontrer une échéance et devenir irréversible. Le coût d’une exception dépend donc aussi du moment où elle apparaît.

Le tableau relie chaque défaut à la mesure qui éclaire réellement la décision.

Note de lecture: Chaque exception doit conserver sa fréquence, sa gravité et son coût de correction.

06L’industrialisation reste bloquée si l’organisation ne sait pas maintenir les contrôles

Un dispositif n’est pas industrialisable du seul fait que ses défauts actuels ont été corrigés. L’extension augmente le nombre d’utilisateurs, la diversité des dossiers, les versions à suivre et la fréquence des changements. L’extension doit rester bloquée si les gains ne sont pas reproductibles, si les erreurs critiques persistent ou si l’organisation ne peut pas maintenir les contrôles.^[9][12][15]

La capacité de maintien repose sur des responsabilités attribuées. Il faut savoir qui surveille les résultats, qui met à jour les sources, qui qualifie les incidents, qui décide d’un retour au manuel et qui autorise une nouvelle version. Une responsabilité collective et non nommée disparaît généralement lorsque la charge augmente ou qu’un incident survient.

Les contrôles doivent aussi être exécutables. Une procédure parfaite sur le papier ne vaut rien si elle exige une expertise indisponible, un accès non prévu ou un délai incompatible avec les échéances. Le bilan doit observer les contrôles effectivement réalisés, les compétences mobilisées et les cas où la vérification a été réduite pour tenir le rythme.

La sécurité participe de cette capacité durable. Les recommandations de l’ANSSI couvrent la sécurisation d’un système d’intelligence artificielle générative de la conception à l’utilisation en production.^[7] La gestion des identités et des accès porte sur les comptes, les rôles, les autorisations, l’authentification et la traçabilité.^[8] Ces sujets ne remplacent pas l’évaluation métier, mais ils peuvent bloquer l’extension si les contrôleurs ne disposent pas des bons accès ou si des utilisateurs peuvent contourner les règles.

Le maintien comprend enfin la gestion des changements. Une nouvelle source, une modification des consignes, une mise à jour du système ou un élargissement du périmètre peuvent invalider une partie des preuves antérieures. Chaque changement significatif doit déclencher les tests concernés, sans imposer automatiquement une reprise complète lorsque l’effet reste localisé et démontré.

Trois causes de blocage

La première cause est un gain non reproductible. Les résultats varient fortement entre des dossiers comparables, dépendent d’un réglage instable ou disparaissent dès que la situation s’éloigne du cas favorable. Une correction locale peut justifier une nouvelle série de tests. Elle ne permet pas encore une extension.

La deuxième cause est la persistance d’une erreur critique. Le défaut peut être rare, mais son effet potentiel, sa faible détectabilité ou sa correction tardive rendent le risque résiduel inacceptable. La décision reste bloquée tant que la cause n’est pas comprise, que la détection n’est pas fiable ou qu’un périmètre sûr n’a pas été isolé.

La troisième cause est l’impossibilité de maintenir les contrôles. Elle apparaît lorsque les responsabilités restent floues, que la charge de vérification annule les gains, que les compétences ne sont pas disponibles ou que les preuves ne peuvent pas être conservées. Ce blocage est organisationnel, même si la sortie technique paraît correcte.

Les trois conditions sont cumulatives. Un gain stable ne compense pas une erreur critique. Une qualité satisfaisante ne compense pas un processus impossible à maintenir. Une organisation bien structurée ne transforme pas des résultats instables en preuve. L’industrialisation devient envisageable lorsque chaque dimension franchit le niveau défini avant la décision et que les limites restantes sont assumées.

Le bilan doit indiquer ce qui ferait changer le verdict. Pour chaque blocage, il nomme la correction attendue, le responsable, la preuve à produire et la date de nouvelle revue. Sans cette précision, une prolongation risque de devenir une attente indéfinie ou une extension informelle sans décision explicite.

07Le bilan doit pouvoir conduire à quatre décisions distinctes

La fin d’une expérimentation ne se résume pas à valider ou rejeter l’intelligence artificielle. Elle doit rendre une décision proportionnée aux résultats observés. Les revues de jalon servent précisément à réexaminer l’avancement, les risques et les plans avant de poursuivre, différer, modifier ou arrêter un effort.^[10] Le bilan gagne donc à distinguer quatre issues : étendre, prolonger sous conditions, corriger ou arrêter.

Étendre signifie que le périmètre testé, les contrôles et les responsabilités peuvent passer à une échelle supérieure sans perdre les propriétés démontrées. La décision précise ce qui est étendu, à quels utilisateurs, avec quels contrôles et sous quelle surveillance. Elle ne vaut pas autorisation générale pour tous les dossiers et tous les usages.

Prolonger sous conditions signifie que les résultats sont prometteurs, mais que la preuve reste incomplète. Un échantillon trop étroit, une période insuffisante ou une mesure encore instable peuvent justifier des tests supplémentaires. La prolongation doit avoir une durée, des objectifs et une issue définis. Sans cela, elle devient une manière de repousser l’arbitrage.

Corriger signifie qu’un défaut identifiable empêche la poursuite dans l’état actuel, mais qu’une modification ciblée mérite un nouveau test. La correction peut porter sur le périmètre, les sources, les règles, les contrôles ou l’organisation. Elle ne doit pas modifier simultanément toutes les composantes, faute de quoi le nouveau résultat ne sera plus comparable.

Arrêter signifie que le dispositif ne justifie plus les ressources nécessaires, que le risque résiduel reste trop élevé ou que le maintien des contrôles n’est pas réaliste. L’arrêt peut préserver les apprentissages, les critères et les preuves produits pendant l’expérimentation. Il ne transforme pas le travail réalisé en échec inutile.

Étendre, prolonger, corriger ou arrêter

La décision finale part du registre des résultats, pas d’une impression de réussite. Les taux d’exception, retours au manuel, contradictions et incidents doivent être suivis avec leur gravité et leur coût de correction.^[9][15][12] L’extension doit rester bloquée si les gains ne sont pas reproductibles, si les erreurs critiques persistent ou si l’organisation ne peut pas maintenir les contrôles.^[9][12][15]

La décision doit également préserver les frontières du processus. Les règles de remise électronique, de formats et d’échanges avec l’acheteur demeurent distinctes du bilan du dispositif.^[14] De même, les pièces de candidature et les éléments de l’offre ne sont pas évalués comme un bloc homogène.^[3][4] Une extension peut donc être autorisée pour une opération précise et refusée pour une autre.

Le compte rendu final conserve le périmètre, la période, les dossiers testés, les versions, les indicateurs, les incidents, les limites et les conditions de réexamen. Il distingue les faits observés des interprétations et des décisions. Cette séparation permet à une personne qui n’a pas participé au pilote de comprendre pourquoi l’issue a été choisie.

Une bonne décision reste réversible lorsque de nouvelles preuves apparaissent. Une extension peut être suspendue après un incident. Une correction peut échouer et conduire à l’arrêt. Un arrêt peut laisser place à une nouvelle expérimentation si le contexte change réellement. Cette réversibilité ne fragilise pas le verdict : elle empêche qu’une décision datée devienne une autorisation permanente.

Industrialiser exige à la fois un gain reproductible, une qualité contrôlable et des contrôles maintenables.