Nos chiffres ne sortent pas d'une intelligence artificielle

Quand un logiciel annonce qu'il peut prévoir le prix d'un contrat public, la plupart des gens pensent aujourd'hui à ChatGPT. C'est compréhensible. Ce n'est pas ce qui se passe ici, et la raison n'est pas la prudence : c'est que ce n'est pas le bon outil pour ce travail-là.

Les deux chiffres sur lesquels vous prenez réellement une décision — la fourchette de prix et la liste des concurrents probables — sont produits par des modèles statistiques ordinaires, entraînés sur vingt ans d'appels d'offres publics québécois. Pas par un agent conversationnel, pas par un système qui « raisonne » sur votre dossier.

Ce qu'est un modèle statistique, sans jargon

Imaginez qu'on vous donne cent mille contrats déjà adjugés, avec pour chacun ce qu'on savait le jour de la publication de l'avis : l'acheteur, la catégorie, la région, la longueur du devis, le nombre d'entreprises actives dans ce domaine, et quelques centaines d'autres détails du même genre. Et pour chacun, le prix auquel il a fini par être adjugé.

Un modèle statistique, c'est un programme qui cherche méthodiquement les régularités dans cette pile. Il ne comprend rien aux marchés publics. Il constate que dans telle catégorie, chez tel type d'acheteur, avec tel volume de documents, les prix se sont historiquement répartis de telle façon. Puis on lui présente un avis qu'il n'a jamais vu, et il applique ce qu'il a constaté.

C'est une technique vieille de plusieurs décennies, sans mystère, et c'est précisément ce qui en fait la bonne réponse ici : sur des données en tableau — des lignes et des colonnes de faits vérifiables — elle bat encore aujourd'hui les approches plus récentes, et surtout elle se laisse mesurer.

La différence qui compte : savoir dire « je ne sais pas »

Voici le point qui décide tout, et il n'est pas idéologique.

Un modèle génératif produit toujours une réponse. Posez-lui une question sur un appel d'offres dont personne ne peut rien savoir, il écrira quand même un paragraphe assuré. Rien dans sa construction ne l'oblige à mesurer sa propre ignorance.

Nos modèles, eux, ne publient pas un prix. Ils publient une fourchette, et la largeur de cette fourchette est l'aveu. Sur un contrat bien documenté dans une catégorie dense, elle est étroite. Sur un avis sans devis, sans estimation de l'acheteur et sans comparables, elle est très large — et c'est l'information utile. Une fourchette large est un aveu d'incertitude, pas un défaut. Quand il manque trop de données pour dire quoi que ce soit d'honnête, le rapport affiche un refus plutôt qu'un chiffre du milieu.

Une promesse qu'on peut vous demander de vérifier

Une fourchette annoncée « à 80 % » devrait contenir le prix réel environ 80 fois sur 100. Sinon, elle ne veut rien dire.

C'est ce que nous mesurons, sur des appels d'offres postérieurs à la période d'entraînement, que les modèles n'avaient jamais vus. La fourchette à 80 % a contenu le prix adjugé 79 % du temps. Ce n'est pas un chiffre flatteur qu'on a choisi de publier : c'est une promesse falsifiable, et vous pouvez nous la reprocher si elle dérive. La page précision publie le détail, y compris la tranche de prix où la mesure passe sous notre propre seuil.

Un système génératif ne peut pas offrir ça. Il n'y a pas de « 80 % » attaché à un paragraphe bien écrit.

Les concurrents probables : retrouver, puis classer

La liste des soumissionnaires attendus fonctionne en deux temps, et ni l'un ni l'autre n'invente de noms.

1. On réduit d'abord les dizaines de milliers d'entreprises ayant un historique public à quelques centaines de candidates plausibles pour cet avis précis — celles actives dans la bonne famille de produits, chez le bon acheteur, dans la bonne région.
2. On classe ensuite ces candidates, et chacune ressort avec une probabilité, pas avec un rang.

La nuance est réelle. Lue comme « voici qui soumissionnera », une telle liste est fausse. Lue comme « reconnaissez ces noms, et voici la probabilité de chacun », elle est utile et honnête.

Mesuré : une liste de dix noms contient 43 % des soumissionnaires qui se sont réellement présentés — 44 % si l'on écarte les entreprises sans historique public, dont personne, nous compris, ne peut rien savoir avant leur première soumission. C'est loin de la perfection, et c'est publié tel quel.

Nous avons testé un modèle de langage. Il a perdu.

Ce n'est pas une position de principe rétroactive. Nous avons ajouté des caractéristiques produites par un modèle de langage au modèle de prix, et nous avons mesuré le résultat contre notre seuil de bruit décidé à l'avance.

Le gain sur la métrique principale a été plus petit que le bruit. L'erreur médiane, elle, a empiré. Sur les deux caractéristiques ajoutées, l'une contribuait exactement zéro. C'est un rejet documenté, pas un oubli.

Il y a mieux, et c'est plus humiliant pour nous : sur la moitié des avis environ, l'acheteur publie sa propre estimation. Sur ceux-là, une correction arithmétique à deux paramètres appliquée à son chiffre bat nos quelques centaines de variables. Nous ne l'avons pas caché, nous l'avons adopté — ce que le rapport vous montre sur ces avis est un mélange des deux, parce que c'est ce qui se trompe le moins.

Un fournisseur qui vous dit que son modèle gagne toujours ne l'a pas mesuré.

Où l'intelligence artificielle travaille chez nous

Il serait malhonnête de vous dire qu'il n'y a aucune IA dans le produit. Il y en a, et elle est utile. Elle lit et elle écrit.

• Elle transforme en texte les documents que vous téléversez, y compris les PDF numérisés.
• Elle vous dit ce que ces documents contiennent : exigences, garanties, pénalités, dates.
• Elle rédige le résumé en français clair au début du rapport.

Ce qu'elle ne fait jamais, c'est toucher à un chiffre. Vos documents ne déplacent pas la fourchette de prix — et ce n'est pas une précaution de rédaction, c'est une mesure. Nous avons construit l'instrument qui aurait détecté un effet, et il lit zéro. Ce que vos documents changent, c'est ce que vous savez d'eux, pas ce que le marché va coûter.

Les fournisseurs qui traitent ces documents sont nommés dans notre politique de confidentialité. Nous préférons vous dire lesquels plutôt que d'écrire « propulsé par l'IA » sur une page d'accueil.

Pourquoi vous devriez y tenir

Une décision de soumissionner engage des semaines de travail et parfois une garantie. Ce que vous voulez d'un outil, à ce moment-là, ce n'est pas de l'assurance : c'est un chiffre dont vous pouvez demander l'historique de performance, et qui vous dit quand il ne sait pas.

C'est le seul argument que nous défendrions si un seul devait survivre : le nombre affiché sur la page veut dire ce qu'il prétend vouloir dire.