Comment nous mesurons nos prévisions
Ce que veut dire « une fourchette à 80 % », pourquoi nous l'annonçons à 79,4 % plutôt qu'à 80, et comment nos modèles sont notés.
Un modèle qui annonce sa propre précision se note lui-même. Voici comment nous évitons ça, et ce que valent réellement les trois chiffres que vous voyez dans un rapport offra.
La règle : on ne note jamais un modèle sur ce qui l'a construit
Nos modèles apprennent sur les appels d'offres publiés jusqu'à la fin de 2024. Ils sont ajustés sur le premier semestre 2025. Puis ils sont mesurés — une seule fois — sur l'année qui a suivi, c'est-à-dire sur des avis qu'ils n'avaient jamais vus. C'est exactement la situation d'un avis qui s'ouvre demain.
Chaque fait historique utilisé est reconstruit tel qu'il était connu le jour de la publication. Le palmarès d'une entreprise ne compte que les résultats déjà rendus publics à cette date, jamais ce qu'on a appris ensuite. Sans cette précaution, un modèle a l'air brillant en laboratoire et se casse en production, parce qu'il a appris à lire l'avenir dans des données qui n'existaient pas encore.
Les chiffres, et ce qu'ils excluent
Trois précisions valent mieux qu'un chiffre rond.
La fourchette de prix tient dans 79,4 % des cas. Nous annonçons une fourchette « à 80 % » ; mesurée, elle en attrape 79,4. L'écart est petit et nous préférons l'afficher plutôt que d'arrondir vers le haut. C'est aussi une fourchette 7,2 fois plus serrée que la méthode évidente — « ce que cette catégorie de contrat coûte d'habitude ».
L'erreur moyenne sur le nombre de soumissionnaires est de 1,9, contre 2,6 pour cette même méthode de référence.
Sur dix noms de concurrents probables, environ 43 % des soumissionnaires réels s'y trouvent — 44 % si l'on exclut les entreprises qui n'ont aucun historique au SEAO. Nous donnons toujours les deux, parce que citer le second sans le premier flatte le résultat.
Ces mesures ne portent pas sur le même nombre d'appels d'offres, et c'est normal : chaque prévision a sa propre population de test. Le détail se trouve au bas de la page d'accueil.
Le périmètre compte plus que la méthode
Voici l'erreur la plus coûteuse qu'on puisse faire en lisant des statistiques sur les marchés publics québécois, et nous l'avons faite avant de la corriger.
Si l'on mélange tous les modes d'attribution, environ trois appels d'offres sur quatre n'attirent qu'une seule soumission. Le chiffre est vrai et il ne décrit rien d'utile : la grande majorité de ces avis sont des contrats de gré à gré, c'est-à-dire des contrats déjà attribués au moment où ils sont publiés.
Sur les appels d'offres ouverts — les seuls sur lesquels une entreprise peut réellement soumissionner — c'est environ un sur six. Un facteur de plus de quatre entre les deux lectures.
Toutes nos mesures portent sur les appels d'offres ouverts, et rien d'autre.
Ce que la calibration veut dire
Quand le rapport affiche « 22 % de chances d'être seul », ce n'est pas une manière de dire « probablement pas ». C'est une promesse vérifiable : sur l'ensemble des avis auxquels nous avons donné 22 %, environ 22 % ont effectivement reçu une seule soumission.
Sur l'ensemble du test, l'écart entre la probabilité annoncée et la fréquence observée reste d'environ deux points de pourcentage. Nous affichons cet écart plutôt qu'une certitude.
Corollaire qui surprend : une fourchette large est un aveu d'incertitude, pas un défaut. Sur certains contrats, une fourchette étroite serait tout simplement fausse, et nous préférons vous le dire.
Ce que nous ne pouvons pas voir
Nos prévisions reposent sur ce que le SEAO publie. Elles ne connaissent ni vos coûts, ni votre capacité, ni les relations qui se nouent hors du processus public.
Environ 3 % des soumissionnaires réels n'ont aucune trace au SEAO : aucune méthode fondée sur le passé ne peut les nommer. Nous vous annonçons plutôt combien d'entrants imprévisibles attendre.
Et le verdict « favorable / nuancé / défavorable » qui accompagne chaque avis n'est pas un modèle. C'est une grille pondérée sur cinq facteurs, dont les poids sont affichés. Il n'existe pas de données d'entraînement pour « cette entreprise aurait-elle dû soumissionner », donc il n'y a rien à apprendre — seulement une règle à écrire honnêtement et à montrer.