Précision mesurée
À quelle fréquence nous avons raison, et sur quoi nous ne l'avons pas.
Toutes les mesures de cette page portent sur 12 076appels d'offres que le modèle n'avait jamais vus : il a été entraîné jusqu'au 2024-12-31, calibré sur la période suivante, puis mesuré sur ce qui venait après. Aucune n'est un objectif ni une moyenne du secteur — ce sont des résultats sur des contrats déjà adjugés.
Une fourchette à 80 % qui contiendrait le prix 95 % du temps serait aussi fausse qu'une qui le contiendrait 60 % du temps : elle serait simplement trop large pour servir. Ce que vous devriez chercher ici, c'est la couverture près de sa cible, et la largeur qu'il a fallu pour y arriver.
01 — La fourchette contient-elle le prix
Deux fourchettes sont publiées et chacune est calibrée séparément contre sa propre cible. Aucune n'est déduite de l'autre.
Ce que la calibration a acheté
Les quantiles bruts du modèle sous-couvrent nettement. Un décalage unique appliqué partout corrige la moyenne mais élargit la fourchette d'un tiers. La partition par tranche corrige la moyenne etrend la fourchette plus étroite qu'au départ — c'est celle qui est publiée.
| Méthode | Couverture 80 % | Largeur médiane |
|---|---|---|
| Quantiles bruts, sans calibration | 71,1 % | 4,3× |
| Décalage unique, appliqué partout | 78,5 % | 5,4× |
| Par tranche — ce qui est publié | 79,4 % | 4,2× |
La fourchette resserrée suit le même chemin : 41,9 % brute contre 49,4 % publiée, pour une cible de 50 %.
02 — Tranche par tranche
Une couverture moyenne juste peut cacher deux moitiés fausses en sens contraire. La calibration est donc faite par tranche de prix prévu, et chaque tranche est vérifiée séparément.
La cible que nous nous imposons est une couverture comprise entre 75 % et 85 % dans chaque tranche. Une tranche la manque sur cette mesure, et elle est marquée ci-dessous. Nous la publions plutôt que de la lisser : une page de précision qui ne montre que ses réussites ne mesure rien.
| Tranche de prix prévu | Appels d'offres | Couverture 80 % (cible 75 %–85 %) | Couverture 50 % (cible 45 %–55 %) |
|---|---|---|---|
| 0 — les contrats les moins chers | 689 | 79,2 % | 48,0 % |
| 1 | 601 | 78,2 % | 46,8 % |
| 2 | 677 | 79,2 % | 52,9 % |
| 3 | 677 | 76,7 % | 45,6 % |
| 4 | 690 | 75,9 % | 49,3 % |
| 5 | 693 | 76,3 % | 48,5 % |
| 6 | 682 | 82,3 % | 47,1 % |
| 7 | 605 | 82,3 % | 51,7 % |
| 8 | 541 | 73,6 % — hors de la cible | 45,8 % |
| 9 — les plus chers | 429 | 79,7 % | 47,1 % |
Mesuré sur les appels d'offres dont la fourchette repose sur le modèle seul. Là où l'acheteur publie une estimation, elle est construite autrement et mesurée séparément — c'est la section suivante.
03 — Pourquoi les tranches sont celles du prix prévu
Parce que c'est la seule que vous connaissez au moment de décider — et parce que trancher sur le prix réel produit mécaniquement de mauvais chiffres, quel que soit le modèle.
Si l'on regroupe les appels d'offres selon le montant finalement adjugé, la couverture s'effondre aux deux extrémités. Ce n'est pas un défaut du modèle : conditionner sur le résultat sélectionne, dans la tranche basse, précisément les contrats partis moins cher que prévu. N'importe quel prédicteur, même parfait, lirait la même chose. Le tableau existe ici pour que personne n'ait à le découvrir ailleurs.
| Regroupement | Bas | Milieu | Haut |
|---|---|---|---|
| Par prix prévu — ce que vous connaissez | 80,8 % | 78,9 % | 80,0 % |
| Par prix réel — connu seulement après coup | 57,9 % | 88,6 % | 65,0 % |
04 — Sur quels appels d'offres
La moyenne de la page mélange deux situations très différentes. Celle qui vous concerne dépend de ce que l'acheteur a publié avec son avis — et le rapport vous dit laquelle est la vôtre.
Selon ce que l'acheteur a publié
Le plus grand écart de la page, et de loin. L'estimation de l'acheteur est le levier le plus fort dont nous disposons.
| Situation | Appels d'offres | Couverture 80 % | Couverture 50 % | Écart médian | Largeur |
|---|---|---|---|---|---|
| L'acheteur a publié une estimation | 5 792 | 80,6 % | 50,6 % | 20,2 % | 2,4× |
| Aucune estimation publiée | 6 284 | 78,3 % | 48,4 % | 54,3 % | 7,4× |
| Description du marché récupérée | 11 868 | 79,4 % | 49,5 % | 33,9 % | 4,2× |
| Aucune description | 208 | 81,3 % | 45,7 % | 74,0 % | 20,5× |
| Documents d'appel d'offres publiés | 11 534 | 79,4 % | 49,5 % | 33,0 % | 4,1× |
| Aucun document | 542 | 79,2 % | 47,4 % | 72,5 % | 23,5× |
Selon la nature du contrat
Beaucoup plus stable. La catégorie déplace peu la couverture.
| Situation | Appels d'offres | Couverture 80 % | Couverture 50 % | Écart médian | Largeur |
|---|---|---|---|---|---|
| Biens | 2 855 | 80,8 % | 50,3 % | 30,1 % | 3,7× |
| Services | 4 321 | 78,4 % | 49,0 % | 36,3 % | 4,7× |
| Travaux | 4 740 | 79,5 % | 49,1 % | 34,6 % | 4,2× |
La colonne « largeur » est celle des quantiles avant calibration : la largeur calibrée par tranche n'est pas mesurée séparément sur chaque situation, et donner l'une pour l'autre serait un chiffre juste sous une mauvaise étiquette. Sur l'ensemble, la calibration resserre la largeur médiane de 4,3× à 4,2×.
Un avis sans estimation publiée est donc mesuré autour de 54,3 %d'écart médian contre 20,2 % lorsqu'il y en a une. Le rapport affiche laquelle de ces deux situations est la sienne — l'indicateur de fiabilité, à côté de la fourchette, et non dans une note de bas de page.
05 — Et si la fourchette est trop large
Une fourchette juste mais très large ne vous sert à rien. C'est le reproche le plus fondé qu'on puisse faire à cette méthode, alors voici la distribution complète plutôt que sa médiane.
| Largeur de la fourchette | Les 10 % les plus étroites | Le quart | La médiane | Les trois quarts | Les 10 % les plus larges |
|---|---|---|---|---|---|
| À 80 % | 2,4× | 2,6× | 4,2× | 10,4× | 19,4× |
| À 50 % | 1,5× | 1,5× | 1,9× | 3,4× | 4,9× |
Le rapport situe votre fourchette dans cette distribution plutôt que de vous laisser deviner, et il refuse d'en dessiner une lorsque l'avis ne porte pas assez d'information pour faire mieux qu'un ordre de grandeur. Une fourchette large est un aveu d'incertitude ; une fourchette très large n'est plus une mesure du tout, et il vaut mieux le dire que la dessiner.
Ce que le rapport fait de cette largeur
| Sur un avis pris au hasard | Part | Ce que vous voyez |
|---|---|---|
| La fourchette est publiée | 73,8 % | Les deux intervalles, l'estimation de l'acheteur s'il y en a une, et les paliers de prix |
| Publiée, mais signalée comme large | 24,5 % | La même chose, avec l'avertissement placé à côté du graphique plutôt qu'en note |
| Aucune fourchette | 1,7 % | Les contrats comparables et la raison, à la place. Ni fourchette ni prix pour gagner |
La dernière ligne, ce sont les avis sans estimation de l'acheteur etsans devis exploitable. Nous n'avons pour ceux-là aucun régime de précision mesuré, et c'est ce fait — plutôt que la largeur de l'intervalle — qui décide. Ces avis-là n'ont pas forcément la fourchette la plus large — certains sont plus étroits que le quart signalé ci-dessus. Un intervalle qui a l'air sûr sur un contrat que nous ne savons pas évaluer est le cas dangereux, pas celui qui a l'air large.
06 — Contre quoi cela se compare
Deux méthodes simples servent de garde-fou permanent. La première est celle que n'importe qui peut appliquer ; la seconde nous bat sur son propre terrain, et c'est pourquoi nous nous en servons.
| Méthode | Appels d'offres | Couverture 80 % | Écart médian | Largeur médiane |
|---|---|---|---|---|
| Les quantiles de la famille de contrats — la méthode évidente | 12 076 | 71,6 % | 79,0 % | 30,3× |
| Notre fourchette, sur les mêmes contrats | 12 076 | 79,4 % | 34,2 % | 4,2× |
| L'estimation de l'acheteur, recalée — là où elle existe | 5 792 | 80,8 % | 19,9 % | 2,7× |
Notre fourchette est 7,2× plus étroite que la méthode évidente, à couverture comparable, et se trompe deux fois moins.
La troisième ligne nous bat, et nous la publions pour cette raison. Sur les 48 %d'avis où l'acheteur a publié une estimation, une simple correction appliquée à ce chiffre fait mieux que nos 285 variables. Nous ne l'ignorons pas : la fourchette publiée sur ces avis-là est un mélange des deux, dosé sur des données mises de côté. Un modèle qui refuse d'utiliser une meilleure information parce qu'elle n'est pas la sienne serait un mauvais produit.
07 — Les autres prévisions du rapport
Le prix n'est pas la seule chose que le rapport prévoit. Les autres sont mesurées de la même façon, sur le même découpage.
08 — D'où viennent ces chiffres
Toutes les mesures viennent d'un seul fichier de résultats, produit par la même évaluation que celle citée dans chaque rapport vendu. Aucun chiffre de cette page n'est saisi à la main : ils sont générés depuis ce fichier, et un test échoue si l'un d'eux est écrit en dur.
C'est la seule chose qui rend ces affirmations vérifiables. Une page de précision recopiée à la main survit à la mesure qu'elle décrit, et c'est exactement ce qui est déjà arrivé ici avant que ce mécanisme existe.
- Découpage
- entraînement jusqu'au 2024-12-31
- Calibration
- jusqu'au 2025-06-30
- Mesure
- après cette date, 12 076 appels d'offres
- Population
- appels d'offres publics ouverts, soit 21 % du corpus
- Estimation publiée par l'acheteur
- 48 % des avis
- Description du marché récupérée
- 98 % des avis
- Documents d'appel d'offres
- 96 % des avis
Ce que ces mesures ne disent pas : ce que vous coûte le contrat, ce que vaut votre carnet, ni ce qui se décide hors du processus public. Les limites sont écrites au long dans les conditions d'utilisation, et le détail de la méthode se trouve dans la description du rapport.
Commencer
Le rapport porte ces mêmes mesures à côté de chaque chiffre, sur votre appel d'offres plutôt que sur le corpus.