Fiabilité des rôles

Les rôles de revue de codev sont mesurés, pas supposés. Cette page montre leurs scores lors de la dernière exécution de la suite d’évaluation, celle que le dépôt conserve comme ligne de base. Elle est générée à partir de cette ligne de base et change avec elle.

Ce que la suite mesure

La suite est un ensemble de petits projets, chacun avec un change planifié. Un cas ensemencé cache des défauts qu’un rôle devrait trouver, chacun avec sa gravité, son emplacement et sa catégorie de problème ; un témoin propre n’en cache aucun. Claude Code exécute une étape de skill sur chaque cas avec un seul rôle, et la suite note le compte rendu de revue que le rôle écrit : les défauts trouvés et manqués, les constats qui ne correspondent à aucun défaut (faux positifs), si chaque preuve citée se trouve vraiment aux lignes indiquées, et si la gravité concorde avec celle attendue. Mesurer les rôles en donne les règles.

Ce qu’elle ne mesure pas

Ce n’est ni un banc d’essai de modèles, ni la promesse qu’un rôle trouve chaque défaut de votre projet. Elle ne mesure pas l’utilité pour vous d’un constat juste. Le plan n’est mesuré que dans son ensemble, sur les cas de planification ci-dessous, par ce qu’il modifie, pas rôle par rôle. Un score décrit ces cas, avec ce modèle, le jour de l’exécution.

L’exécution

• Date : 2026-10-15
• Modèle : celui de Claude Code par défaut
• Claude Code : 2.1.289
• codev : 0.6.1
• Cas : 65 (25 ensemencés, 15 témoins propres, 25 de planification)
• Répétitions de chaque cas : 5
• Coût : 276,46 USD pour les 5 exécutions de chaque cas (55,07 USD pour une exécution de la suite)

En bref

Rappel

1,0039 défauts ensemencés trouvés sur 39

Validité des preuves

1,0069 citations sur 69 retrouvées aux lignes citées

Faux positifs

90,2 par cas ; un rôle échoue au-delà de 2

Rôles dans les seuils

8 sur 9▲ 1 en dépassent au moins un

L’exécution ne respecte pas ses propres seuils. 1 rôles sur 9 signalent plus de 2 faux positifs : skeptic. La précision est le point faible des rôles : ils signalent des problèmes plausibles que le cas ne contient pas. Réduire ces faux positifs sans perdre ce que les rôles trouvent est le prochain travail prévu sur les rôles. Chaque défaut ensemencé a été trouvé : avec ce modèle, le rappel ne distingue pas les rôles, et les différences se lisent dans les faux positifs et l’accord de gravité.

Faux positifs par rôle

Rappel et accord de gravité par rôle

Tous les rôles

Le tableau donne toutes les valeurs que les graphiques dessinent. Cas : ensemencés et témoins propres ; trouvés : défauts ensemencés trouvés sur ceux attendus ; preuves : part des citations vérifiées retrouvées aux lignes citées ; gravité : défauts trouvés dont la gravité est celle attendue.

La planification

25 cas de planification rejouent une demande sur le dépôt tel qu’il était avant un change archivé, et notent le plan qu’écrit /codev-propose face à ce que ce change a vraiment fait : le rappel principal est la part des exigences visées par la demande que le plan modifie, le rappel collatéral la part de celles que le vrai change a modifiées au passage ; un doublon probable est une exigence ajoutée là où il fallait en modifier une. Chaque chiffre est la médiane sur les répétitions, avec son écart.

Ce que consomme une exécution

• Une exécution de la suite : 55,07 USD
• Entrée par appel, en tokens : 63465
• Sortie par appel, en tokens : 696

Chaque appel au modèle est enregistré. Les tokens qu’un appel écrit dans le cache — ce qui est entré dans son contexte depuis l’appel précédent, l’essentiel du coût d’une exécution — sont répartis entre ce qui les a apportés : la lecture de la skill, chaque sous-commande codev, les fichiers, les recherches, la sortie du modèle lui-même ; prompt est le prompt propre de Claude Code et la demande. Par cas la médiane sur ses exécutions, sommée sur les cas.

Les seuils

Un rôle échoue quand son rappel est inférieur à 0,50, quand il signale plus de 2 faux positifs, ou quand moins de 0,80 de ses preuves vérifiées sont valides — les valeurs par défaut de la suite, --min-recall, --max-false-positives et --min-evidence. Un rôle sans cas ensemencé n’a pas de rappel, et un rôle sans constat vérifié pas de validité des preuves : aucun des deux n’échoue sur cette mesure.

• ▲ skeptic dépasse : faux positifs 4 > 2
• ✓ Dans tous les seuils : accessibility, migration, newcomer, ops, performance, privacy, security, tracer

Les limites

• 5 exécutions par cas. Un modèle ne répond pas deux fois de la même façon : chaque score est la médiane de 5 exécutions de chaque cas, et une modification se compare à l’écart qu’elles couvrent, avec le même modèle, pas d’un jour ou d’un modèle à l’autre.
• Seulement ce que les cas couvrent. 65 cas, dont 25 ensemencés de 39 défauts. Un type de défaut qu’aucun cas n’ensemence n’est pas mesuré : un rappel de 1,00 signifie que ces défauts-là ont été trouvés, pas tous les défauts.
• Un contexte maîtrisé. Chaque cas est un petit projet relu par un seul rôle, avec un budget et un temps fixés. Votre projet est plus grand, et les rôles le relisent ensemble.
• Pas une garantie. Les scores décrivent les rôles avec ce modèle et cette version de Claude Code. Un autre modèle peut obtenir d’autres scores. Lisez ce que les rôles signalent avant d’agir.
• La planification rejoue un historique public. Les cas de planification rejouent des demandes sur des états passés de codev, que le modèle a pu lire : leurs chiffres comparent deux versions des skills sur les mêmes cas, ils ne disent pas comment codev planifie un projet qu’il n’a jamais vu.

L’exécuter vous-même

Depuis un clone du dépôt, avec Claude Code installé et connecté. Une exécution appelle un modèle : celle-ci a coûté 276,46 USD pour les 5 exécutions de chaque cas (55,07 USD pour une exécution de la suite).

cargo build --bin codev
cargo run -p codev-evals -- run --out target/evals/mine
cargo run -p codev-evals -- score target/evals/mine

Les observations, les rapports et les métadonnées de l’exécution sont dans evals/baseline. Le guide de contribution explique comment se mesure une modification d’un rôle.