Flashback 10 mars 2026 · METR
METR : la moitié des correctifs d’IA validés par un test seraient refusés
- ★ Chiffre clé
- ≈ 50 % des correctifs refusés
- Organisation
- METR
- Secteur
- Technologies
- Preuve
- Étude
Le 10 mars 2026, l’organisme de recherche METR publie une note : quatre mainteneurs de projets de logiciel libre ont relu 296 correctifs écrits par des . Parmi ceux validés par le test automatique de référence SWE-bench, environ la moitié n’auraient pas été intégrés : qualité insuffisante, casse d’autres fonctions ou défaut de fond. METR précise que les agents n’avaient droit qu’à un essai et que la note, préliminaire, porte sur un échantillon réduit. Pour une entreprise : un score de banc d’essai ne remplace pas la relecture humaine.
Lire la source (metr.org)(nouvel onglet)
📌 Brève datée : publiée telle quelle à sa date, sans mise à jour. La source fait foi.
Sur le même sujet
- 10 septembre 2026Shopify : l’app Shop reconstruite en 12 semaines grâce à l’IA· Shopify Engineering★ 12 semaines, six ingénieurs
- 9 septembre 2026Nouveau-Mexique : 5 000 $ d’amende pour des témoins inventés par ChatGPT· Reuters (via Al Jazeera)★ 5 000 $ d’amende et outrage
- 7 août 2026Asana : cinq ans de migration de tests bouclés en deux semaines· Équipe Engineering, Asana★ 12 000 $ contre 6 M$ estimés
- 8 juillet 2026Bun : 535 000 lignes réécrites par des agents IA en 11 jours· Jarred Sumner, blog de Bun★ 11 jours, environ 165 000 $
- 5 juin 2026Instagram : 20 225 comptes détournés via l’assistant IA de récupération· Meta, déclaration au procureur général du Maine ; Help Net Security★ 20 225 comptes détournés