Flashback 10 mars 2026 · METR
METR : la moitié des correctifs d’IA validés par un test seraient refusés
- ★ Chiffre clé
- ≈ 50 % des correctifs refusés
- Organisation
- METR
- Secteur
- Technologies
- Preuve
- Étude
Le 10 mars 2026, l’organisme de recherche METR publie une note : quatre mainteneurs de projets de logiciel libre ont relu 296 correctifs écrits par des . Parmi ceux validés par le test automatique de référence SWE-bench, environ la moitié n’auraient pas été intégrés : qualité insuffisante, casse d’autres fonctions ou défaut de fond. METR précise que les agents n’avaient droit qu’à un essai et que la note, préliminaire, porte sur un échantillon réduit. Pour une entreprise : un score de banc d’essai ne remplace pas la relecture humaine.
Lire la source (metr.org)(nouvel onglet)
📌 Brève datée : publiée telle quelle à sa date, sans mise à jour. La source fait foi.
Sur le même sujet
- 22 octobre 2026Microsoft AI : 83 % de diagnostics justes, contre 36 % pour des médecins généralistes· Nori, King et al., Science ; Robert Hart, The Verge★ 83 % de diagnostics justes contre 36 %
- 21 octobre 2026PHP : deux failles critiques trouvées avec l’IA, exploitées avant leur publication· Projet PHP, avis de sécurité ; OpenAI★ 4 jours d’avance pour les attaquants
- 10 septembre 2026Shopify : l’app Shop reconstruite en 12 semaines grâce à l’IA· Shopify Engineering★ 12 semaines, six ingénieurs
- 9 septembre 2026Nouveau-Mexique : 5 000 $ d’amende pour des témoins inventés par ChatGPT· Reuters (via Al Jazeera)★ 5 000 $ d’amende et outrage
- 7 août 2026Asana : cinq ans de migration de tests bouclés en deux semaines· Équipe Engineering, Asana★ 12 000 $ contre 6 M$ estimés