Les développeurs ont pris 19% de plus pour terminer les tâches à l’aide d’outils d’IA
Countes de coupe: Dans un virage surprenant pour le monde en évolution rapide de l’intelligence artificielle, une nouvelle étude a révélé que les assistants de codage alimentés par l’IA peuvent en fait entraver la productivité parmi les développeurs de logiciels assaisonnés, plutôt que de l’accélérer, ce qui est la principale raison pour laquelle les développeurs utilisent ces outils.
La recherche, menée par la recherche sur l’évaluation et les menaces du modèle à but non lucratif (METR), a entrepris de mesurer l’impact du monde réel des outils avancés d’IA sur le développement de logiciels. Au début de 2025 au début de 2025, METR a observé que 16 développeurs open-source ont connu des développeurs open source alors qu’ils s’attaquent à 246 tâches de programmation authentiques – allant des corrections de bogues aux nouvelles implémentations de fonctionnalités – sur les référentiels de code importants qu’ils connaissaient intimement. Chaque tâche a été assignée au hasard à un permis ou à interdire l’utilisation d’outils de codage AI, la plupart des participants optant pour Cursor Pro associé à Claude 3.5 ou 3.7 Sonnet lorsqu’ils sont autorisés à utiliser AI.
Avant de commencer, les développeurs ont prédit avec confiance que l’IA les rendrait 24% plus rapidement. Même après la fin de l’étude, ils pensaient toujours que leur productivité s’était améliorée de 20% lors de l’utilisation de l’IA. La réalité, cependant, était nettement différente. Les données ont montré que les développeurs ont en fait mis 19% de plus pour terminer les tâches lors de l’utilisation d’outils d’IA, un résultat qui a exécuté un comptoir non seulement à leurs perceptions mais aussi aux prévisions d’experts en économie et en apprentissage automatique.
Les chercheurs ont creusé des raisons possibles de ce ralentissement inattendu, identifiant plusieurs facteurs contributifs. Premièrement, l’optimisme des développeurs sur l’utilité des outils d’IA a souvent dépassé les capacités réelles de la technologie. De nombreux participants connaissaient très bien leurs bases de code, laissant peu de place à l’IA pour offrir des raccourcis significatifs. La complexité et la taille des projets – dépassant souvent un million de lignes de code – ont également posé un défi pour l’IA, qui a tendance à mieux fonctionner sur des problèmes plus petits et plus contenus. En outre, la fiabilité des suggestions d’IA était incohérente; Les développeurs ont accepté moins de 44% du code qu’il a généré, passant beaucoup de temps à examiner et à corriger ces sorties. Enfin, les outils d’IA ont eu du mal à saisir le contexte implicite dans de grands référentiels, conduisant à des malentendus et à des suggestions non pertinentes.
La méthodologie de l’étude était rigoureuse. Chaque développeur a estimé la durée d’une tâche avec et sans IA, puis a travaillé sur les problèmes tout en enregistrant leurs écrans et en auto-déclarer le temps passé. Les participants ont été indemnisés 150 $ par heure pour assurer un engagement professionnel envers le processus. Les résultats sont restés cohérents dans diverses mesures et analyses des résultats, sans aucune preuve que des artefacts expérimentaux ou des biais ont influencé les résultats.
Les chercheurs avertissent que ces résultats ne devraient pas être trop généralisés. L’étude s’est concentrée sur les développeurs hautement qualifiés travaillant sur des bases de code complexes familières. Les outils d’IA peuvent toujours offrir des avantages plus importants aux programmeurs moins expérimentés ou à ceux qui travaillent sur des projets inconnus ou plus petits. Les auteurs reconnaissent également que la technologie de l’IA évolue rapidement et que les itérations futures pourraient produire différents résultats.
Malgré le ralentissement, de nombreux participants et chercheurs continuent d’utiliser des outils de codage d’IA. Ils notent que, bien que l’IA ne puisse pas toujours accélérer le processus, il peut rendre certains aspects du développement moins éprouvants mentalement, transformant le codage en une tâche plus itérative et moins intimidante.
