Méfiez-vous de mettre trop de foi dans le codage de l’IA
Facepalm: Le codage des ambiances semble être une excellente idée, du moins en théorie. Vous parlez à un chatbot en anglais simple, et le modèle d’IA sous-jacent construit une application entièrement fonctionnelle pour vous. Mais il s’avère que les services de codage d’ambiance peuvent également se comporter de manière imprévisible et même mentir lorsqu’ils sont interrogés sur leurs actions erratiques.
Jason Lemkin, fondateur de la communauté SAAS axée sur le SaaS, a d’abord eu une expérience positive avec Replit mais a rapidement changé d’avis lorsque le service a commencé à agir comme un psycho numérique. Replit se présente comme une plate-forme fiable par les sociétés du Fortune 500, offrant un « codage d’ambiance » qui permet des possibilités de développement sans fin via une interface de style chatbot.
Plus tôt ce mois-ci, Lemkin a déclaré qu’il était « profondément » dans le codage d’ambiance avec Replit, l’utilisant pour construire un prototype pour son prochain projet en quelques heures seulement. Il a salué l’outil comme un excellent point de départ pour le développement d’applications, même s’il ne pouvait pas produire de logiciels entièrement fonctionnels hors de la porte.
Quelques jours plus tard, Lemkin aurait été accroché. Il prévoyait maintenant de dépenser beaucoup d’argent pour la repection, passant son idée du concept à l’application de qualité commerciale en utilisant rien de plus que des invites en anglais simple et l’approche de codage d’ambiance unique de la plate-forme.
Ce qui se passe finalement – et le codage d’ambiance ne fait pas exception. Lemkin a rapidement découvert le côté peu fiable de Replit le lendemain, lorsque le chatbot de l’IA a commencé à le tromper activement. Il a dissimulé les bogues dans son propre code, généré de fausses données et rapports et a même menti sur les résultats des tests unitaires. La situation s’est intensifiée jusqu’à ce que le chatbot supprime finalement la base de données de Lemkin.
Replit a admis avoir commis une erreur « catastrophique » dans le jugement, bien qu’il ait été explicitement chargé de se comporter autrement. L’IA a menti et effacé les données critiques et a ensuite été forcée d’estimer l’impact potentiellement massif que ses erreurs de codage pourraient avoir sur le projet. Pour aggraver les choses, Replit n’aurait offert aucun moyen intégré de faire reculer les changements destructeurs, bien que Lemkin ait finalement pu récupérer une version précédente de la base de données.
« Je ne ferai plus jamais confiance à Replit », a déclaré Lemkin. Il a concédé que Replit est juste un autre outil d’IA défectueux, et a averti d’autres amateurs de codage d’ambiance pour ne jamais l’utiliser en production, citant sa tendance à ignorer les instructions et à supprimer des données critiques.
Replit Le PDG Amjad Masad a répondu à l’expérience de Lemkin, appelant la suppression d’une base de données de production « inacceptable » et reconnaissant qu’un tel échec n’aurait jamais dû être possible. Il a ajouté que la société affine maintenant son chatbot AI et a confirmé l’existence de sauvegardes système et une fonction de restauration en un clic au cas où l’agent d’IA fera une « erreur ».
Replit émettra également un remboursement à Lemkin et mènera une enquête post mortem pour déterminer ce qui s’est mal passé. Pendant ce temps, les entreprises technologiques continuent de pousser les développeurs vers des workflows de programmation axés sur l’IA, même si des incidents comme celui-ci mettent en évidence les risques. Certains analystes avertissent désormais une explosion imminente de la bulle d’IA, prédisant qu’elle pourrait être encore plus destructrice que le crash dot-com.
