С ИИ программисты работали на 19% медленнее — и были уверены, что быстрее
METR посадили 16 опытных разработчиков за их собственные проекты: часть задач — с нейросетью, часть — без. С нейросетью вышло медленнее, хотя сами разработчики были уверены в обратном.
В начале 2025-го лаборатория METR проверила, как нейросети влияют на скорость опытных программистов. Мерили не ощущения, а время по часам.
Как проверяли
В начале 2025-го лаборатория METR взяла 16 опытных разработчиков open-source. Не джунов на учебных задачках: эти люди в среднем по пять лет пилят один и тот же проект. Репозитории крупные — в среднем 22 тысячи звёзд на GitHub и больше миллиона строк кода. Платили по $150 в час.
Каждый принёс реальные задачи из своего проекта — всего 246 штук, в среднем по два часа на задачу. Дальше как монетка: на этой задаче нейросеть можно, на этой — нельзя. Пользовались в основном Cursor с Claude 3.5/3.7 Sonnet — лучшим, что было на тот момент. Экран записывали, время засекали.
Чего ждали
- Экономистына 39%
- Эксперты по машинному обучениюна 38%
- Сами разработчики — до экспериментана 24%
- Сами разработчики — уже послена 20%
По факту с нейросетью задачи заняли на 19% больше времени. При этом уже после эксперимента, отработав десятки задач, разработчики оценили, что ИИ ускорил их на 20%.
Куда утекло время
Из чего складывается замедление, по разбору авторов: время уходит на промпты, ожидание и проверку ответов, а больше половины сгенерированного кода отправляется в корзину. Ещё участники знают свои проекты лучше модели — в кодовой базе на миллион строк много неявных правил, которых нейросеть не видит. Сильнее всего замедление проявлялось на задачах, где разработчик хорошо знал код.
Ограничения
Авторы подчёркивают, что это узкий срез: опытные разработчики, крупные зрелые проекты, инструменты начала 2025 года. На новом проекте, в незнакомом коде или у новичков результат может быть другим, а модели с тех пор обновились.