Нейросети пока не могут заменить живых разработчиков кода: такой вывод исследования Alibaba Group и университета имени Сунь Ятсена в Гуанчжоу.
Они тестировали агентов ИИ на 100 реальных кодовых базах, которые поддерживались 233 дня.
Нейросетям нужно было не просто выполнить разовое задание, как их обычно тестируют, а поддерживать долгосрочную эволюцию кодовой базы, добавляя новые функции, не нарушая работу старых.
И с этой задачей 75% нейросетей не справились. Как оказалось, модели накапливают технические проблемы, пишут «хрупкий» код и жертвуют его качеством ради быстрых результатов.