Memento-Skills научила ИИ самосовершенствоваться без переобучения модели

Международная группа исследователей представила платформу Memento-Skills, которая кардинально меняет подход к обучению искусственного интеллекта. Новая система позволяет языковым моделям самостоятельно наращивать и улучшать свои навыки уже после запуска, не требуя дорогостоящего и трудоемкого переобучения базовой нейросети. Принцип работы напоминает формирование рефлексов: ИИ выполняет задачу, анализирует полученную обратную связь и, в случае неудачи, автоматически модифицирует код или инструкции, создавая новый, более эффективный «навык».

Эффективность такого подхода подтвердили масштабные тесты. В сложном бенчмарке GAIA, оценивающем способность к многоуровневому мышлению и использованию внешних инструментов, точность выполнения заданий подскочила с 52,3% до 66%. Еще более впечатляющий прогресс зафиксирован в тесте HLE, охватывающем восемь различных дисциплин: результат вырос с 17,9% до 38,7%. Специальный внутренний «маршрутизатор» при этом повысил общую успешность выполнения задач с 50% до 80%. Примечательно, что за время тестирования платформа самостоятельно расширила свою библиотеку до 235 разнообразных навыков.

Memento-Skills решает фундаментальную проблему статичности современных больших языковых моделей, которые после обучения остаются «замороженными» и не могут адаптироваться к новым вызовам без вмешательства человека. Традиционные методы дообучения или написание сложных текстовых подсказок не всегда дают нужный результат. Новая же платформа функционирует как динамическая внешняя память: каждый навык сохраняется в виде структурированного файла Markdown, содержащего спецификации, инструкции и исполняемый код.

В основе платформы лежит механизм рефлексивного обучения. ИИ выбирает подходящий навык, пытается выполнить задачу и оценивает результат. Если попытка неудачна, система обновляет существующий файл или создает новый, более совершенный. При этом оценка навыков ведется не формально, а по их реальной практической полезности. Для обеспечения стабильности и предотвращения ошибок встроен механизм автоматизированного тестирования: каждое изменение проверяется на синтетических данных, и лишь после успешного прохождения тестов обновленный навык сохраняется.

Разработчики отмечают, что, несмотря на впечатляющие результаты, платформа наиболее эффективна в четко структурированных рабочих процессах, где навыки можно систематически улучшать. Для задач, связанных с физическим взаимодействием или требующих долгосрочного планирования, могут потребоваться более сложные архитектуры, например, многоагентные системы.