Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents
Авторы: Jenny Zhang, Shengran Hu, Cong Lu, Robert Lange, Jeff Clune
Статья: https://arxiv.org/abs/2505.22954
Код: https://github.com/jennyzzt/dgm
Поиск искусственного интеллекта, способного автономно и непрерывно совершенствовать свои возможности, подобно биологической эволюции или научным открытиям, уже давно является одной из главных нерешённых задач. Большинство современных систем ИИ, несмотря на впечатляющие достижения, работают в рамках фиксированных, разработанных человеком архитектур, что ограничивает их потенциал для неограниченного роста. В этой статье представлена Машина Дарвина-Гёделя (Darwin Gödel Machine, DGM) — новая система, призванная преодолеть это фундаментальное ограничение. DGM пытается ответить на вопрос: как системы ИИ могут бесконечно улучшать себя, одновременно становясь лучше в решении релевантных задач? Её основной вклад — это самосовершенствующийся ИИ, который итеративно модифицирует *собственную кодовую базу* и, что особенно важно, *эмпирически валидировал* эти изменения с помощью бенчмарков по программированию. Черпая вдохновение в дарвиновской эволюции, DGM поддерживает архив сгенерированных «агентов-программистов», способствуя неограниченному поиску, что позволяет ей обнаруживать разнообразные улучшения и избегать попадания в ловушки локальных пиков производительности.
DGM работает в рамках элегантного итерационного цикла. Он начинается с исходного агента-программиста, построенного на базе замороженной фундаментальной модели (FM) со способностью использовать инструменты. В каждом цикле «родительские» агенты выбираются из постоянно растущего архива. При этом отборе приоритет отдаётся агентам на основе комбинации их производительности (с использованием сигмоидального масштабирования для придания большего веса высоким оценкам) и бонуса за новизну (обратно пропорционального количеству уже произведённых ими «потомков», что поощряет исследование менее избитых путей). Затем эти родительские агенты анализируют *собственные логи оценки на бенчмарках*, чтобы диагностировать слабые места или предложить новые функции. Это предложение затем формулируется как новая постановка задачи для агента, которую он должен реализовать в своей собственной кодовой базе, генерируя «дочерних» агентов. Эти новые агенты оцениваются на бенчмарках по программированию, и успешные, функциональные варианты добавляются в архив.
Ключевое нововведение заключается в отходе от теоретической машины Гёделя, какой её концептуализировал Шмидхубер (в работе «Gödel machines: Fully self-referential optimal universal self-improvers. Artificial general intelligence, 2007»), которая требовала *доказуемых* самомодификаций — практическое препятствие для сложных ИИ. DGM прагматично выбирает *эмпирическую валидацию*. Этот выбор является основополагающим: формальные доказательства пользы произвольных изменений кода в сложных системах ИИ в значительной степени трудноосуществимы. Эмпирическое тестирование обеспечивает реальный, наблюдаемый механизм для итеративного улучшения.
Авторы: Jenny Zhang, Shengran Hu, Cong Lu, Robert Lange, Jeff Clune
Статья: https://arxiv.org/abs/2505.22954
Код: https://github.com/jennyzzt/dgm
Поиск искусственного интеллекта, способного автономно и непрерывно совершенствовать свои возможности, подобно биологической эволюции или научным открытиям, уже давно является одной из главных нерешённых задач. Большинство современных систем ИИ, несмотря на впечатляющие достижения, работают в рамках фиксированных, разработанных человеком архитектур, что ограничивает их потенциал для неограниченного роста. В этой статье представлена Машина Дарвина-Гёделя (Darwin Gödel Machine, DGM) — новая система, призванная преодолеть это фундаментальное ограничение. DGM пытается ответить на вопрос: как системы ИИ могут бесконечно улучшать себя, одновременно становясь лучше в решении релевантных задач? Её основной вклад — это самосовершенствующийся ИИ, который итеративно модифицирует *собственную кодовую базу* и, что особенно важно, *эмпирически валидировал* эти изменения с помощью бенчмарков по программированию. Черпая вдохновение в дарвиновской эволюции, DGM поддерживает архив сгенерированных «агентов-программистов», способствуя неограниченному поиску, что позволяет ей обнаруживать разнообразные улучшения и избегать попадания в ловушки локальных пиков производительности.
DGM работает в рамках элегантного итерационного цикла. Он начинается с исходного агента-программиста, построенного на базе замороженной фундаментальной модели (FM) со способностью использовать инструменты. В каждом цикле «родительские» агенты выбираются из постоянно растущего архива. При этом отборе приоритет отдаётся агентам на основе комбинации их производительности (с использованием сигмоидального масштабирования для придания большего веса высоким оценкам) и бонуса за новизну (обратно пропорционального количеству уже произведённых ими «потомков», что поощряет исследование менее избитых путей). Затем эти родительские агенты анализируют *собственные логи оценки на бенчмарках*, чтобы диагностировать слабые места или предложить новые функции. Это предложение затем формулируется как новая постановка задачи для агента, которую он должен реализовать в своей собственной кодовой базе, генерируя «дочерних» агентов. Эти новые агенты оцениваются на бенчмарках по программированию, и успешные, функциональные варианты добавляются в архив.
Ключевое нововведение заключается в отходе от теоретической машины Гёделя, какой её концептуализировал Шмидхубер (в работе «Gödel machines: Fully self-referential optimal universal self-improvers. Artificial general intelligence, 2007»), которая требовала *доказуемых* самомодификаций — практическое препятствие для сложных ИИ. DGM прагматично выбирает *эмпирическую валидацию*. Этот выбор является основополагающим: формальные доказательства пользы произвольных изменений кода в сложных системах ИИ в значительной степени трудноосуществимы. Эмпирическое тестирование обеспечивает реальный, наблюдаемый механизм для итеративного улучшения.