Игры с открытым миром, такие как Minecraft, Teardown и Goat Simulator 3, представляют собой особый вызов для ИИ систем. В отличие от классических шахмат или го, где существуют чёткие алгоритмы победы, игры с открытым миром предлагают абстрактные цели и большую степень вариативности действий, что делает их ближе к реальной жизни.
SIMA способна не только перемещаться в пространстве, использовать предметы и ориентироваться в интерфейсе игры, но и выполнять более сложные задачи, такие как управление космическими кораблями или добыча ресурсов. Это достигается благодаря использованию существующих моделей распознавания видео и изображений, которые интерпретируют игровые данные, а затем обучают SIMA ассоциировать происходящее на экране с определенными задачами.
Исследователи DeepMind взяли подход "обучение с подкреплением", проводя парные игры в команде, где один человек наблюдал за экраном и подсказывал другому, какие действия следует совершить. Также были использованы данные о действиях игроков, собранные путём анализа их игрового процесса и описаний движений мыши и клавиатуры.
Профессор Майкл Кук из Королевского колледжа Лондона отмечает, что для компаний подобной DeepMind эти исследования не только о видеоиграх, а о робототехнике и восприятии окружающего мира ИИ. Навигация в трёхмерных пространствах является лишь средством достижения цели — создания ИИ, способного эффективно взаимодействовать с окружающей средой.
Одним из значимых результатов исследования стало то, что нейросеть, обученная на восьми играх, успешно справилась с новой, девятой игрой, несмотря на отсутствие предварительного опыта. Однако уровень её игровых навыков все ещё значительно отстает от человеческого. Это указывает на необходимость дальнейших исследований и развития в этой области.
