Sony экспериментирует с персонажами PlayStation на основе ИИ

Sony разрабатывает прототип персонажа игры PlayStation, управляемого искусственным интеллектом (AI). Анонимный источник поделился внутренним видео от группы PlayStation с The Verge, демонстрирующим AI-версию Алои из Horizon Forbidden West.

Видео озвучивает Шарвин Рагхобардаджаль, директор по инженерии программного обеспечения в Sony Interactive Entertainment, который работает над технологиями видеоигр, ИИ, компьютерным зрением и технологией лиц для группы передовых технологий PlayStation Studios.

Рагхобардаджаль показывает AI-версию Алои, способную вести диалог с игроком через голосовые команды во время игры. Алоя отвечает на вопросы синтезированным AI-голосом и движениями лица как в демоверсии, так и внутри полной версии Horizon Forbidden West.

Рагхобардаджаль подчеркивает, что это всего лишь прототип, разработанный совместно с Guerrilla Games для внутренних продемонстраций технологии Sony.

Технология демо-версии использует OpenAI’s whisper для преобразования речи в текст и GPT-4 и Llama 3 для диалогов и принятия решений. По словам Рагхобардаджаль, Sony также использует собственную внутреннюю систему Emotional Voice Synthesis (EVS) для генерации речи, а анимация лиц в режиме реального времени обеспечивается технологией Mockingbird.

Хотя демо-версия работает на ПК, Sony экспериментировала с запуском части этой технологии непосредственно на консолях PS5 с "минимальной перегрузкой", согласно Рагхобардаджалю. Внутренняя демонстрация этой технологии прошла год назад, а затем более продвинутая версия была показана за закрытыми дверьми на Sony Technology Exchange Fair (STEF) в Токио в ноябре.

"Это всего лишь краткий взгляд на то, что возможно," — говорит Рагхобардаджаль. Эта технологическая демонстрация не отвечает на вопросы о том, имеет ли смысл разговаривать с Алоей, когда ты играешь за нее в Horizon Forbidden West, или как такая технология может повлиять на актеров-дублеров и разработчиков игр.

Nvidia также работает над собственной технологией AI для управляемых NPC (non-playable characters) в играх, где игрок свободно общается с персонажами. Ace, как называют эту технологию в Nvidia, демонстрировалась несколько раз в 2024 году, и производитель видеокарт даже сотрудничает с Inworld AI для создания Covert Protocol — технологии ИИ-игр.

Microsoft также тесно сотрудничает с Inworld AI для добавления AI-персонажей на Xbox, позволяя разработчикам использовать генеративных AI-персонажей и истории. Microsoft создала собственную модель Muse AI для создания игровых сценариев, предназначенную в первую очередь для прототипирования и идеализации играми.

Среди разработчиков игр и студий уже возникли опасения относительно того, как ИИ может повлиять на творческий процесс создания видеоигр, особенно в условиях массовых сокращений персонала в игровой индустрии. В опросе Game Developers Conference (GDC) 2024 года более половины из 3000 респондентов заявили, что генеративные AI-инструменты используются на их рабочем месте, а 31 процент сказал, что они лично используют эти инструменты.

Эксперименты Sony с ИИ-персонажами от Sony вызывают много вопросов и обсуждений о будущем ИИ в игровой индустрии. Несмотря на несколько запросов, компания Sony не ответила на вопросы к публикации.