Технологии NVIDIA RTX уже глубоко интегрированы в движок Unreal Engine 5, включая плагины NVIDIA DLSS Unreal Engine для продвинутого апскейлинга и генерации кадров. Теперь компания представляет новый набор плагинов и новый SDK для агента NVIDIA ACE. Напомним, что это технологическая платформа с ИИ-инструментами для создания живых персонажей, которые понимают естественную речь и могут общаться с игроком, плюс реалистичные лицевые анимации и другие технологии.

Теперь разработчикам игр на Unreal Engine 5 будет проще создавать более реалистичных персонажей и спутников на базе локального искусственного интеллекта. Пока NVIDIA ACE Game Agent SDK доступен в бета-версии. Его инструменты позволяют превратить NPC в локальных интерактивных агентов на базе C/C++ с открытым исходным кодом и с ускорением на GPU NVIDIA RTX.

Разработчики смогут работать с SDK на уровне Agent API, Chat API и RAG API. Плагины предложат несколько локальных моделей с поддержкой интеграции Blueprint и C++. Модель ASR (Automatic speech recognition) поддерживает автоматическое распознавание английской речи с поддержкой семи дополнительных языков. Малая локальная модель (SLM) обеспечит работу внутренних функций для диалогов, генерации ответов и решений. Модель TTS (Text-to-speech) генерирует голосовые ответы.

Также NVIDIA выпустила плагин DLSS 4.5 Unreal Engine с поддержкой новой модели построения изображения Transformer 2-го поколения и многокадровой генерации с режимом до 6X.