На конференции NVIDIA GTC Taipei компания NVIDIA представила Cosmos 3 — открытую фундаментальную модель для физического ИИ, построенную на новой архитектуре mixture-of-transformers. Модель объединяет визуальное рассуждение, генерацию мира и предсказание действий, что позволяет сократить циклы обучения и оценки физического ИИ с месяцев до нескольких дней.
Новая архитектура для физического ИИ
Cosmos 3 решает ключевую проблему физического ИИ — способность роботов, автономных автомобилей и систем компьютерного зрения обобщать реальный мир при ограниченных данных для обучения. Архитектура mixture-of-transformers объединяет трансформер для рассуждений и экспертный трансформер для генерации, что позволяет модели понимать взаимодействие объектов, движение и пространственно-временные связи перед созданием видео и траекторий действий.
Модель обучена на одном из крупнейших мультимодальных наборов данных, включающем миллиарды примеров текста, изображений, видео, звука и траекторий действий. Это даёт разработчикам мощную предобученную основу для создания систем физического ИИ с меньшими затратами данных и вычислений.
«Большой взрыв физического ИИ уже совсем близко благодаря прорывам в мультимодальном рассуждении, языковых, визуальных и мировых моделях», — сказал Дженсен Хуанг, основатель и генеральный директор NVIDIA.
Линейка моделей и лидерство в рейтингах
Cosmos 3 представлен в нескольких версиях: Cosmos 3 Super для постобучения моделей робототехники и автономных автомобилей с максимальной точностью физики, Cosmos 3 Nano для быстрого видео- и действий-рассуждения, а также готовящаяся к выходу Cosmos 3 Edge для инференса в реальном времени на периферийных устройствах.
Среди открытых моделей Cosmos 3 занимает первые места в рейтингах Artificial Analysis, Physics-IQ, PAI-Bench, R-Bench, RoboLab, RoboArena, VANTAGE-Bench и TAR, демонстрируя лидерство в генерации мира, политике действий и визуальном понимании.
Коалиция Cosmos и доступность
Вместе с моделью NVIDIA запустила коалицию Cosmos — глобальное сотрудничество разработчиков мировых моделей и лидеров робототехники, включая Agile Robots, Black Forest Labs, Generalist, LTX, Runway и Skild AI. Участники смогут использовать технологии Cosmos 3, инструменты обучения и инфраструктуру NVIDIA DGX Cloud для совместного развития открытых мировых моделей.
Cosmos 3 Super и Nano уже доступны на build.nvidia.com и Hugging Face, а также могут быть развёрнуты как микросервисы NVIDIA NIM. Доступ к моделям также предоставляют облачные партнёры, включая Microsoft Azure, CoreWeave и Baseten.
NVIDIA анонсировала Cosmos 3 — первую полностью открытую омнимодель для физического ИИ, способную работать с текстом, изображениями, видео, звуком и действиями. Модель занимает первые места в ключевых рейтингах по генерации мира, политике действий и визуальному пониманию. Вместе с релизом NVIDIA запустила коалицию Cosmos с такими партнёрами, как Agile Robots, Black Forest Labs, Runway и Skild AI, для совместной разработки открытых мировых моделей. Cosmos 3 Super и Nano уже доступны, а версия Edge для работы на периферийных устройствах выйдет позже.
