英伟达发布4B参数开源世界模型Cosmos 3 Edge

Hugging Face Blog · 2026.07.20 23:58

英伟达于2026年7月20日发布Cosmos 3 Edge,这是一个40亿参数的开源世界模型,旨在为边缘设备上的机器人和视觉AI代理提供数据中心级别的性能。模型采用双Transformer架构:自回归塔处理视觉和文本token用于理解与推理,扩散塔处理视觉、音频和动作token用于预测与生成。两者共享表示,使模型能同时理解当前世界状态、模拟未来并生成动作。

关键性能数据:在机器人控制分辨率(640×360)下,Cosmos 3 Edge在NVIDIA Jetson Thor上实现实时推理,每次推理生成32个动作,控制频率达15Hz。在同类4B参数模型中,它在VANTAGE-Bench上排名第一,并在机器人策略学习上达到最先进水平。模型支持多种英伟达边缘计算平台,包括RTX PRO GPU、DGX、GeForce RTX GPU以及新发布的Jetson T2000和T3000模块。

背景:世界模型是物理AI的核心,它学习环境随时间的变化,表示物体、运动、空间关系和动作效果。Cosmos 3 Edge将世界模型能力压缩到边缘设备,使机器人无需依赖云端即可实时推理和行动。这标志着边缘AI从简单感知向复杂推理和控制的跨越。

对行业的影响:开源发布降低了机器人开发的门槛,尤其适用于工厂、仓库、医院等场景。开发者可直接在边缘硬件上部署,减少延迟和带宽需求。

  • 英伟达发布Cosmos 3 Edge,40亿参数开源世界模型,专为边缘设备设计。
  • 模型结合VLM和WAM,在640×360分辨率下实时推理,每秒生成32个动作。
  • 在VANTAGE-Bench上排名第一,机器人策略学习达到最先进水平。
  • 支持RTX PRO、Jetson T2000/T3000等边缘硬件。
  • 双Transformer架构:自回归塔用于理解,扩散塔用于生成。

The model delivers memory-efficient, high-throughput inference across NVIDIA edge computers including NVIDIA RTX PRO GPUs, NVIDIA DGX, NVIDIA GeForce RTX™ GPUs, NVIDIA Jetson including the newly announced Jetson T2000 and T3000 modules.

该模型在英伟达边缘计算机上提供内存高效、高吞吐量的推理,包括NVIDIA RTX PRO GPU、NVIDIA DGX、NVIDIA GeForce RTX GPU以及新发布的Jetson T2000和T3000模块。

为什么上榜

边缘AI模型直接降低机器人部署成本,若你关注物理AI或自动化,这是关键进展。

每天早上,把当日 AI 精选送进你的邮箱

公众号 AI去噪 · 每日一期同步推送

AI去噪公众号二维码