<转载> NVIDIA发布Cosmos世界基础模型 实现实体AI预测

辉达(NVIDIA) 宣布推出全新的 NVIDIA Cosmos™ 世界基础模型 （WFM）的重大发布，为实体人工智能（AI）开发引入开放且完全可客制化的推理模型，并提供开发人员对世界生成前所未有的控制权。

NVIDIA 还将推出两种NVIDIA Omniverse™ 和 Cosmos 平台驱动的全新蓝图，为开发人员提供用于后期训练机器人和自驾车的大量可控制合成数据生成引擎。

1X、Agility Robotics、Figure AI、Foretellix、Skild AI 和 Uber 等产业领导者，均作为率先采用 Cosmos 的企业，为实体 AI 更快、大规模地生成更丰富的训练资料。

总结来说，全新模型可实现实体 AI 的预测、可控制的世界生成与推理。两种全新的 蓝图为机器人与自驾汽后期训练提供大规模实体 AI 合成数据生成。1X、Agility Robotics、Figure AI、Skild AI 为早期采用者

NVIDIA 创办人暨执行长黄仁勋表示：「正如大型语言模型彻底颠覆了生成式与代理 AI，Cosmos 世界基础模型则是实体 AI 的重大进展。Cosmos 为实体 AI 引入了一个开放且完全可客制化的推理模型，并为机器人技术与实体产业的阶跃发展开创机会。」

用于合成数据生成的 Cosmos Transfer

Cosmos Transfer WFM 撷取结构化影片输入，例如分割图、深度图、光学雷射扫描、姿态估计图和轨迹图，以生成可控制的逼真影片输出。

Cosmos Transfer 可精简感知 AI 训练，将在 Omniverse 中建立的 3D 模拟或地面事实转换为逼真的影片，用于大规模、可控制的合成数据生成。

Agility Robotics 将是 Cosmos Transfer 和 Omniverse 的早期采用者，用于大规模合成数据生成，训练机器人模型。

Agility Robotics 技术长 Pras Velagapudi 表示：「Cosmos 提供我们将逼真训练数据扩展至超出我们在现实世界中收集的资料范围的机会。我们很高兴看到可以利用这个平台释放新效能，同时充分利用我们已有的实际型仿真数据。」

用于自动驾驶汽车模拟的 NVIDIA Omniverse 蓝图利用 Cosmos Transfer 来扩大基于实体的传感器数据的变化。有了 此蓝图，Foretellix 可针对各种驾驶数据集透过改变天气和光线等条件来增强行为场景。Parallel Domain 也在利用此蓝图将类似的变化应用于传感器模拟。

用于合成操作动作生成的 NVIDIA GR00T蓝图 结合 Omniverse 和 Cosmos Transfer以大规模生成各种数据集，并利用 OpenUSD 驱动的仿真技术，将数据收集与增强时间从数天缩短至数小时。

用于智慧世界生成的 Cosmos Predict

Cosmos Predict WFM 于 1月 的 CES 展会发表， 可以透过文字、图像和影片等多模式输入来生成虚拟世界状态。全新的 Cosmos Predict 模型将实现多影格生成，在给定开始和结束输入影像时预测中间动作或运动轨迹。这些模型专为后期训练而打造，可利用 NVIDIA 开放提供的实体 AI 数据集进行自定义。

利用 NVIDIA Grace Blackwell NVL72 系统的推论运算能力及其大型 NVIDIA NVLink™ 网域，开发人员可实现实时世界生成。

1X 正在利用 Cosmos Predict 和 Cosmos Transfer 来训练其全新的人形机器人 NEO Gamma。机器人大脑开发商 Skild AI 正在利用 Cosmos Transfer 增强机器人的合成数据集。此外，Nexar 和 Oxa 则正在利用 Cosmos Predict 推进自动驾驶系统。

用于实体 AI 的多模态推理

Cosmos Reason 是一款开放且完全可自定义的 WFM，具备时空感知技术，利用思维链推理来理解影片数据，并以自然语言预测人类踏入斑马线或盒子从架子上掉落等互动结果。

开发人员可利用 Cosmos Reason 来改善实体 AI 数据注释和管理、强化现有的世界基础模型或建立新的视觉语言动作模型。他们还可以对 AI 进行后期训练，建立高阶规划器，让实体 AI 了解如何完成任务。

加速实体 AI 的数据管理与后期训练

根据下游任务，开发人员可在 NVIDIA DGX™ Cloud 上使用原生 PyTorch脚本或 NVIDIA NeMo™ 架构来对 Cosmos WFM 进行后期训练。

Cosmos 开发人员还可以在 DGX Cloud 上使用 NVIDIA NeMo Curator，加速数据处理和管理。Linker Vision 和 Milestone Systems 正利用它来管理大量影片数据，训练建置于 NVIDIA AI Blueprint 的视觉代理的大型视觉语言模型，用于影片搜寻和摘要。Virtual Incision 正在探索将其部署于未来的手术机器人，而 Uber 和 Waabi 则正在推进自驾车的开发。

负责任的 AI 与内容透明度

根据 NVIDIA 的可靠 AI 原则，NVIDIA 在所有 Cosmos WFM 上实施开放式护栏。此外，NVIDIA 正与 Google DeepMind 合作，将 SynthID 整合至水印，并协助识别 build.nvidia.com 上展示的 Cosmos WFM NVIDIA NIM™ 微服务的 AI 生成输出。

转载: Newtalk新闻