九游体育官网登录入口为少样本泛化提供了有劲支撑-九游体育「NineGame Sports」官方网站

机器东说念主能通过无为视频来学会施行物理操作了！九游体育官网登录入口

来看效果，对于总共没见过的物品，它能精确识别并按照指示完成动作。

比如清算桌面垃圾，或者是从零食筐里找到东说念主类想要的糖果。

△Vidar 真实场景演示视频

这即是清华大学与生数科技最新讨论研发的Vidar 模子，初次让通用视频大模子长出了"看成"，通过少样本泛化才气，达成从假造的 Dream World 到真实世界 Real World 物理奉行的关节杰出。

它在互联网级视频数据预查验的基座模子 Vidu 上，使用百万异质机器东说念主视频数据进行再查验。

仅用 20 分钟机器东说念主真机数据，即可快速泛化到新的机器东说念主本色，所需数据量约为行业当先的 RDT 的八绝顶之一，π 0.5 的一千两百分之一，大幅缩短了在机器东说念主上大范围泛化的数据门槛。

△具身数据金字塔；不同体式所需的真机东说念主类操作数据量冲破跨本色泛化逆境

无人不晓， 现时主流视觉 - 谈话 - 动作（VLA）模子需要海量的多模态数据进行预查验。这种体式高度依赖宽敞优质数据，而况这些数据常常只适配特定的机器东说念主本色偏激荟萃的特定任务集。此外，数据网罗过程费时勤劳、资本崇高。这带来了动作数据稀缺和机器东说念主本色不长入两浩劫题。

清华大学和生数科技研发团队解构了具身任务的奉行范式，将其分别为上游视频展望和卑劣动作奉行的体式。

上游展望部分，通过 Vidu 广阔的基座才气和具身视频预查验，新的视频基座模子获取了少样本泛化到新的机器东说念主本色的才气；卑劣奉行部分，逆能源学模子（IDM）不错将视频翻译为对应的机械臂动作，从而达成了视觉 - 谈话模态和动作模态的全王人解耦。底下将逐个分析这两部分对应的技艺细节。

Vidar 举座架构如下：视频扩散模子展望完成指定任务的视频，经过逆能源学模子解码为机械臂动作。

视频扩散模子："预查验 + 微调"下的精确适度

为让模子更"博物洽闻"，达成多类型机器东说念主操作的深度和会，天真顺应各式物理环境，清华大学和生数团队立异性地淡薄了基于长入不雅测空间的具身预查验体式。这套体式奥密愚弄长入不雅测空间、海量具身数据预查验和一丝方针机器东说念主微调，达成了视频意旨上的精确适度，主要体式如下：

1、长入不雅测空间：通过多视角视频拼接，将不同机器东说念主操作时的多视角画面，奥密地和会成长入分辨率的"全景图"，同期将本色信息、录像头信息与任务标注一并打包整合，为海量互联网数据提供了共同对话的基础，达成了果真的多维度和会。

2、百万具身数据预查验：以经过互联网范围预查验的 Vidu2.0 模子为基础，进一步引入 75 万条涵盖种种双臂机器东说念主操作的数据，陆续深度查验，成效真金不怕火就了具身视频基座模子。该模子不仅将动作、环境和任务多重先验和会雄厚，更练成了伶仃广阔的通用才能与泛化才气。

3、20 分钟方针机器东说念主微调：为使 Vidar 大致适配从未见过的机器东说念主类型，商榷团队挑升网罗了方针机器东说念主 20 分钟的操作数据集，对模子进行专属微调。通过这一立异查验经由，Vidar 就能在方针机器东说念主平台上大显神通，精确清醒雇何任务指示，并生成出分绝不差的任务奉行展望视频。

在视频生成基准 VBench 上的测试标明，经过具身数据预查验，Vidu 模子在主体一致性、布景一致性和图像质料这三个维度上王人有了权臣的普及，为少样本泛化提供了有劲支撑。此外，团队引入测试时彭胀（Test-Time Scaling），使得模子大致"识趣行事"，选拔更逼近现实的"机器东说念主之梦"，进一步普及了模子在施行应用中的视频展望发扬和可靠性。

逆能源学模子：从虚幻到现实的"桥梁"

业界现在流行的 VLA 范式面对机器东说念主动作数据匮乏的严重挑战，为了冲破现存具身智能数据被任务"过度绑缚"、难以作念大的瓶颈，团队淡薄了任务无关动作（Task-Agnostic Action）的见地，这个见地不仅是从具身基座模子中解耦动作的关节一步，更一举带来三大平允：

( 1）数据好荟萃，范围化愿景成真（2）跨任务、甚而零样本任务王人能唐突泛化；（3）告别东说念主类监督、标注和遥操作，释怀省力。

基于这个"任务无关数据"的见地，团队淡薄了：

自动化范围化网罗任务无关动作数据的体式 ATARA ( Automated Task-Agnostic Random Actions ) ：对于一个从未见过的机器东说念主，利用全自动化任务无关动作数据的体式网罗查验数据，仅需 10 小时无骚扰自动化荟萃该机器东说念主的动作数据，即可达成该机器东说念主的全动作空间泛化，透澈告别跨本色问题。

如视频所见，不需要东说念主类监督和遥操作，机器东说念主不错无骚扰自动荟萃数据，而且所荟萃的任务无关数据不错用于任何任务的奉行，ATARA 有用贬责了传统纯随即采样体式的三个大问题：可达景色淹没遵循低下、动作冗余（比如机械臂挥舞"出画"）以及常常的自碰撞。

超高精度展望逆能源学模子 AnyPos 进行动作奉行：AnyPos 淡薄 Arm-Decoupled Estimation 和 Direction-Aware Decoder，让模子在自动化荟萃的数据上查验出高精度的动作展望模子。

这种自动化任务无关数据网罗与高精度模子查验并重的体式达成了低资本、高遵循、高精度的指定机器东说念主动作展望，准确率远超基线 51%。在真实世界任务轨迹重放测试中，其成效直快逼 100%，比拟基线大幅普及 33~44%。

此外，为了让模子更能顺应不同布景，团队还淡薄了掩码逆能源学模子的架构。其大致自动学会"收拢重心"，自动捕捉机械臂联系的像素，达成跨布景的高效泛化。

真机操作实验：成效买通"假造 - 物理"世界

在 16 种常见的机器东说念主操作任务上，Vidar 取得了远超基线体式的成遵循；再细分到类别，Vidar 在没见过的任务和布景上的泛化才气尤为杰出。

以下是一些奉行任务的示例，左边是视频模子的展望，右边是施行奉行的赶走。从中不错看出，Vidar 具有较好的指示遵照才气，展望的视频能准确契合任务意图（如从一些红色物体中找到苹果并捏取），同期也能精确完成双臂相助捏取等贫寒任务。

这次商榷遵循权臣冲破了机器东说念主在多任务操作和天真搪塞环境变化两方面的才气瓶颈，为将来服务机器东说念主在居家、病院、工场等复杂真实环境中大展拳脚铺就了坚实可靠的技艺基石。这同期也意味着从假造世界的算法演练，到真实环境的自主行动，Vidar 正在架起这说念关节的桥梁，让 AI 终于大致"卖头卖脚"地服务于咱们的物理世界。

技艺溯源：从视频清醒到具身奉行的立异旅途

Vidar ( Video Diffusion for Action Reasoning）是基于在视频大模子规模的系列原创性责任在具身规模的再次立异。Vidar ( Video Diffusion for Action Reasoning），在定名上保留技艺同源的"生数科技旗下视频大模子 Vidu "的前缀，延续雷达（Radar）忠良的感知隐喻，杰出其买通虚实结合的多重才气。

"基于咱们的技艺理念和长入的基座大模子架构，Vidu 与 Vidar 均力争于贬责复杂时空信息的清醒与生成。这次推出的 Vidar，是大家首个采选多模态生成模子架构贬责物理世界问题，并达到该规模 SOTA 水平的机器东说念主大模子。这不仅彰显了 Vidu 的广阔基模才气偏激架构的超卓彭胀性，也将通过强化对物理世界的明白，反哺 Vidu 在数字世界视频创作中对物理规定的清醒与生成才气。二者互相促进，共同鼓动达成咱们的终极愿景：普及总共管事者（东说念主类、Agent 与机器东说念主）的坐褥力。"

生数科技创举东说念主兼首席科学家朱军证实注解示意："咱们力争于通过多模态大模子技艺鼓动数字世界与物理世界的深度和会与协同进化。一方面，咱们正在打造新一代数字内容创作引擎，让 AI 成为东说念主类创意的延长；另一方面，咱们通过查验具身视频基座模子，达成假造与现实的深度交互。"

对于 Vidar 和 Anypos，更多的演示视频如下：

团队先容

该花样有两位 Co-Lead。

一位是清华大学计较机系 TSAIL 实验室的 2023 级博士生冯耀（Yao Feng），主要商榷方针包括具身智能、多模态大模子和强化学习。作为 Vidar 的第一作家和 Anypos 的共同第一作家，在 ICML、OOPSLA、IJCAI 等顶级会议上发表过多篇论文，曾获中国国度奖学金、寰宇大学生数学竞赛寰宇决赛（数学类高年事组）一等奖、叶企孙奖、北京地区高档学校优秀毕业生等荣誉。

一位是清华大学计较机系 TSAIL 实验室的二年事博士生谭恒楷（Hengkai Tan），主要商榷方针是具身大模子和多模态大模子的和会和强化学习，是 FCNet、ManiBox、AnyPo、Vidar 的一作 / 共一，亦然 RDT 具身大模子的作家之一，曾拿过寰宇青少年信息学奥林匹克竞赛（NOI）的银牌，寰宇 84 名。AnyPos 和 Vidar 责任再次延续了团队"将动作解耦出基座模子"的念念路，从而朝着泛化的视觉交互智能体迈进一步。

团队中枢成员来自清华大学计较机系 TSAIL 实验室：冯耀，谭恒楷，毛心怡，黄舒翮，刘国栋，项晨东，郝中楷，苏航（提醒敦朴），朱军（提醒敦朴，通信作家）。

论文结合：

https://arxiv.org/abs/2507.12898

https://arxiv.org/abs/2507.12768

花样结合：https://embodiedfoundation.github.io/vidar_anypos

一键三连「点赞」「转发」「戒备心」

接待在讨论区留住你的想法！

—  完  —

� � 点亮星标 � �

科技前沿进展逐日见九游体育官网登录入口