
2026 年 10 月 30 日
RoboAPI
零样本泛化,从此触手可及
今天,我们正式推出 RoboAPI,一个面向真实物理世界、可公开访问、开箱即用的具身 API。RoboAPI 接收机器人的观测与状态,根据用户指令,近实时地预测并输出机器人的后续动作。
过去几年,具身智能迎来了前所未有的飞速发展。随着具身模型能力的不断提升,在训练机器人完成越来越复杂任务的同时,如何提升具身模型的泛化性,已经成为整个行业最重要的命题,其中最宏伟的目标是机器人的零样本泛化:无需额外的数据采集与模型训练,就能让机器人遵循用户指令进行工作。
类比语言模型的发展历程,GPT-3 首次展示了语言模型可以从针对特定任务的 NLP 工具,转变为能够通过自然语言 Prompt 完成多种任务的通用基础模型。随后推出的 GPT-3 API 首次让开发者无需自行训练或部署语言模型,通过 API 接口调用的方式,实现了前沿基础模型的开箱即用。
但要将这种使用方式带入物理世界,远比语言模型更复杂。相较于文字、图片、视频等统一的数字格式,不同机器人之间的结构、传感器和控制方式也存在显著差异。这导致了,即使一个具备一定泛化能力的具身基础模型已经公开,开发者依然需要走完一个甚至数个「数据采集-模型训练-效果验证-补充数采」这样漫长且困难的周期,才能在自己的机器人上完成目标任务。
打造可被更多人轻松调用的零样本泛化能力,是 RoboAPI 的核心目标。我们相信,真正的泛化能力,需要在不同的机器人构型、任务和环境中,经受更加广泛的验证。这也与我们的长期目标密切相关:让通用机器人真正走进家庭。每个家庭都有不同的空间、物品和生活习惯,要让机器人适应如此复杂、多样且不断变化的环境,不仅需要更强的模型,也需要不断在更多真实场景中验证模型的能力与边界。推出 RoboAPI,是我们向这一目标迈出的第一步。我们希望更多开发者不再只能通过几个 Demo 片段了解具身模型,而是能够在自己的机器人上亲自使用它、测试它,让模型接受来自更多真实环境的检验。
在技术预览期间,我们将向全行业免费开放 RoboAPI*。如果你对 RoboAPI 感兴趣,欢迎点击下方链接,立刻开始尝试!
RoboAPI 可以做什么
内部测试结果
我们把机器人部署到破壳内部的数十个不同场景,并邀请破壳的同事们根据现场环境,随便给机器人输入一条指令。通常来说,只要指令足够清晰,RoboAPI 都能很好地完成任务。
外部测试结果
进一步,我们在世界范围内邀请了一批朋友,作为我们的内测用户。我们邀请他们利用手头的机器人与日常物品,在他们的实验室接入 RoboAPI,对 RoboAPI 的能力进行随机测试,并将 RoboAPI 的执行过程通过视频回传给我们。如果你也拥有机械臂,我们期待你也能跟他们一样,轻松体验具身模型开箱即用。
由前沿世界模型 Poke-Aurora 驱动
为了提供可被轻松调用的零样本泛化能力,我们训练了 Poke-Aurora,破壳出品的第一个世界-动作模型。
预训练:协同预测世界变化与机器人动作,实现可泛化的动作推理

世界-动作模型通过预测未来画面,显式学习物体运动与交互中的共性规律,为操作经验跨物体、跨场景迁移提供基础。然而,在实际的模型训练中,我们发现世界-动作模型对于世界建模能力,很多时候并不会自动转化为可靠的动作能力。如何让视频与动作的学习相互促进,仍是关键挑战。
为了改善这一瓶颈,我们在 Poke-Aurora 中提出「调制残差耦合」(Modulated Residual Coupling, MRC)机制,该机制在保留各模块原生计算路径的基础上,建立可学习的跨模块交互。我们观察到,MRC 增强了视频预测与动作预测的梯度一致性,使两类任务在共同表征上的学习方向更加一致,让模型对物体运动与交互过程的理解,更好地服务于机器人动作学习。我们将会在 Poke-Aurora 的技术报告中详细介绍 MRC 的更多细节,敬请期待!
后训练:对齐至 UMI 风格构型,实现无痛的跨构型泛化
对于机器人操作而言,机器人「构型」代表了「机械臂结构 + 机械臂控制方式 + 传感器布局」的共同约束。其中,各款机械臂的关节排布普遍存在差异,而视觉传感器的数量与空间布局更是千变万化。这些差异组合在一起,导致了在不同构型下孕育出的具身模型彼此之间“语言不通”,只能各说各话。
为了克服跨构型泛化的挑战,我们受到 UMI 的启发,定义并设计了「腕部鱼眼相机 + 末端位姿控制」的后训练构型,详情可参考硬件准备。由于在观测和控制上都做到了以末端为中心,这种 UMI 风格构型非常有利于模型实现跨本体泛化,同时使用消费级运动相机也有效降低了获取该构型的难度与成本。
通过后训练将 Poke-Aurora 对齐到该构型后,我们发现:1)模型在训练过的构型上表现良好,换用不同品牌的鱼眼相机(例如从 Insta360 Ace Pro2 切换至 DJI Action 6)对于模型的表现几乎没有影响;2)令人惊喜的是,模型可顺利迁移至完全陌生的、甚至存在较大差异的机器人构型(例如从 UR7e 切换至 YAM-标准型)。这意味着,只需将一台运动相机挂载在任何一条机械臂的腕部,只要这款机械臂具有较为良好的逆运动学(IK)解算能力,RoboAPI 即可控制该机械臂执行任务。
可信的规模化评测
不同于语言模型,具身智能领域始终缺少被广泛认可的统一评测基准。一个广为人知的原因是,不同模型往往采用高度定制化的机器人构型和任务定义,这意味着具身模型的评测结果难以进行直接比较;更深层次的原因则是,由于现有具身模型泛化能力普遍有限,具身评测往往需要针对特定任务额外采集数据并微调模型,这大幅增加了评测成本与复现难度,同时也使得现有评测难以反映模型真正的通用能力。
随着训练的深入,我们发现 Poke-Aurora 开始在诸如环境场景与干扰物、物体种类与实例、指令遵循、长程连贯执行等多个维度,涌现出可感知但难被量化的泛化性。这让我们意识到,针对特定任务做微调的评测方式,越来越难以反映 Poke-Aurora 真实的泛化潜力。经过一段时间的探索,我们最终形成了一套规模化的评测体系:覆盖近一千个可操作的常见物体实例,组织成近一万个不同指令,包括物品转移与整理、姿态与形状对齐、环境交互与工具使用这三大常见的基础动作类型。
尽管 Poke-Aurora 在我们构建的评测基准上全面领先,但我们清楚地认识到现实世界的复杂性。我们无法保证你在使用 RoboAPI 的过程中一定能获得与统计数字完全一致的体验,但我们认为这正是 RoboAPI 最大的意义所在:一个前沿具身模型的泛化能力不应该由它的创造者自己决定,而是应该随时接受来自任何外部用户的真实泛化检验。
不同操作目标下的表现
- Poke-Aurora
- Astra
- π0.5
- MolmoAct2
物品转移与整理
| Poke-Aurora | Astra | π0.5 | MolmoAct2 |
|---|---|---|---|
| 86.0% | 71.3% | 30.9% | 26.9% |
姿态与形状 对齐
| Poke-Aurora | Astra | π0.5 | MolmoAct2 |
|---|---|---|---|
| 54.1% | 36.3% | 14.8% | 7.9% |
环境交互
| Poke-Aurora | Astra | π0.5 | MolmoAct2 |
|---|---|---|---|
| 87.7% | 67.9% | 32.9% | 23.6% |
使用小技巧
注意遮挡!
单目构型无法获取全局视野,在某些情况下被抓住的物体可能会遮挡大部分视野,导致模型性能下降
请保持耐心!
RoboAPI 带有历史记忆,一次失败后,它会反复持续重试,多等一会儿也许就能成功
多尝试几个指令!
使用英文指令通常能获得更好的模型表现
RoboAPI 可能会对某些指令感到困惑,如果一次执行不成功,可以尝试换一种表达方式
把长程任务拆成短程原子任务,使用更精确的形容词去描述操作物体,可以提升任务成功率
安全第一!
RoboAPI 的执行速度较快,但仍处于绝大部分机械臂的安全工作范围内,无需对工作速度感到害怕
建议提前设置机械臂工作空间的安全围栏,或者采用带有柔顺控制功能的机械臂
对人或周遭环境造成潜在伤害的指令,会被 RoboAPI 的安全门禁拒绝执行
RoboAPI 可能出现错误,如果 RoboAPI 控制机械臂产生了任何让你觉得危险的行为,请将当时发生的情况汇报给 safety@pokebot.tech,多谢合作!
*RoboAPI 目前为非商业化应用,不向盈利性第三方提供产品或服务。