机器人奖励模型综述:114种方法分为五类
Guoqiang Liang 等人发布机器人奖励模型(RRM)综述,将 114 种方法按输出语义分为结果、绝对进度、相对、时序价值与混合五类,梳理模型设计如何决定评估能力、原始经验如何转为监督信号。作者指出,现有评测依赖与示教顺序的一致性或下游策略增益,无法说明奖励是否真正反映任务完成度,并提出 RRM-Bench-1K。
Guoqiang Liang 等人发布机器人奖励模型(RRM)综述,将 114 种方法按输出语义分为结果、绝对进度、相对、时序价值与混合五类,梳理模型设计如何决定评估能力、原始经验如何转为监督信号。作者指出,现有评测依赖与示教顺序的一致性或下游策略增益,无法说明奖励是否真正反映任务完成度,并提出 RRM-Bench-1K。
作者提出 AsymEEF 框架,可将少量源演示迁移到由二指、三指、五指末端执行器构成的异构双臂组合,无需额外遥操作;借助运动学教师锚点与稀疏的真实 X-Calib 锚点校正抓取执行,并用共享编码器与形态条件解码器学习统一双臂策略,生成轨迹经回放过滤。
Yiyuan Ge等人提出分层机器人策略预训练框架LSA,分为Lift、See、Act三阶段。Lift阶段把2D人类视频观测提升为稠密3D表征,做法是让策略网络浅层特征与多个3D基础模型的中间表示自适应对齐;相比此前只用稀疏手部轨迹作监督,该框架保留了轨迹提取中的细粒度信息,目标是提升策略在真实场景的泛化能力。
Xu Su 等提出 ReRead:冻结预训练机器人策略主干,只训练一个轻量校正器重读当前及前两帧缓存表征来预测动作残差。校正器不看图像,仅用 RoboTwin 2.0 全部 50 个任务的离线演示训练,额外延迟仅 4.17%。
Jingru Guo、Alessandra Russo 等人提出 VLA-SSD,把预训练的流匹配动作头自蒸馏为以布朗运动路径为条件的随机单步策略,使动作头单次前向替代多步 ODE 积分,并可由该单步策略导出条件动作密度,从而用似然比类强化学习算法高效后训练。
IEEE 机器人与自动化学会(RAS)梳理日本国家机器人战略,指出灾害响应与老龄化劳动力短缺是核心驱动力。日本2022年占全球工业机器人供应45%、出口率近80%,并推进Society 5.0超级智能城市与五年期科技基本计划,2026年进入第七期。
IEEE RAS“全球机器人路线图”中国专题指出,中国正依托庞大制造业基础,通过五年规划、“中国制造2025”及K签证等政策,加速布局具身智能与人形机器人,以应对老龄化和工业劳动力收缩,并谋求全球供应链主导权。
IEEE 机器人与自动化学会月度综述汇总多项成果:ETH Zurich 用仿真优化小鼠肌肉与水凝胶支架,制成约1.5厘米生物驱动器,运动幅度提升至同类11倍,可跳跃、游泳与抓取;同校四足机器人用足部自主解4.6公斤魔方,每次约30步、8至9分钟;代尔夫特理工单目相机竞速无人机在无外部动捕下超越人类冠军。
Rivian旗下机器人初创公司Mind Robotics宣布聘请Doug Field。Field曾任福特电动车业务负责人,并参与苹果秘密造车项目、主导特斯拉Model 3开发。此次人事任命为这家聚焦机器人技术的初创公司带来汽车量产与工程管理经验。
TechCrunch 报道,Eka Robotics 凭借其物理 AI 模型获得业内高度评价,公司估值达到 14.5 亿美元。其机械臂被描述为业内首款能稳定抓取多种物体的产品,动作平滑、接近人类水平,因此在行业内引起广泛关注。报道未披露本轮融资额、投资方及具体技术细节。
Xianxu Wu 等提出基于显式约束空间的安全感知机器人行为规划框架,将可复用文本安全规则集中存储,并把约束选择建模为任务与环境条件下的适用性学习。轻量查询条件双塔模型筛出当前场景适用的约束,再与原始任务和图像一起输入多模态行为规划器,以提升桌面操作安全规划对场景变化的适应能力。
研究团队提出一个由视觉语言模型驱动的机器人操作安全框架:输入RGB-D观测与自然语言任务指令后,先判定该任务是否因可能造成不可恢复危险而应被拒绝,再识别可预防的物体对风险并给出必须回避的空间关系;随后用开放词表分割与深度信息将物体定位到三维,构建连续风险场,供机械臂规划避让。
Shengjia Zhu 等提出 VOKE,在现有物体与手物位姿估计器输出上接入可插拔运动学模块,用时序视觉特征回归物体线速度、角速度及线/角加速度,输出完整运动学状态,并给出灵巧手内操作的下游应用验证,使控制器不必再从含噪视觉中隐式推断物体动态。
MIT 团队提出可见性感知任务与运动规划算法,将传感动作插入原本假设全可观测的规划骨架,并用持久化物体记忆把观测融合为物体网格假设与占据地图。在存在重遮挡的真实桌面重排任务中,该方法优于缺乏主动感知或持久记忆的基线。
研究人员提出 LEOS-IL 框架,针对示教者专业水平未知且参差的现实场景,从无标签、混合质量的离线数据中联合学习状态-动作最优性评分和各示教者的潜在专业度,并将其用于离线到在线模仿学习。该方法无需假设示教者同质或接近最优,为利用不完美示教训练鲁棒策略提供了新思路。
研究团队提出视频-动作模型 FLUX-mimic,其主干网络在大规模网络与工业任务数据上预训练,再由动作专家生成机器人轨迹,目标是在动作数据有限的条件下完成工业操作。作者在刚性、可变形与柔性零件的精密对齐与抓取任务上考察任务特定的数据需求,评估预训练视觉运动策略在产线多工序场景中的可扩展性。
Matěj Kripner与Milan Straka以SO-101机械臂按格名移动国际象棋王为任务,微调π0.5,比较不同数据规模、更新预算及遥操作与随机脚本仿真演示的效果。仿真结果显示成功率随数据量和训练更新增加而提升,为VLA下游适配的数据量、检查点选择及仿真数据替代提供实证参考。
坦佩雷大学团队针对全电重型机械臂在隧道壁、设备附近作业的安全需求,在虚拟分解控制框架上叠加变阻抗控制与控制屏障函数:前者依据预测接近度与接触风险实时调节任务空间刚度与阻尼,后者以关节速度约束过滤器强制执行笛卡尔工作空间边界和闭链升降/俯仰机构行程限制,兼顾大负载力能力与物理交互安全。
代尔夫特理工等团队提出 CALDS 框架,在示教学习得到的单机动力系统基础上,通过协作策略选择与时间自适应两个模块,让多台移动操作机器人既能协同执行任务,又能保持全身无碰撞并保留原行为的空间结构与收敛性。在辅助穿衣、餐厅清洁上菜、开抽屉放置物体三类场景中完成验证。
法国研究者(Bajpai、Pradalier、Aravecchia)提出 FlowRow,将果园、葡萄园中的跨行导航建模为长时程目标条件导航任务:目标以相对机器人的位姿表示,规划器结合目标与机载感知生成局部路径,并用流匹配策略学习行内行驶、转向、跳行与行间穿行等行为,无需预先给定田间几何即可在任意行间切换。