你摸黑站在自家门前,钥匙已经插进锁孔。这时候你不需要眼睛——指尖感觉到轻微的阻力、金属之间的摩擦、弹簧被压缩的咔哒感,手自己就知道该转多少、往哪转。
拧瓶盖、插零件、旋灯泡——这些事你闭着眼睛也能做,因为指尖会在接触发生的瞬间接管控制权。
但机器人不行。一个拧瓶盖的动作,手指恰好挡住瓶盖,相机拍不到接触面;最后几毫米的成败,是"摸"出来的,不是"看"出来的。视觉在最关键的时刻,正好被自己挡住了。
北京大学团队刚发布了一个叫DeCAL的系统。它没有试图让相机拍得更清楚,也没有把所有传感器"永远开到最大"——而是给了机器人一个更接近人的判断力:知道什么时候该信眼睛,什么时候该信手。六项真实任务,平均成功率71%。
但71%的背面是:旋灯泡只有40%,装配只有65%。这些数字比"71%"本身更有故事可讲。
为什么越到关键时刻,视觉越不够用?
这个问题,你的大脑在几百万年前就解决了一版。
瑞典神经科学家Johansson和Flanagan发现,人手指尖有两种触觉传入纤维——一种对"开始接触"极其敏感,一种对"正在滑动"极其敏感。当物体被遮挡、视觉不可靠,这些纤维在接触发生后不到200毫秒就能把信息送入大脑,触发"动作阶段切换"——从"看着做"瞬间切到"摸着做"。

但大脑的这个切换并不精细。2025年一项实验用麻醉剂暂时阻断手指触觉,让人睁着眼操作。结果触觉一消失,眼睛开始"非选择性地补偿"——视线死死盯住手,连不需要看的动作阶段也一样。换言之,大脑只能粗粒度地把视觉增益整体调高,做不到DeCAL门控那种"这个阶段开、那个阶段关"的精细切换。
机器人面对的麻烦比人更大。进入拧、插、擦的阶段后,手指和物体互相遮挡,像素里最关键的位置反而看不见。更棘手的是:完全相同的画面可能对应截然不同的力学状态——刚碰到、已经压紧、正在滑动,图像变化都可能小到无法区分。
那把触觉信号直接拼到视觉后面不就行了?这正是大多数多模态机器人系统的做法:触觉当一通道,统一融合。
但DeCAL团队发现了一个反直觉的事实:**机器人伸手接近物体时,还没有真正接触,触觉传感器里主要是底噪、标定偏差和微小漂移。如果每个时刻都让触觉和视觉拥有同等权重,模型可能在"还没摸到"时就被噪声带偏。 **
回到开锁的比喻:钥匙还没碰到锁孔时,你不会闭眼——指尖这时候帮不上忙,反而可能让你分心。钥匙插进去以后才是触觉的主场。
三专家接力:先理解,再想象,最后动手
DeCAL把整个决策链拆成三个角色,信息单向流动——理解专家→生成专家→动作专家。
回到开锁:你站在门前,先用眼睛找到锁孔(理解),大脑自动推演"插到这个深度该往左转"(想象),然后手腕负责大范围旋转、指尖负责微调力度——各干各的但互相配合(动作)。
理解专家的第一个任务不是"看",而是决定触觉该不该说话。它的核心设计叫"接触感知门"——用一个数值在0到1之间动态调节触觉的影响力。没有有效接触时,门值接近0,系统主要相信视觉;进入旋拧、插入或持续擦拭阶段,门值抬升到0.8甚至0.9,触觉修正才真正开始影响决策。

论文里有一个很直观的记录:装配任务中,机器人接近零件时门值一直压在低位;指尖碰到零件的瞬间,门值跳升,在整个插入过程中维持高位;零件到位后,门值又降下来。这不是一个"触觉永远开着"的系统——它是一个知道何时该让触觉闭嘴的系统。
消融实验(逐个关掉某个模块看效果差多少)给了因果证据:去掉接触门之后,装配成功率从65%跌到50%,拧盖从80%跌到70%。跌得不算惨烈,但足以说明"触觉何时介入"确实在影响结果。
生成专家做的事容易被误解成"让机器人脑补视频"。实际上,它不在推理时生成高清画面。它预测的是紧凑的潜变量——把未来视觉帧经一种图像压缩模型压成4×4的隐空间特征,同时预测指尖形变图、原始触觉图和六维力(三个方向的力加三个方向的扭矩)三个目标。训练时用这些预测和真实未来之间做对比来形成约束;推理时只输出潜变量给动作专家,不承担完整解码成本。
从直觉上理解:这个生成专家不是在放电影,而是在做物理推理——"如果继续这样压下去,形变会怎么分布?力会往哪个方向走?会不会滑?"这些预测喂给动作专家,让动作不只是反应当前的接触状态,而是基于"下一步会发生什么"来做决策。
加入触觉后,未来视觉预测质量确实提升了:装配任务的图像特征相似度从0.913提高到0.946。提升不算数量级变化,但说明触觉信息确实让系统对接触造成的状态变化更敏感。
动作专家解决了一个看起来不起眼、但消融实验证明是决定成败骨架的问题。
56个自由度里,手臂负责大范围到达和双臂配合——移动幅度大但精度要求相对宽松;手指负责22个关节的细小旋转和抓力调节——幅度小但精度极高。如果把全部56维放进同一条去噪流——即训练时从一个纯噪声状态逐步走向专家示范动作——粗粒度的手臂移动会淹没手指的精细信号。
DeCAL的做法是:手臂和手指从两路独立的随机噪声开始,通过联合注意力机制互相协调,但各自解码出最终动作块。手腕的大幅度旋转和指尖的精细微调,各走各的噪声路径。
消融实验给出了最强证据:去掉分解流匹配后,装配成功率从65%直接崩到25%,拧盖从80%崩到35%——这是所有消融里跌幅最大的一项。再准确的未来触觉预测,如果手臂到位和手指闭合本身不同步,也救不回来。
71%之后:灵巧手的产业牌桌
六项任务的成功率分别是:擦花瓶100%、擦白板80%、拧盖80%、装配65%、移液60%、旋灯泡40%。"71%"这个平均数掩盖了一个关键信息——最简单的表面擦拭和最难的双手旋紧之间差了整整60个百分点。
放到同类系统里看:目前最强的对照方案——给扩散策略外挂触觉适配器——六项平均55.8%,DeCAL高出约15个百分点。但如果只看旋灯泡,两个系统的差距并没有那么戏剧化——这提醒我们,不要把"平均71%"理解成"灵巧手已经像人一样可靠"。
更值得关注的是分布外泛化。在换新杯子——改变高度、直径和形状——的测试上,DeCAL达到75%,而对照方案只有35%。差了整整30个百分点。这说明接触门和协同想象确实帮系统学到了某种可迁移的"接触物理",而不只是背下了训练场景。
把镜头拉远,整个灵巧手产业正处在一个有趣的拐点。全球灵巧手市场规模正以超过40%的年增速膨胀,预计到2031年将突破百亿美元。英国的Shadow手是行业"金标准"——售价约11万美元一只;中国的因时机器人已经把量产价格压到约5万元,不到前者的一半。各家灵巧手的自由度也在快速攀升,从20个一路卷到40个以上。
但钱和技术之间横着一个巨大的裂缝:安全认证。 工业机器人靠物理围栏和铁笼解决安全问题——人和机器不共处一个空间。灵巧手如果需要在人旁边作业,力控故障或传感器误读就可能伤人。这不是"能不能做得更精细"的问题,而是"允不允许放在人旁边"的问题。
DeCAL补上的,恰恰是这条链上最薄的一环:接触发生之后,模型如何继续推演物理后果。它没有替代通用视觉-语言-动作模型——那些系统解决的是"看懂指令"。也没有替代触觉硬件本身。它解决的是中间一段:摸到了以后,怎么判断下一步。
旋灯泡只有40%:真正拦住机器人的三堵墙
DeCAL论文坦诚列出了两类主要失败。
第一,双臂协调。移液任务要把移液器从左手交给右手——手臂轨迹偏一点、抓取时机差一点,接触就崩了。第二,头部相机视野有限——大范围运动让目标暂时离开画面,策略难以持续跟踪。
这两类失败指向更深的结构性问题。触觉能补"看不清接触",却不能自动解决双臂时序——当两只手抓住同一物体形成闭合的力传递环,各自合理但互斥的控制目标会让双手"打架"。此前ALOHA双臂研究平台在电缆捆扎任务上,成功率只有20%,根源就在这里。
传感器本身也有物理寿命。DeCAL指尖用的视觉触觉传感器靠软弹性体和嵌入式相机工作——凝胶层在500到5000次按压后就需要更换。换句话说,高频操作下可能几个小时就要换一次。十根手指、长期运行——维护成本是一个真实的工程问题,只是实验室的20次测试还碰不到它。论文也把传感器噪声、标定误差和模型漂移列为长期高负载运行的三大限制。
如果把DeCAL放进整个技术演进序列,它的位置很清楚。通用VLA先学会看懂和生成动作;视觉触觉策略补上直接物理反馈;触觉适配器降低融合门槛;DeCAL再进一步,把接触门、未来触觉、未来视觉和动作生成并入同一个模型。它补上的那一环是"接触发生以后"——但在这之后,还有双臂协调、传感器漂移、力控振荡和安全仲裁。
对正在做灵巧操作的研究团队,DeCAL给了一条可复用的设计原则:先区分全局语义、局部接触和未来物理后果,再决定它们怎样进入动作生成。对产品团队,最先要评估的不是模型分数,而是触觉硬件能不能形成从标定、同步到维护的闭环。
但下一步更难——不是在传感器堆里再加一个模态,而是给模型一个"不"的按钮。