你给最先进的AI看一段视频——你在客厅里走了一圈,拍了沙发、茶几、电视柜。然后你问它:从沙发走到电视柜,要先经过茶几的哪一侧?
它答不上来。
不是因为视频模糊。是因为AI看世界的方式,和一位海马体受损的病人惊人地相似:它能描述"此刻眼前有什么",却没法在脑子里把不同时刻看见的东西拼成一张完整的地图。
一项基准测试VSI-Bench让AI看了288段真实室内视频后回答空间问题——人类平均得分约79%,最强AI模型只拿到45%。在MindCube测试中,部分主流模型的表现甚至低于随机猜测:瞎蒙都比它准。
将近71%的错误不是因为AI"看不清"。而是因为它在做一件人类三岁小孩就会的事——把"从我眼睛里看到的"翻译成"东西和东西之间的位置关系"——这一步上,彻底卡壳。
人类大脑花了几亿年进化出了一间"地图控制室"。AI没有。
大脑里的"地图控制室",老鼠比GPT更清楚路怎么走
1948年,心理学家托尔曼在加州大学伯克利分校的实验室做了一个现在看来堪称先知的实验。他把老鼠放进迷宫,不靠奖惩、不靠试错——老鼠只是溜达了几圈。然后,托尔曼堵住熟悉的路线、打开一条新通道。老鼠毫不犹豫地选了那条它从没走过的捷径。
托尔曼的结论震动了当时主导心理学的行为主义:老鼠脑子里有一张地图。不是"左转→右转→左转"的刺激-反应链条,而是一张能俯视全局、能灵活重新规划路线的认知地图。他写道:"大脑的中央办公室,更像一间地图控制室,而不是老式电话交换台。"
这个比喻等了二十多年才找到神经科学的证据。1971年,奥基夫在大鼠海马体里发现了"位置细胞"——每当老鼠走到某个特定位置,这个神经元就会猛烈放电,像被按了开关。换一个位置,换一群细胞。三十多年后,莫泽夫妇在海马体隔壁的内嗅皮层里发现了"网格细胞"——它们在空间中以正六边形排列、周期性放电,像一张覆盖地面的隐形坐标纸。加上头方向细胞和边界细胞,这套系统构成了一种内置GPS。三人因此在2014年获得诺贝尔奖。
真正关键的机制是:这套系统天然执行着两套坐标系之间的翻译。你的眼睛、耳朵永远在接收第一人称信息——"我正前方三米有一扇门"。但你的海马体把所有这些第一人称快照转化成一套第三人称的、鸟瞰式的、不随你转身而改变的全局坐标。然后,当你要伸手拿杯子或走下楼梯时,大脑再把地图坐标反向翻译回第一人称指令。
而当前的视觉语言模型,本质上是在空间信息被切成离散文本碎片后,去捕捉"left of""behind"的统计共现——它学会了"左边"常和什么词一起出现,却不知道"左边"在三维空间里到底是什么意思。
这在工程上有一个精确的对应物,叫SLAM——同时定位与建图。一台扫地机器人,每一帧激光雷达只能扫到面前一小块地板,但它必须同时估计"我在哪"和"这一小块墙在全局地图的什么位置"——SLAM在2006年就被宣布"理论层面已解决",而今天的AI视觉模型,站在这个肩膀上,却连"这帧画面和上一帧画面里的桌子是不是同一张"都未必能确定。
连蝙蝠都比AI强。2024年《科学》上一项实验蒙住了果蝠的视觉和嗅觉,只让它们用回声定位——一种方向性极强、本质上也是"局部观测"的感官——这些蝙蝠仍然靠纯回声在数公里尺度上完成地图式归巢。
那么问题来了:能不能给AI也盖一间这样的地图室?
给AI盖一间地图室,需要三件工具
AlloSpatial——这个被NeurIPS 2026收录的框架,名字里的"allo"直接取自allocentric(环境中心的),对抗的是当前AI根深蒂固的egocentric(自我中心的)认知模式。
第一件工具叫World2Mind——把世界装进脑子里。 它接收视频或多视角图像,先同时跑三条流水线:单目深度估计,判断画面里每个像素离相机多远;相机位姿估计,推断每一帧是从什么角度拍的;开放词汇分割,认出画面里的物体并勾出轮廓。三条线的输出汇成一张"稀疏语义点云"——想象用无数个带了颜色和标签的小光点,在三维空间里勾勒出整个场景的骨架。

这张点云随后被压缩成两类互补的认知地图。
一类叫地标认知地图。它的核心是一个精巧的数据结构——环境中心空间树(AST)。这棵树把场景里每个物体编码为一个节点,记录它的身份("这是茶几")、中心位置、占地范围、朝向、高度,以及层级包含关系("花瓶在茶几上面")。节点之间用边连接,稀疏但精确。这棵树不是靠人工标注长出来的,而是用自适应聚类算法从点云里自动提取的,每个节点还自带一个置信度分数——相当于告诉模型:这个地方我比较确定,那个角落我不太有把握,你自己看着办。
另一类叫路径认知地图——把屋顶掀开,从正上方往下看:一块俯视网格,格子里标注"可通行""有障碍""未知"。相机的运动轨迹也被投影到同一坐标系上,编码为运动历史。两张图加在一起,大致相当于人类海马体管认知地图、顶叶皮层管自我中心导航的粗粒度分工。
但有一个棘手的问题:这两张地图不是完美的。深度估计会漂移,分割会漏掉物体,位姿估计会累积误差。如果AI拿到一张有噪声的地图就盲目相信,效果可能比没有地图还差。
AlloSpatial的第二件工具——空间推理仲裁器——分三阶段循环运行。第一阶段:判断当前问题要不要动用空间工具——"从沙发到电视柜怎么走"要,"沙发是什么颜色"不要。第二阶段:从三条独立通道分别收集线索——原始视觉画面、AST结构化文本、可选俯视地图——三条通道各自先独立处理,防止过早融合造成信息混淆。第三阶段:跨通道仲裁——如果AST说茶几在沙发北边、但视觉通道隐约显示茶几偏东北,系统不会急着选一个答案,而是标记冲突、要求两条通道各自提供更多证据,直到信息一致再输出答案。不一致就继续查,查到一致为止。

这个仲裁器的设计哲学很妙:它把外部认知地图当作"可被证伪的证据"来对待,而不是直接当作标准答案——这正是科学推理的核心姿态。
第三件工具是训练方法。 团队先用顶级模型生成高质量的工具调用轨迹作为"示范教材",对较小的模型做监督微调冷启动;然后引入一套精巧的强化学习奖励函数——60%的权重给了"推理结构合规性",只有15%给答案正确性。这意味着:你可以答对,但如果推理结构不对——比如跳过了仲裁步骤、在冲突未解决时就硬选一个答案——你拿不到满分。必须完整遵循推理框架、且工具调用确实帮助得到了正确答案,模型才能获得相应奖励。
8B参数的AlloSpatial在VSI-Bench上跑出54.2%,超过了32B的基础模型——参数大四倍的那个。4B版本在MindCube上跑出69.1%,而同样大小的基础模型只有28.3%。
但真正颠覆认知的是这个:
把视觉输入全部拿掉。 只给AI看AST结构化文本——也就是一张纯文字的"地图说明书",用结构化文本列出每个物体的坐标、大小、朝向和层级关系。结果,模型的空间推理能力不但没崩,反而比基础模型高出18.2个百分点。同时,它的平均回答长度只有358个token(模型处理文本时切分出的最小语义单元),而通用推理模式下的回答长达1064个token——用了不到三分之一的字数,答得更准。
你以为AI多看几帧高清画面就能推理空间。实际上,一张好地图比一帧高清画面管用得多。
当然,AlloSpatial并非无往不利。它在物体尺寸判断、绝对距离估计等精确数值题上不稳定,部分模型得分甚至下降超13个百分点。它的强项是关系推理——物体之间的拓扑联系、方位判断、路径规划——而非精确测量。认知地图的构建也依赖深度估计和位姿估计的级联流水线,每一步都引入误差:类似方案的机器人在真实环境测试中,20个导航目标只成功了10个,原因正是深度噪声和里程计漂移。用室内合成数据训练出的3D先验,搬到户外场景时性能也会明显下滑。
一只能认路的AI,会改变什么?
AlloSpatial不是一篇躺在会议论文集里的纯学术作品。同一团队已经在真实机器人上试过了同一思路——一个叫BSC-Nav的系统,给机器人装上"地标记忆+认知地图+工作记忆",把实例级导航的成功率从17.6%提到了44.9%,并在真实物理世界(不是仿真)中完成了移动操作。
更大玩家已在押注同一方向。Waymo在2026年初发布了基于世界模型的自动驾驶仿真系统,用语言和路网信息生成多传感器仿真数据,为L4级(无需人类接管的)无人驾驶提供在2亿英里真实里程之外的"数十亿英里"虚拟测试。AMD在2026年9月以约82亿美元全股票收购了从单张照片重建3D场景的World Labs——这是AMD史上仅次于收购赛灵思的第二大交易,直接把"空间智能"四个字钉上了工业议程。
据Grand View Research预测,具身AI市场2025年约47亿美元,到2033年将达到676亿美元——八年翻十四倍。这个市场目前最大的技术瓶颈之一,恰好就是AI在真实三维空间里搞不清东西在哪。
但有必要指出:并非所有人都认为"显式地图"是唯一正确的路。端到端学派主张空间知识应该直接内化到模型权重里,而非外挂一个地图模块——就像人不需要先画一张纸质地图才能走路。甚至有研究发现,在某些任务上,显式空间推理步骤反而分散了模型的注意力,导致空间理解退化。这场"要地图还是不要地图"的路线之争,目前还没有定论。
七十八年前,托尔曼看着老鼠走迷宫时写下的洞见,正在成为今天AI研究最活跃的前沿之一:智能的核心不在于接收了多少信息,而在于能否把这些信息织成一张可以随时从不同角度查看的网。AlloSpatial至少证明了一件事:你不需要等到AI自己长出位置细胞和网格细胞——给它一张结构化地图,它就能做得比裸眼看世界好得多。
地图室不需要是肉长的。