这项由新加坡国立大学与香港科技大学联合开展的研究，以预印本形式于2026年7月发表，论文编号为arXiv:2607.05765。感兴趣的读者可通过该编号在arXiv平台检索完整论文。
**研究概要：机器人为什么找不到路？**
你有没有想过，为什么自动驾驶汽车在高速公路上表现尚可，家用扫地机器人却经常被椅子腿绊倒？或者，为什么我们在科幻电影里看到的那种"听懂指令、穿越房间找到目标"的智能机器人，现实中迟迟无法落地？问题的根源，其实不在于机器人本身，而在于它们缺乏足够的"练习场地"。
现实中训练一个能走路、能认路、能按指令导航的机器人，需要海量的训练数据——它需要在无数不同的房间里反复走动、观察、犯错、纠正。然而，真实的室内三维场景数据极其昂贵且难以获取，而用计算机生成的虚拟场景又和真实世界差异太大，机器人在虚拟场景里练会的本领，换一个真实房间就全然失效。这就像一个从未走出模型沙盘的士兵，骤然面对真实战场时会手足无措。
这项研究的核心思路是：何不直接把现实世界中已有的大量照片和视频，转化成机器人可以在里面练习的互动式虚拟环境？研究团队开发了一套名为Image2Sim的系统，其本质是一个"照片变世界"的引擎。它可以接收普通的室内照片或视频，在几乎不需要人工干预的情况下，自动生成具有三维空间感、可以自由走动、会碰墙会绕路的虚拟训练场，并为机器人生成配套的路径规划和语言指令。这套系统最终构建了近两万个可交互的虚拟场景，生成了超过一千万条机器人导航训练样本，并让一个从未在真实模拟器中训练过的导航智能体，在国际主流测试基准上超越了所有已有方法。
**一、机器人找路这件事，为什么这么难**
教会一个机器人按照语言指令在房间里走到目标位置，在研究领域被称为"具身导航"。这里的"具身"，意思是机器人要有一个实体的身躯，要真正在三维空间中移动，而不是在屏幕上点击地图。
这件事难在哪里？核心挑战在于数据。一个导航机器人需要在各种各样的房间里练习——卧室、厨房、走廊、办公室——它需要见过足够多的空间布局、光影变化、家具摆放方式，才能学会举一反三。现有的训练数据来源主要有两类：一类是用专业设备对真实房屋进行三维扫描得到的数字孪生场景，这类数据视觉效果逼真、物理上准确，但采集成本极高，全球范围内能用于机器人训练的此类场景只有区区几千个，相比语言模型动辄数百亿条的训练数据，简直是九牛一毛。另一类是用游戏引擎或程序算法生成的合成虚拟场景，数量可以非常庞大，但这些场景看起来像是游戏里的世界，光影、材质、空间感都和真实房间相差甚远，在这里练出来的机器人到了真实世界会"水土不服"。
近年来出现的AI视频生成模型虽然能生成非常逼真的画面，但它们无法保证生成的画面符合真实物理规律——机器人往前走一步，周围的画面可能会凭空变化，墙壁可能会穿透，这种场景根本无法用于训练一个需要真正理解空间、理解碰撞的导航系统。
正是这种两难困境，让具身导航领域的研究进展远远落后于语言模型和图像生成。研究团队把这个问题比作是"数据的瓶颈"——不是算法不够好，而是没有足够多、足够好的虚拟训练场地。
**二、"照片变世界"的核心思路**
Image2Sim的核心思路，可以用一个装修的比喻来理解。假设你想给房间重新布置，你需要先精确量出每面墙的位置、每扇门的尺寸——这是"三维空间定位"。然后，你还需要知道每面墙贴什么颜色的漆、地板是什么材质、窗帘是什么花纹——这是"视觉外观合成"。传统方法往往把这两件事混在一起做，结果两件事都做得不够好：要么几何精确但画面难看，要么画面好看但几何错乱。
Image2Sim的关键创新，就是把这两件事彻底分开来做。负责"量房子"的是一套叫做"前馈特征高斯模型"的技术，它专门负责从照片中提取精确的三维空间结构；负责"渲染画面"的是一套叫做"几何感知单步像素流模型"的生成网络，它专门负责在已知空间结构的基础上，生成高质量的全景视觉画面。两套系统各司其职，相互配合，就能同时保证空间的物理准确性和画面的视觉逼真度。
**三、如何从照片中提取三维世界**
"量房子"这一步，技术上依赖的是一种叫做"三维高斯泼溅"的表示方法。可以把它理解成，用无数个半透明的气泡来填充三维空间，每个气泡记录了它所在位置的颜色、透明度和大小。当我们把这些气泡投影到相机视角时，就能得到一张逼真的画面。
传统的三维高斯重建方法需要对每个场景单独优化数小时，相当于每换一个房间就要重新"学一遍物理"。Image2Sim使用的是前馈式方式——也就是说，模型经过大量数据的预训练之后，面对一个新房间的照片时，可以一次性、几乎瞬间地推算出该房间的三维高斯表示，不需要再单独优化。这就好比一个经验丰富的装修师傅，走进一个新房间，扫一眼就知道大概尺寸，而不需要每次都从零量起。
具体来说，系统会对每张输入的室内照片做两路特征提取：一路使用一个叫做DINOv3的视觉理解模型，提取画面中的高层次语义信息，比如"这块区域是沙发"、"那里是门口"；另一路用一个轻量级的几何细节网络，处理深度信息、表面法向量和相机射线方向，负责精确记录每个像素对应的空间位置。两路信息融合之后，生成密集的三维高斯表示，每个高斯点不仅记录了位置和颜色，还存储了16维的语义特征，相当于给每个空间点打上了"标签"，知道它是什么物体的一部分。
值得一提的是，射线方向的编码方式使得这个系统同时兼容普通手机相机拍摄的透视照片和全景相机拍摄的360度图像，这是非常实用的工程设计，因为现实中的室内数据来源多种多样。
**四、如何让虚拟世界看起来像真实房间**
有了三维空间骨架，下一步是渲染出机器人在任意位置、任意方向看到的画面。这里面临一个棘手的问题：从有限张照片重建出来的三维结构，必然存在"盲区"——相机没有拍到的角落、被家具遮挡的背后，在三维模型里会出现空洞和缺失。如果机器人走到这些地方，看到的画面就会是"漏洞百出"的不完整视图，这会严重影响训练质量。
为了解决这个问题，研究团队设计了"几何感知单步像素流模型"，可以把它理解成一位很有经验的室内设计师，当他看到一张房间的平面图（三维骨架），即使某些角落没有详细标注，他也能根据整体风格和周围环境合理推断出那个角落应该是什么样子。
这个模型的工作方式是这样的：首先，系统把三维高斯结构投影到目标视角，得到一张带有空洞的"草稿图"，同时附带每个区域的"可信度地图"——可信度高的地方是相机确实拍到过的区域，可信度低的地方是需要靠推断来补全的区域。然后，模型根据可信度地图，对可信区域基本保留原样，对低可信度区域进行智能补全。最终输出的是一张512×1024像素的全景RGB-D图像，既包括视觉颜色信息，也包括每个像素对应的深度信息。
这里用到了一种叫做"MeanFlow"的单步生成技术，传统的图像生成方法（比如扩散模型）需要反复迭代数十次才能生成高质量画面，而MeanFlow经过精心训练后，可以一步到位直接生成高质量结果。这使得整个渲染过程能在一张消费级显卡上以每秒约40帧的速度运行，满足机器人实时训练的需要。
为了让单步生成结果更稳定，团队还引入了一种"动量自蒸馏"机制，受到DINO自监督学习的启发：系统维护一个"教师网络"和一个"学生网络"，教师网络接受更完整的信息输入，学生网络接受带有噪声的不完整输入，学生通过模仿教师的中间特征来提升自己处理困难情况的能力，这就像一个新手厨师通过观察大厨的每个操作细节，而不仅仅是看最终成品，来快速提升自己的厨艺。
**五、给机器人配上"腿"和"耳朵"**
一个只能渲染画面的系统还不够，真正能用来训练导航机器人的模拟器还需要两样东西：物理上合理的运动能力（机器人必须知道哪里能走、哪里有障碍），以及与路径对应的语言指令（比如"走到走廊尽头，左转，进入有红色椅子的房间"）。
运动系统的构建从三维高斯场景出发。系统将场景体素化（就是把连续的三维空间切割成像素化的小方块，类似于把一碗汤变成冰格），然后通过语义分割识别地面区域，再用几何约束过滤掉不可通行区域，最终构建出一张"可通行区域图"。为了模拟有体积的真实机器人，系统还对每个候选位置周围用GPU并行射线检测来查询障碍物，确保机器人的"身体"（半径0.15米，眼睛高度1.25米）不会穿墙而过。
路径规划使用的是一种考虑避障代价的导航算法，不只追求最短路径，而是倾向于选择离墙壁和障碍物更远的安全路径。规划好的路径再通过一个"纯追踪控制器"转换为机器人的具体离散动作序列：前进0.25米、左转15度、右转15度、停止。这套参数与学术界主流机器人导航实验环境完全匹配，保证了训练数据的通用性。
语言指令的生成同样全自动完成。每条完整路径被重新切割成若干个"语义宏步骤"——当机器人累积移动了1米，或转向超过45度，或执行了停止动作，就标记为一个新的宏步骤。每个宏步骤对应一张全景图和一段简单的动作描述（如"直行"、"右转前行"）。然后把这一系列图片和动作描述按顺序输入给Qwen3-VL-32B这个大型视觉语言模型，让它用自然语言写出整条路径的导航指令，并且以三种不同风格分别生成：精细的路径跟随式（"走到那张木质餐桌旁，然后在蓝色沙发和落地灯之间..."）、目标导向式（"去找那把红色椅子"）和口语化人类需求式（"帮我去厨房拿杯水"）。生成过程中还内置了质量控制，模型必须先检查视频帧是否存在"原地不动"或"穿墙"等模拟错误，通过检查才生成指令，未通过则直接丢弃。
**六、两万个虚拟世界和一千万条训练数据**
利用上述系统，研究团队从七个公开的室内数据集中采集原始图像，包括真实扫描的室内场景和合成的高质量渲染场景，涵盖了单间公寓到大型住宅的各种空间类型，总计构建了19936个可交互虚拟场景。这些场景共包含超过61万张全景图、116万张透视图，总可通行面积接近120万平方米，相当于168个足球场。
在这将近两万个场景里，自动化数据引擎生成了超过一千万条视觉-语言-动作三元组训练样本。生成的导航指令长度从1个词到581个词不等，平均38个词，中位数24个词，短则简洁如命令，长则详尽如向导词。生成的路径长度平均8.53米，中位数8.5米，最长的路径甚至延伸到85.72米，覆盖了从走几步到穿越整个楼层的各种长度。路径对应的动作步数平均54.7步，最多达501步。三种指令风格各占约三分之一，分配均匀，确保训练出来的机器人能理解各种表达方式的导航请求。
**七、渲染质量测试：平衡速度与画质**
研究团队在三个不同质量的数据集上测试了渲染效果，分别代表无噪声的合成场景、中等噪声的真实扫描场景，以及高噪声的真实激光雷达深度场景。测试对比了四个主要方法：纯生成式的全景扩散模型DiT360和SE3DS，以及前馈式三维高斯重建方法AnySplat，再加上Image2Sim本身。
结果呈现出非常清晰的权衡格局。DiT360生成的画面语义合理，LPIPS（感知质量指标，越低越好）和PSNR（峰值信噪比，越高越好）在无噪声场景下表现最好，但每秒只能渲染0.3帧，完全无法支持需要实时交互的机器人训练。AnySplat速度极快，超过每秒115帧，但在高噪声真实场景下画质急剧下降，因为三维骨架本身就存在大量缺失和错误，纯粹的高斯泼溅无法自动修复。Image2Sim在高噪声真实场景下取得了PSNR 17.43分和SSIM 0.470分，显著优于AnySplat，速度达到每秒45.6帧，完全满足实时训练需要，在视觉质量和运行效率之间取得了实用的平衡点。
消融实验（即逐一去掉某个设计组件，测试其对性能的影响）更清晰地展示了每个模块的作用。去掉像素流渲染模型，只用三维高斯投影，LPIPS从0.428跳升到0.518，画质明显变差，确认了渲染补全模块的必要性。去掉语义特征输入，模型在未观测区域的补全会变得随意，缺乏语义约束。去掉透明度引导的跳跃连接，模型无法有效区分可信区域和需要补全的区域，导致已有的好几何信息被不必要地覆盖。去掉动量自蒸馏，单步生成的稳定性下降，尤其在遮挡严重的区域容易出现幻觉伪影。四个组件缺一不可，构成了系统整体性能的基础。
**八、零样本跨模拟器导航：没见过这个环境，仍然考了第一**
评估一个训练数据引擎质量最直接的方式，就是看用它生成的数据训练出来的模型表现如何。研究团队基于Qwen3-VL-4B这个视觉语言模型，构建了一个叫做Image2Nav的导航智能体。这个智能体在Image2Sim生成的场景中训练，然后被直接放进完全不同的Habitat模拟器里，在三个主流导航测试基准上接受评测：R2R-CE（语言描述引导路径跟随）、RxR-CE（多语言版本的路径跟随）和REVERIE-CE（目标物体导向导航）。
"完全不同的模拟器"意味着什么？Habitat里的场景是真实的Matterport3D扫描场景，光影风格、相机参数、场景布局都与Image2Sim里的神经渲染画面有显著差异。Image2Nav从未见过这些场景，也没有在Habitat里做过任何微调，这就相当于一个在模型沙盘里练习了很久的士兵，直接被送到真实战场接受考核。
结果是Image2Nav在标准90度视角下取得了R2R-CE成功率66.3%，超越了所有此前发表的方法，包括使用了深度传感器的多模态方法；在宽视角（180度全景）设置下成功率进一步提升到70.3%，路径效率指标SPL达到65.6。在目标物体导航的REVERIE-CE上，Image2Nav同样超越了所有已发表方法，成功率53.7%对比此前最佳的47.5%。这说明Image2Sim生成的数据不仅在数量上有优势，在质量和多样性上也真正帮助机器人学到了可迁移的导航能力，而不只是记住了某个模拟器的特殊规律。
**九、数据越多，机器人越聪明——一条清晰的成长曲线**
研究团队还测试了一个核心问题：Image2Sim生成的数据，多多益善吗？还是说增加到某个量就会没有边际收益？
实验结果给出了一个令人振奋的答案。从只使用标准的人工标注数据（R2R和RxR，约3.5万条）开始，成功率为46.1%，路径效率指标SPL为41.3。加入100万条Image2Sim生成数据后，成功率跃升到56.9%，SPL升至49.5。加入500万条数据，成功率继续攀升到63.8%，SPL达55.9。加入1000万条数据，成功率达到66.3%，SPL达61.5。整个过程在对数坐标系下呈现出非常清晰的线性增长关系，这在机器学习领域被称为"幂律缩放"，是一个非常积极的信号，意味着这个方向仍然有巨大的提升空间，数据规模的继续扩大有望带来持续的性能提升，而目前还远远没有到达"天花板"。
更重要的是，性能的提升不只是来自语言指令的增多，而是场景数量、路径多样性、渲染视觉和语言指令的全面增长共同作用的结果。这印证了研究团队的核心主张：限制机器人导航性能的不只是数据量，更是互动场景的多样性——而Image2Sim从根本上解决了这个瓶颈。
**十、从虚拟到真实：在真实家庭环境中的测试**
研究的最终验证发生在一个真实的家庭环境里。研究团队将Image2Nav部署在一台Hello Robot Stretch 3机器人上，这是一款细长的轮式机器人，头部安装了Intel RealSense D435i RGB-D相机，通过Wi-Fi与远程工作站通信，工作站负责运行视觉语言推理并发送动作指令。测试场景是一个包括客厅、厨房、会议室和办公室的真实居家环境，这些场景的任何布局和物品都没有出现在训练数据中。
与另外两个强基线方法JanusVLN和DualVLN相比，Image2Nav在路径跟随任务中将成功率从8/20提升到11/20，在目标导向任务中从5/20提升到9/20。目标导向任务的提升尤为显著——几乎翻倍——这说明Image2Sim生成的大量目标物体导向数据，确实帮助机器人学会了在真实房间里寻找具体物品的能力。这个结果虽然还远非完美，但已经足以说明一个关键点：神经模拟器生成的数据，真的可以帮助机器人在从未见过的真实空间里更好地行动。
**说到底，这项研究意味着什么**
归根结底，Image2Sim干的事情很纯粹：它试图打破机器人导航研究中那个长期存在的恶性循环——好的模型需要大量数据，但生成大量高质量数据需要昂贵的设备和漫长的人工标注。通过把普通照片和视频变成可以真实训练机器人的虚拟世界，这套系统让"用海量数据训练导航机器人"这件事变得在普通研究条件下也可以实现。
这项研究对普通人意味着什么？往近了说，未来家用机器人、导览机器人、养老辅助机器人的训练成本可能会大幅降低，因为这些机器人的训练场地可以直接从现有的室内照片中大量生成。往远了说，当机器人可以用近乎无限的多样化虚拟场景来练习，它们的空间理解能力、语言理解能力和真实世界适应能力都会有质的提升。
当然，这套系统目前也有其局限。为了保证渲染速度，神经渲染器牺牲了一部分图像质量上限，在某些光线复杂的场景下生成画面仍有明显失真。当前的运动模拟只支持导航层面的物理约束，无法模拟物品抓取、门的开关等更复杂的物理交互。此外，自动生成的语言指令虽然多样，但仍然可能带有语言模型的系统性偏差。这些问题为后续研究指明了方向。
一个有意思的思考方向是：如果这套系统能继续扩展，从两万个场景扩展到两百万个场景，从一千万条数据扩展到十亿条数据，机器人导航能力的提升是否也会遵循类似语言模型那样的规律，某一天突然出现质的飞跃？研究团队给出的缩放曲线暗示这种可能性存在，但具体在哪个规模会出现突破，仍然是一个开放的问题。有兴趣深入了解的读者可以通过arXiv编号2607.05765查阅完整论文，探索这套系统背后更多的技术细节。
Q&A
Q1：Image2Sim是如何把普通照片变成机器人可以训练的虚拟场景的？
A：Image2Sim分两步处理照片。第一步用"前馈特征高斯模型"从照片中快速提取三维空间结构，记录每个位置的几何形状和语义信息。第二步用"几何感知单步像素流模型"在这个空间骨架的基础上，智能补全相机没有拍到的遮挡区域，生成机器人在任意位置会看到的全景图像。整个过程在单张消费级显卡上以每秒约40帧的速度运行。
Q2：Image2Nav为什么能在从未见过的Habitat模拟器环境里超越所有已有方法？
A：Image2Nav的性能提升主要来自训练数据的规模和多样性，而非模型架构本身。研究团队用Image2Sim构建了近两万个来自真实室内照片的虚拟场景，生成了超过一千万条涵盖不同风格、不同长度路径和三种语言指令类型的训练样本。正是这种大规模、多样化的训练，让模型学到了真正可以迁移的导航能力，而不是对某个特定模拟器的记忆。
Q3：Image2Sim生成的导航训练数据规模越大效果越好吗？
A：从目前的实验来看是的，而且这种提升远没有到达天花板。实验显示，从3.5万条人工标注数据开始，加入100万条生成数据后成功率从46.1%跳升到56.9%，加入1000万条时进一步升至66.3%，整个过程呈现稳定的对数线性增长。这意味着继续扩大数据规模仍有望带来持续提升，机器人导航也可能像语言模型一样受益于数据规模的扩展。