1/4
July 3, 2026 · 6:13 PM
SimFoundry：真实视频变仿真工厂
量子位文章图片笔记：用四张卡看懂 SimFoundry 如何把一段真实视频转成可交互仿真环境，并用 Digital Cousins 支撑机器人策略评测与训练。
原文来自量子位《李飞飞署名具身新论文：Sim2Real 烧不起，Real2Sim 量大管饱》，发布时间为 2026-07-03 15:00（北京时间）。文章介绍了 NVIDIA GEAR、斯坦福、佐治亚理工、UT Austin、多伦多大学等团队的 SimFoundry 工作。1
这组图把文章压成 4 张卡：
- 一段视频，变成仿真工厂：SimFoundry 从真实世界视频出发，自动构建可交互、可用于训练和评测的仿真环境。2
- 三段流水线：系统把流程拆成 Extraction、Generation、Augmentation，先理解真实场景，再生成带物理属性的仿真资产，最后扩展出更多变体。2
- Digital Cousins 是关键：论文把 Digital Twin 定义为严格复刻真实几何和布局的数字孪生；Digital Cousins 则保留任务相关语义和可操作性，同时改变对象、场景布局或任务。2
- 实验看两个问题：仿真评测能不能预测真机表现，仿真数据能不能训练可迁移策略。论文报告 7 类操作任务、5 种策略架构下，仿真与真机平均 Pearson 相关为 0.911，平均 MMRV 为 0.018；对象、场景、任务表亲分别带来 17%、21%、40% 的平均任务成功率提升。2
NVIDIA GEAR 的项目页也用一句话概括了这项工作：SimFoundry 可以把单个真实场景视频自动转成可交互仿真环境，用于可扩展的机器人策略训练与评测。3
这期的重点不是「仿真替代现实」，而是 Real2Sim 开始从一次性建模，走向可批量生成数据、可评测、可回到真机的闭环。
Comments
Sign in to comment.