Motphys

3D 高斯泼溅混合渲染

MotrixSim 对 MJCF 进行了扩展,新增 <gsplat> 元素,可直接在 MJCF 中引入 3D 高斯泼溅(3DGS)资产,与常规网格、几何体在同一场景中混合渲染——3DGS 负责还原真实世界的背景与环境,机器人及交互物体仍以传统网格渲染并参与物理仿真,两者无缝叠加。

<asset>
  <gsplat name="scene_cloud" file="3dgs/point_cloud.ply" />
</asset>
<worldbody>
  <gsplat name="scene_cloud" asset="scene_cloud" />
</worldbody>

混合渲染对机器人任务尤为重要:真实采集的 3DGS 场景带来照片级真实感的视觉观测,使仿真图像的外观、光照、遮挡更接近真实相机输出,从而大幅缩小 Sim-to-Real Gap,让基于视觉的感知与策略训练能更好地迁移到真机;同时机器人本体与操作对象保持精确的物理交互,兼得「真实外观」与「可仿真、可交互」。此外还提供 3DGS IBL 烘焙工具,使点云环境的光照与场景中物体的渲染更协调一致。

3DGS IBL 环境光照对比