nanomimic
训练闭环01 / 07

仿真走一步,模型能推演多远?

策略(Actor)给关节发指令,仿真器记录 G1 怎样运动。模型用连续几帧学习预测,策略也可以从其中一帧出发,在模型里尝试接下来的动作。

一条轨迹的两种用法1 → 8 / 32
一段仿真记录如何用于训练模型和策略 仿真器每走一步就把记录写入缓冲区。用连续九帧训练模型预测八步,也可以从一帧及其观测历史出发,让策略在模型中尝试三十二步。更新后的策略继续在仿真中采集数据。 物理仿真Actor 选动作 回放缓冲区每个环境 1000 步 拟合动力学预测 8 步 改进策略想象 32 步 写入连续 9 帧起点和历史固定参数 用更新后的 Actor 继续采集轨迹
  1. 物理仿真走 1 步,把记录写入缓冲区。
  2. 连续 9 帧 → 用记录中的动作预测后 8 帧。
  3. 起点和观测历史 → 让策略在模型里尝试 32 步。
  4. 用更新后的 Actor 继续采集轨迹。
拟合时,模型依次执行记录中的动作。想象时,Actor 根据每一步的预测状态重新决定动作。