nanomimic
想象回报05 / 07

快要摔倒,未来还值多少分?

模型每推演一步,都要看 G1 的动作和参考动作有多像,并估计这一回合有多大概率会在这里结束。越接近失衡,后续奖励对当前动作的影响就越小。

误差多大时,回合容易结束?p = sigmoid((e − 1) / 0.05)
归一化误差与终止概率的关系 误差从 0.8 增至 1.2 时,终止概率由约百分之二平滑升至约百分之九十八,经过阈值 1 时为百分之五十。 100%50%0 0.81.01.2 终止概率 p归一化误差 e
误差 1.00 结束概率 50.0% 继续概率 50.0%
把骨盆高度误差和倾斜误差分别除以各自的阈值,取较大者为 e。当 e = 1 时,本步结束的概率为 50%,下一步奖励的权重也因此减半。