想象回报05 / 07
快要摔倒,未来还值多少分?
模型每推演一步,都要看 G1 的动作和参考动作有多像,并估计这一回合有多大概率会在这里结束。越接近失衡,后续奖励对当前动作的影响就越小。
误差多大时,回合容易结束?p = sigmoid((e − 1) / 0.05)
误差
结束概率
继续概率
e。当 e = 1 时,本步结束的概率为 50%,下一步奖励的权重也因此减半。