GAE generalized advantage estimation 广义优势估计

优势函数采取这个动作的实际总收益 减去 我按照平均水平价值函数V采取动作的预期总收益 如果差值为正说明这个动作比平均水平好为负则说明差实际计算这个 实际总收益的时候GAE 广义优势估计就是为了解决这个计算 实际总收益的问题的计算优势 实际总收益Gt-V(st))核心难点在于怎么算Gt从当前步t到eposide结束的实际总回报为什么Gt定义从t时刻往后所有真实奖励折扣累加Gt是整条交互轨迹走完之后才能拿到的真实累计汇报真实训练场景的两大困难在线交互时t时刻无法预知为例所有的rt1,rt2走到第t个token时后面还没生成未来奖励不存在当场算不出完整Gt。必须等整条句子全部生成结束回溯整条序列才能算出每个位置的Gt。难点2两种极端方案各自有严重缺陷蒙特卡洛MC等整段生成后拿到真实全部回报。但是长文本生成几百上千token整条轨迹奖励波动极大梯度震荡训练难收敛单步TD只用下一步预测价值近似回报偏差很大完全忽略多步未来收益Vst)本来就是critic预估的在状态st下遵循当前策略平均能拿到的未来总回报是基线。AtGt-V(st)的含义当前这条估计实际拿到的总回报比平均基线好多少。不存在步采取哦当作就有确定未来所有未来奖励都是随机的取决于策略采样的每一步token序列未结束时无法实时获取全部未来真实奖励必须完整走完 episode 才能回溯两种直接估算Gt​的方式各有硬伤蒙特卡洛完整回报方差爆炸单步 TD 误差偏差严重所以引入 GAE用 λ 加权融合多步 TD 误差平衡偏差与方差得到更稳定的优势估计V(st) 处在状态st,按照当前策略持续生成下去未来能拿到的平均总折扣回报是一个期望值平均基线不是某一条轨迹的真实回报GtTD误差rt是在st执行动作at时立刻拿到的即使奖励。Vst1)critic估计进入下一个状态st1之后未来所有步的平均总收益r是折扣因子降低远期奖励权重。、V(st):停在状态st​严格按照当前策略π持续不断执行动作、一路走到 episode 结束整条轨迹所有折扣奖励的数学期望平均分动作action去哪了 at已经隐含在rt和st1里逻辑在状态st今天天气真执行一个动作at生成了token 好因为执行这个动作环境给了你即时奖励因为执行了这个动作进入了下一个状态st1,现在文本变成“今天天气真好”公式中的 rt和st1就是动作at的直接后果TD误差就是做了这个动作后实际发生的情况与我原本预期的情况之间的差距V(st)就是在当前状态未来所有的奖励的平均值在st这个时间点critic预估从这一刻开始直到episode结束平均拿到的总回报是多少rt就是执行当前动作给的奖励然后到了下一个状态之后的估计价值乘以衰减减去如果不执行这个动作没变到新的状态的话预估的价值是多少不是不执行这个动作是在执行这个动作之前对当前状态的st原有的期望价值