异步 PPO 中另一个陈旧性问题 • TheUnknownBlog

摘要

异步强化学习将轨迹生成与模型优化解耦，使 Rollout worker 在训练端持续更新策略的同时生成数据。对于大语言模型和长时程智能体任务，这种架构尤其有吸引力，因为 Rollout 延迟可能差异巨大。然而，异步训练引入了一种根本的分布不匹配：训练端在不断演化，却在消费由旧策略采集的轨迹。

近期大多数工作聚焦于校正 Actor 梯度，采用重要性采样、裁剪、掩码或 Score Centering [1, 5, 6, 7]。我们认为，Critic 中存在一个同样重要的问题。直接在陈旧轨迹的回报上训练价值模型，估计的是其行为策略的期望回报，而不一定是当前策略的期望回报。更频繁地更新 Critic 并不能消除这种不匹配：如果训练目标对应旧策略，即使 Critic 优化得非常充分，也可能收敛到错误的价值函数。与此同时，在现代 LLM 强化学习的规模下，为每个历史 Actor checkpoint 维护单独的 Critic 成本过高。

我们研究了一种替代方案：版本中心化 Critic 校正（Version Centered Critic Correction, VCCC）。这一框架使用由多个不同行为策略版本生成的轨迹，训练单个目标策略 Critic。我们的方法基于三个观察：

Score Centering 消除了由不准确的状态依赖基线引起的 Actor 梯度漂移，但并不校正 Critic 的自举目标。
目标策略与行为策略的 Bellman 算子之差，可以精确表示为一个涉及重要性比的条件协方差。
只要动作概率记录正确且满足通常的支撑集假设，这一恒等式就给出了一个单 Critic 训练目标，其条件期望与行为策略版本无关。

我们将推导这一方法，解释它与经典重要性加权时序差分学习 [3] 及控制变量离策略评估 [4] 的联系，并分析方差缩减、裁剪重要性权重、Actor 与 Critic 中心化之间的对偶关系，以及多步信用分配。该框架为同时校正 Actor 陈旧性与 Critic 陈旧性 提供了一个有原则的起点，而无需维护历史价值模型。

1. 背景

1.1 为什么使用异步 RL？

在传统的同步 PPO [1] 中，训练分阶段交替进行：

使用当前策略生成 Rollout。
计算奖励和优势。
更新策略和价值模型。
将更新后的策略同步给 Rollout worker。

这种设计在 Rollout 生成和优化之间设置了同步屏障。对于长时程任务，尤其是编程智能体和使用工具的语言模型，Rollout 时长差异很大：有些轨迹经过几个动作就会终止，有些则需要数百次工具交互。等待一个批次中的所有 Rollout 完成，可能让昂贵的训练资源处于闲置状态。

异步 RL 消除了这一屏障。Rollout worker 持续生成轨迹，训练端则在轨迹可用时立即消费它们。这提高了硬件利用率，但不可避免的结果是：一条轨迹在被使用时，可能已经是由若干优化步骤之前的策略生成的。

令当前训练策略为

\pi_\theta(a\mid s),

生成某个动作的行为策略为

\mu_i(a\mid s),

其中 $i$ 标识一个历史策略版本或 Rollout 配置。一般而言， $\mu_i\neq\pi_\theta$ ，而且随着训练端继续前进、Rollout worker 持续生成数据，这种不匹配会变得更加明显。

1.2 现有方法主要校正 Actor

对于采样动作 $a_t$ ，基本的重要性比为

\rho_t= \frac{\pi_\theta(a_t\mid s_t)} {\mu_i(a_t\mid s_t)}.

PPO 裁剪 [1]、截断重要性采样（TIS）和掩码重要性采样（MIS）等方法限制了陈旧动作的影响。近期的 Score Centering [6] 进一步识别出离策略策略梯度中的一种系统性漂移，并引入加性校正来消除它；后续分析则表明，一旦漂移被消除，优化稳定性主要由陈旧过程中累积的策略距离决定 [7]。在智能体场景中，SAO（Single-Rollout Asynchronous Optimization）[5] 将单 Rollout 训练与严格的双侧 token 级重要性比掩码相结合，并对价值模型训练做了实践层面的改进。

这些方法为稳定 Actor 优化提供了重要机制，但 Actor 优化只是 Actor–Critic 算法的一半。

1.3 被忽视的问题：陈旧的 Critic 目标

考虑从时刻 $t$ 开始的折扣回报

G_t = \sum_{k=0}^{T-t-1}\gamma^k r_{t+k},

以及策略 $\pi$ 的状态价值函数：

V^\pi(s)= \mathbb E_{\tau\sim\pi} \left[ G_t \mid s_t=s \right].

一个状态的价值取决于用于生成未来动作的策略。对于同一个状态 $s$ ，两个策略的价值可能相差很大：

V^{\mu_i}(s)\neq V^{\pi_\theta}(s).

设想一个数学推理模型已经到达某个中间证明状态。旧模型可能有 $0.3$ 的概率成功完成证明，而当前模型成功的概率可能是 $0.7$ 。对于二元终止奖励且 $\gamma=1$ 的情况：

V^{\mu_i}(s)=0.3, \qquad V^{\pi_\theta}(s)=0.7.

现在假设我们使用旧策略的 Monte Carlo 回报训练 Critic：

\mathcal L_V(\phi)= \mathbb E_{\tau\sim\mu_i} \left[ (V_\phi(s_t)-G_t)^2 \right].

其总体最优解为

V_\phi^*(s)= \mathbb E_{\mu_i}[G_t\mid s_t=s] = V^{\mu_i}(s).

Critic 可以相对于其训练分布实现零估计偏差，同时仍然系统性地错误估计当前策略。 这不仅是优化速度的问题，更是所学习的统计目标本身发生了错配。

在包含多个行为策略的异步回放缓冲区中，情况更加微妙。如果 Critic 不以行为策略版本为条件，那么最优的 Monte Carlo 预测器就是历史回报的条件混合：

V_{\mathrm{replay}}(s) = \mathbb E[G_t\mid s_t=s,\text{replay}].

这一混合取决于任一时刻回放缓冲区中策略版本的分布。随着训练系统演化，版本分布不断变化，没有理由认为 $V_{\mathrm{replay}}$ 会等于当前训练端策略的价值函数。

提高 Critic 的更新频率可以帮助优化更紧密地跟踪回放目标，但无法保证回放目标本身就是正确的。 这一区别促成了我们的方法。

1.4 问题形式化

我们考虑一个有限时域 Markov 决策过程

\mathcal M=(\mathcal S,\mathcal A,P,r,\gamma,T).

对于有限时域问题，必要时将时间纳入状态，并令终止状态的价值为零。

在训练步骤 $k$ ，训练端维护：

一个目标 Actor $\pi_k \equiv \pi_{\theta_k}$ （当步骤索引在上下文中明确时，我们交替使用 $\pi_k$ 、 $\pi_\theta$ 或简写 $\pi$ ）。
一个可训练的 Critic $V_\phi$ 。
一个可选的、分离梯度或缓慢更新的 Critic 目标 $\bar V$ 。
一个包含历史行为策略 $\mu_i$ 所生成轨迹的回放缓冲区。

每条记录的转移包含

(s_t,a_t,r_t,s_{t+1}, \log\mu_i(a_t\mid s_t)).

记录的 $\log\mu_i(a_t\mid s_t)$ 是实际采样分布赋予的对数概率，包括温度缩放和其他任何采样变换。行为策略版本 $i$ 也可以记录下来，用于监控和诊断。关键在于，我们不需要保存 $\mu_i$ 的参数，也不需要为该版本维护单独的价值模型。

我们希望训练一个满足下式的 Critic：

\boxed{ V_\phi(s)\approx V^{\pi_k}(s) }

其训练数据是由多个不同 $\mu_i$ 生成的转移。期望的 Bellman 不动点为

V^{\pi_k}=\mathcal T_{\pi_k}V^{\pi_k},

其中 Bellman 评估算子为

(\mathcal T_\pi V)(s) = \mathbb E_{\substack{a\sim\pi(\cdot\mid s)\\s'\sim P(\cdot\mid s,a)}} \left[ r(s,a,s')+\gamma V(s') \right].

挑战在于：用于估计 $\mathcal T_{\pi_k}V$ 的动作来自 $\mu_i$ ，而且每条记录的转移可能对应不同的行为策略。我们假设环境转移核 $P(s'\mid s,a)$ 在给定 $(s,a)$ 时与策略无关，并且目标策略的支撑集包含在每个行为策略的支撑集内：

\pi_k(a\mid s)>0 \implies \mu_i(a\mid s)>0.

这些假设对后面的推导至关重要。

2. Score Centering 与 Critic

在校正 Critic 本身之前，有必要准确理解 Score Centering [6] 为 Actor 解决了什么，以及它留下了哪些未解决的问题。

2.1 基线漂移问题

定义当前策略的 Score 函数：

u_\theta(s,a)= \nabla_\theta\log\pi_\theta(a\mid s).

考虑一个状态依赖基线 $b(s)$ ，以及从行为策略后续轨迹中得到的 Monte Carlo 回报 $G_t$ 。未校正的离策略 Actor 更新的条件期望为

g_b(s)= \mathbb E_{\mu} \left[ (G_t-b(s))u_\theta(s,a_t) \mid s_t=s \right].

定义行为策略下的平均 Score：

m_\mu(s)= \mathbb E_{a\sim\mu(\cdot\mid s)} [u_\theta(s,a)].

展开期望可得

\begin{aligned} g_b(s) ={}& \operatorname{Cov}_\mu (G_t,u_\theta\mid s)\\ &+ \left( \mathbb E_\mu[G_t\mid s]-b(s) \right)m_\mu(s). \end{aligned}

对于平稳行为策略， $\mathbb E_\mu[G_t\mid s]=V^\mu(s)$ ，因此

\boxed{ g_b(s)= \operatorname{Cov}_\mu(G_t,u_\theta\mid s) + (V^\mu(s)-b(s))m_\mu(s). } \tag{1}

第二项是基线引起的漂移。在同策略采样下， $\mathbb E_{\pi_\theta}[u_\theta(s,a)\mid s]=0$ ，所以任何仅依赖状态的基线都会在期望中消去。但在离策略采样下，通常有 $m_\mu(s)\neq 0$ 。因此，Critic 误差会成为系统性的梯度偏差，而不仅仅是增大方差。

注意公式 (1) 的一个微妙推论：完美预测旧价值函数 $V^\mu$ 的 Critic 能消除这种基线漂移，而预测当前价值函数 $V^{\pi_\theta}$ 的 Critic 则不能。这说明，Actor 基线校正与目标策略价值估计是两个概念上不同的问题。

2.2 消除对基线的依赖

令 $w(s,a)$ 为依赖动作的重要性权重，并假设在给定 $(s,a)$ 时，它与采样的未来回报条件独立。常见选择包括 $w(s,a)=1$ 、精确比率 $w(s,a)=\frac{\pi_\theta(a\mid s)}{\mu(a\mid s)}$ ，或该比率的裁剪／掩码版本。

定义加权 Score

Z_w(s,a)=w(s,a)u_\theta(s,a)

及其在行为策略下的条件均值

m_w(s)= \mathbb E_\mu[Z_w(s,a)\mid s].

中心化后的 Score 为

\widetilde Z_w(s,a)= Z_w(s,a)-m_w(s).

由构造可知， $\mathbb E_\mu[\widetilde Z_w\mid s]=0$ 。因此，

\begin{aligned} &\mathbb E_\mu[ (G_t-b(s))\widetilde Z_w \mid s]\\ &\quad= \mathbb E_\mu[G_t\widetilde Z_w\mid s]\\ &\quad= \operatorname{Cov}_\mu(G_t,Z_w\mid s). \end{aligned}

我们得到恒等式

\boxed{ \mathbb E_\mu\big[ (G_t-b(s)) (Z_w-\mathbb E_\mu[Z_w\mid s]) \,\big|\, s\big] = \operatorname{Cov}_\mu(G_t,Z_w\mid s). } \tag{2}

由于公式 (2) 对任何仅依赖状态的基线 $b(s)$ 都成立，Score Centering 消除了 Actor 更新的期望对显式基线的依赖。Critic 仍然可以充当降低方差的基线，但其状态价值预测误差不再产生公式 (1) 中的漂移项。

2.3 它无法解决什么

公式 (2) 是一个强大的不变性质，但并不意味着当前策略梯度是无偏的。如果代入完整的陈旧 Rollout 回报 $G_t^\mu$ ，该回报描述的仍然是未来动作遵循 $\mu$ 时发生的情况。即使对当前动作使用精确的重要性加权，得到的更新评估的也是 $Q^\mu(s,a)$ ，而不是 $Q^{\pi_\theta}(s,a)$ 。Score Centering 消除了基线漂移分量，但不会改变未来回报生成时所遵循的策略。

此外，在使用 TD 或 GAE [2] 的 Actor–Critic 方法中，Critic 不仅作为被减去的状态基线 $-V_\phi(s_t)$ 出现，也出现在自举目标中：

r_t+\gamma V_\phi(s_{t+1}).

由于 $s_{t+1}$ 依赖采样动作 $a_t$ ，自举项 $\gamma V_\phi(s_{t+1})$ 也依赖动作。不能仅靠从 Actor 优势中减去一个仅依赖状态的基线来消除它的误差。因此，我们需要一种单独的机制，使 Critic 的 Bellman 目标与当前策略一致。

3. 版本中心化 Critic 校正

3.1 Bellman 协方差恒等式

我们的推导从一个任意冻结的价值函数 $\bar V$ 开始；它不必是任一策略的准确价值函数。定义单步 Bellman 样本

H_{\bar V}(s,a,s') = r(s,a,s')+\gamma\bar V(s').

对于固定状态 $s$ 和行为策略 $\mu$ ，行为策略 Bellman 算子为

\mathcal T_\mu\bar V(s) = \mathbb E_\mu[H_{\bar V}\mid s],

而期望的目标策略 Bellman 算子为

\mathcal T_\pi\bar V(s) = \mathbb E_\pi[H_{\bar V}\mid s].

定义精确的动作重要性比

\rho(s,a)= \frac{\pi(a\mid s)}{\mu(a\mid s)}.

在支撑集假设下， $\mathbb E_\mu[\rho\mid s]=1$ 。由于环境转移核 $P(s'\mid s,a)$ 在两个策略下相同，它会在联合转移比中消去： $\frac{\pi(a\mid s)P(s'\mid s,a)}{\mu(a\mid s)P(s'\mid s,a)} = \rho(s,a)$ ，从而得到

\mathcal T_\pi\bar V(s) = \mathbb E_\mu[\rho H_{\bar V}\mid s].

展开右侧可得

\begin{aligned} \mathbb E_\mu[\rho H_{\bar V}\mid s] ={}& \mathbb E_\mu[H_{\bar V}\mid s]\\ &+ \mathbb E_\mu[(\rho-1)H_{\bar V}\mid s]. \end{aligned}

因为 $\mathbb E_\mu[\rho\mid s]=1$ ，第二项是一个精确的条件协方差：

\mathbb E_\mu[(\rho-1)H_{\bar V}\mid s] = \operatorname{Cov}_\mu(\rho,H_{\bar V}\mid s).

因此，

\boxed{ \mathcal T_\pi\bar V(s) - \mathcal T_\mu\bar V(s) = \operatorname{Cov}_\mu (\rho,H_{\bar V}\mid s). } \tag{3}

公式 (3) 将目标策略 Bellman 算子分解为两项：

\boxed{ \underbrace{\mathcal T_\pi\bar V(s)}_{\text{Desired target}} = \underbrace{\mathcal T_\mu\bar V(s)}_{\text{Behavior target}} + \underbrace{\operatorname{Cov}_\mu(\rho,H_{\bar V}\mid s)}_{\text{Policy correction}}. }

当目标策略赋予更高概率的动作倾向于产生更高的单步自举回报时，该协方差为正；当目标策略将概率转移至期望回报更低的动作时，该协方差为负。这为 Critic 陈旧性提供了直接的统计学解释：Actor 改变时 Bellman 目标随之改变，是因为动作概率的偏移与自举回报相关。

在旧数据上训练、未经校正的 Critic 恰好忽略了这一协方差项。重要的是，公式 (3) 对任意冻结的 $\bar V$ 都成立，并不要求一个专门针对旧策略的 Critic，因此我们可以避免为每个历史 Actor 版本维护一个 Critic。

下面我们将公式 (3) 转化为实际的训练目标。

3.2 中心化 Bellman 估计量

对于由行为策略 $\mu_i$ 生成的转移，令

\rho_i= \frac{\pi_k(a_t\mid s_t)} {\mu_i(a_t\mid s_t)}, \qquad H_t=r_t+\gamma\bar V(s_{t+1}).

选择任何不依赖采样动作的基线 $b(s)$ ，定义版本中心化 Critic 校正目标：

\boxed{ Y_t^{\mathrm{VCCC}} = H_t+ (\rho_i-1)(H_t-b(s_t)). } \tag{4}

第二项是对普通 Bellman 样本的中心化校正。对其在 $\mu_i$ 下取条件期望：

\begin{aligned} \mathbb E_{\mu_i}[Y_t^{\mathrm{VCCC}}\mid s_t=s] ={}& \mathbb E_{\mu_i}[H_t\mid s]\\ &+ \mathbb E_{\mu_i}[(\rho_i-1)H_t\mid s]\\ &- b(s)\mathbb E_{\mu_i}[\rho_i-1\mid s]. \end{aligned}

由于 $\mathbb E_{\mu_i}[\rho_i-1\mid s]=0$ ，最后一项消失。因此，

\boxed{ \mathbb E_{\mu_i}[Y_t^{\mathrm{VCCC}}\mid s_t=s] = \mathcal T_{\pi_k}\bar V(s). } \tag{5}

校正后目标的条件期望同时与状态基线 $b(s)$ 和行为策略版本 $i$ 无关。 这是 VCCC 的核心性质。

3.3 为什么一个 Critic 就足够

假设回放缓冲区包含由历史策略 $\mu_1,\mu_2,\ldots,\mu_N$ 生成的转移。每条转移使用自己记录的重要性比 $\rho_i=\frac{\pi_k(a\mid s)}{\mu_i(a\mid s)}$ 。由于

\mathbb E_{\mu_i} [Y^{\mathrm{VCCC}}\mid s,i] = \mathcal T_{\pi_k}\bar V(s)

对每个版本 $i$ 都成立，在状态 $s$ 对任意行为版本回放混合取期望，也会得到

\boxed{ \mathbb E_{\mathrm{replay}} [Y^{\mathrm{VCCC}}\mid s] = \mathcal T_{\pi_k}\bar V(s), } \tag{6}

前提是相应的条件期望存在，且记录的概率精确。行为策略版本的分布完全从条件均值中消失，使单个 Critic 能够从任意多个行为版本中学习，同时对齐同一个 Bellman 算子：

\boxed{ \mathcal L_{\mathrm{critic}}(\phi) = \mathbb E_{\mathrm{replay}} \left[ \left( V_\phi(s_t) - \operatorname{sg} [Y_t^{\mathrm{VCCC}}] \right)^2 \right], } \tag{7}

其中 $\operatorname{sg}$ 表示停止梯度。

在标准的表格型策略评估条件下，反复应用 $\mathcal T_{\pi_k}$ 会收敛到 $V^{\pi_k}$ （当 $\gamma<1$ 时由压缩映射可得，在有限时域 MDP 中则可通过反向归纳证明）。但在使用函数逼近且 Actor 不断更新时，收敛需要额外的稳定性条件，不能仅凭条件无偏性推出。

3.4 与重要性加权 TD 的联系

当选择 $b(s)=\bar V(s)$ 时，公式 (4) 可以简洁地化简：

\begin{aligned} Y_t^{\mathrm{VCCC}} &= H_t+(\rho_i-1)(H_t-\bar V(s_t))\\ &= \bar V(s_t)+ \rho_i(H_t-\bar V(s_t)). \end{aligned}

将单步 TD 残差写为 $\delta_t^{\bar V} = r_t+\gamma\bar V(s_{t+1})-\bar V(s_t)$ ，可得

\boxed{ Y_t^{\mathrm{VCCC}} = \bar V(s_t)+\rho_i\delta_t^{\bar V}. } \tag{8}

这就是经典的单步重要性加权 TD 目标 [3]。中心化表述的贡献是阐明重要性加权 TD 为什么能够解决 Critic 陈旧性、减去 $\bar V(s_t)$ 如何充当零均值控制变量 $(\rho_i-1)\bar V(s_t)$ ，以及为什么一个价值网络就足以处理任意多个已记录的行为策略版本。

考虑一个异步 Rollout，worker 在轨迹生成过程中收到了更新后的权重：

\mu_3 \rightarrow \mu_5 \rightarrow \mu_8.

从轨迹起点计算的 Monte Carlo 回报依赖未来这一系列行为策略，因此并不是任何单个平稳策略价值函数的样本。相比之下，公式 (4) 的单步目标只依赖当前状态和动作、观测到的奖励和下一状态、当前动作的行为概率、该动作的目标概率，以及自举价值 $\bar V(s_{t+1})$ 。未来的行为策略版本与单步估计量的条件正确性无关，因此它天然适用于 Rollout 横跨 checkpoint 更新的系统。

4. 方差与稳定化

4.1 最小方差基线

尽管对于任何仅依赖状态的 $b(s)$ ，公式 (4) 中的校正目标都具有条件无偏性，但其方差可能很大。将公式 (4) 改写为

Y_b= \rho H-(\rho-1)b(s),

我们可以求出使 $\operatorname{Var}_\mu(Y_b\mid s)$ 最小的基线 $b^*(s)$ ，这等价于最小化二阶矩 $\mathbb E_\mu[(\rho H-(\rho-1)b)^2\mid s]$ 。对 $b$ 求导，得到正交条件

\mathbb E_\mu[ (\rho-1)(\rho H-(\rho-1)b^*) \mid s]=0,

从而得到

\boxed{ b^*(s)= \frac{ \mathbb E_\mu[ (\rho-1)\rho H\mid s] }{ \mathbb E_\mu[ (\rho-1)^2\mid s] }. } \tag{9}

当分母 $\operatorname{Var}_\mu(\rho\mid s)=\mathbb E_\mu[(\rho-1)^2\mid s]$ 为零时， $\rho=1$ 几乎必然成立，此时基线不起作用。利用 $\mathbb E_\mu[(\rho-1)\rho\mid s] = \mathbb E_\mu[(\rho-1)^2\mid s] = \operatorname{Var}_\mu(\rho\mid s)$ 和 $H = \bar V(s) + \delta^{\bar V}$ ，我们还可以围绕 $\bar V(s)$ 分解公式 (9)：

b^*(s) = \bar V(s) + \frac{ \mathbb E_\mu\big[(\rho-1)\rho\,\delta^{\bar V}\mid s\big] }{ \operatorname{Var}_\mu(\rho\mid s) }.

这一分解说明了为什么 $b(s)=\bar V(s)$ 是自然的默认选择，以及它何时并非最优。只要加权 TD 残差 $\rho\delta^{\bar V}$ 仍与 $\rho-1$ 强相关（例如训练早期或策略变化较大时）， $b^*(s)$ 就会偏离 $\bar V(s)$ 。这打开了一个有趣的设计空间：Critic 可以估计目标策略价值 $V^{\pi_k}$ ，同时训练一个轻量级的辅助基线头 $b_\psi(s)$ ，专门用于最小化 Bellman 目标的经验方差。

考虑一个双动作的单步 bandit，确定性奖励为 $r(a_0)=0$ 和 $r(a_1)=1$ 。假设行为策略和目标策略满足

\mu(a_1)=0.1, \qquad \pi(a_1)=0.7,

因此 $V^\mu=0.1$ 、 $V^\pi=0.7$ ，重要性比为 $\rho(a_1)=7$ 和 $\rho(a_0)=\frac{1}{3}$ 。直接使用行为奖励训练的未校正 Critic 会收敛到 $0.1$ 。

对于校正估计量 $Y_b = H + (\rho-1)(H-b)$ ，三种基线选择可以说明这一方差权衡。它们都具有精确的均值 $\mathbb E_\mu[Y_b]=0.7$ ：

陈旧价值基线（ $b = V^\mu = 0.1$ ）： $(Y(a_1),Y(a_0))=(6.4,0.0667)$ ，方差为 $\operatorname{Var}_\mu(Y_b)=3.61$ 。
目标价值基线（ $b = V^\pi = 0.7$ ）： $(Y(a_1),Y(a_0))=(2.8,0.4667)$ ，方差缩小到原来的七分之一以下，为 $0.49$ 。
最小方差基线： 公式 (9) 给出 $b^*=1.05$ ，此时 $Y(a_1)=Y(a_0)=0.7$ ，方差为零。

在具有随机转移的一般多动作 MDP 中，单个状态依赖标量 $b(s)$ 无法将方差降为零，而且具有大重要性比的稀有动作仍可能造成破坏性的 Critic 更新。控制这些尾部需要显式截断权重。

4.2 裁剪权重与 Critic 中心化

当行为策略与目标策略相距较远时——例如长时间运行的异步 Rollout——未裁剪的重要性比可能呈现重尾。

对于标准基线 $b(s)=\bar V(s)$ ，将公式 (8) 中的 $\rho_t$ 替换为裁剪或掩码权重 $w_t = w(s_t,a_t)$ ，例如 $w_t=\min(\rho_t,c)$ ，可得

\boxed{ Y_t^{\mathrm{clip}} = \bar V(s_t)+w_t\delta_t^{\bar V}. } \tag{10}

裁剪限制了任何单条转移的影响，但代价是改变 Bellman 不动点。对于固定的行为策略 $\mu$ ，定义裁剪权重的期望

Z(s)= \mathbb E_\mu[w(s,a)\mid s]

以及诱导出的有效策略

\widetilde\pi(a\mid s)= \frac{\mu(a\mid s)w(s,a)}{Z(s)}.

假设 $Z(s)>0$ ，TD 更新的期望满足

\mathbb E_\mu[ w_t\delta_t^{\bar V} \mid s_t=s] = Z(s)\left( \mathcal T_{\widetilde\pi}\bar V(s)-\bar V(s) \right).

因此，在表格型、策略固定的设定下，公式 (10) 与 $\widetilde\pi$ 的 Bellman 算子具有相同的不动点 $V^{\widetilde\pi}$ （对于单侧裁剪， $\widetilde\pi(a\mid s)\propto\min(c\mu(a\mid s),\pi(a\mid s))$ ，与 V-trace [3] 一致）。当回放中有多个行为版本时，每个 $\mu_i$ 都会诱导出自己的 $\widetilde\pi_i$ ，所以裁剪以牺牲精确的版本不变性为代价，换取有界的方差。

如果将裁剪与一般基线 $b(s)\neq \bar V(s)$ 结合，会出现一个微妙的问题。 因为裁剪后通常有 $Z(s)=\mathbb E_\mu[w_t\mid s]\neq 1$ ，直接在公式 (4) 中用 $w_t-1$ 替换 $\rho_t-1$ ，会得到

\mathbb E_\mu\big[H_t + (w_t-1)(H_t-b(s_t))\mid s_t=s\big] = Z(s)\mathcal T_{\widetilde\pi}\bar V(s) + (1-Z(s))b(s),

使得任意基线 $b(s)$ 在 $b(s)\neq \bar V(s)$ 时直接泄漏进 Bellman 不动点。为了对任意控制变量基线 $b(s)$ 都保持不动点 $V^{\widetilde\pi}$ ，基线控制变量中的裁剪权重必须围绕其真实的行为策略均值 $Z(s_t)=\mathbb E_\mu[w_t\mid s_t]$ 中心化：

Y_t^{\mathrm{clip},b} = \bar V(s_t) + w_t\delta_t^{\bar V} - \big(w_t - Z(s_t)\big)\big(b(s_t) - \bar V(s_t)\big).

由于 $\mathbb E_\mu[w_t - Z(s_t)\mid s_t=s]=0$ ，对于任何仅依赖状态的 $b(s)$ ，控制变量项的条件均值都为零；当 $w_t=\rho_t$ （此时 $Z(s_t)=1$ ）时，它退化为公式 (4)，当 $b(s_t)=\bar V(s_t)$ 时则退化为公式 (10)。注意它与公式 (2) 中 Actor Score Centering 的精确结构对偶：

\mathbb E_\mu\Big[ (H_t - b(s))\big(w - \mathbb E_\mu[w\mid s]\big) \,\Big|\, s\Big] = \operatorname{Cov}_\mu(H_t, w\mid s).

用 $\mathbb E_\mu[w\mid s]$ 对 Critic 权重进行中心化，正是用 $m_w(s)=\mathbb E_\mu[w u_\theta\mid s]$ 对 Actor 加权 Score 进行中心化的标量（ $u_\theta\equiv 1$ ）对应形式。

4.3 为什么不使用 Monte Carlo 回报？

旧策略生成的完整轨迹回报反映了所有未来步骤上的旧后续分布。要将 Monte Carlo 回报校正到当前策略，需要重要性比的累积乘积 $\prod_{j=t}^{T-1}\rho_j$ ，其方差随时域长度指数增长。单步 TD 通过从 $\bar V(s_{t+1})$ 自举避免了累积乘积，但代价是依赖 Critic 当前估计的准确性。当奖励稀疏且只在终止时出现时，纯单步自举可能缓慢地传播奖励信号并累积偏差——这正是时序差分学习经典的偏差–方差权衡。

4.4 使用 V-trace 进行多步校正

为了在奖励传播速度和累积重要性比方差之间取得平衡，可以将单步目标扩展为 $n$ 步 V-trace 目标 [3]：

\boxed{ v_t= \bar V(s_t) + \sum_{k=t}^{t+n-1} \gamma^{k-t} \left( \prod_{j=t}^{k-1}c_j \right) \rho_k^{\,c}\delta_k^{\bar V}. } \tag{11}

其中， $\rho_k^{\,c}=\min(\bar\rho,\rho_k)$ 控制每一步的 Bellman 校正， $c_j=\lambda\min(\bar c,\rho_j)$ （ $\lambda\in[0,1]$ ）控制跨步骤的资格迹传播。当比率未截断（ $\bar\rho=\bar c=\infty$ ）且 $\lambda=1$ 时，公式 (11) 恢复精确的多步目标策略 Bellman 备份；当数据为同策略（ $\rho_k\equiv 1$ ）时，它直接退化为同步 LLM PPO 中广泛使用的标准 $\mathrm{GAE}(\gamma,\lambda)$ 价值目标 [2]。关键在于，每个单步比率 $\rho_k$ 仍然可以根据采样动作 $a_k$ 时记录的那一条行为概率计算，不需要历史 Critic 集成。

5. Actor–Critic 集成

现在我们有两种互补机制，分别处理不同来源的离策略误差：

Actor Score Centering 消除离策略 Actor 更新中由基线引起的漂移。
版本中心化 Critic 校正 使 Critic 的 Bellman 目标与当前策略对齐。

这两种机制可以自然地组合在异步 Actor–Critic 架构中。

5.1 一步 Actor–Critic 更新

假设 Critic 已经学到 $V^\pi$ 的近似，定义单步 TD 优势

\hat A_t^{\mathrm{TD}} = r_t+\gamma V_\phi(s_{t+1})-V_\phi(s_t).

使用精确的动作级重要性加权时，状态 $s$ 处的 Actor 更新期望为

g_{\mathrm{actor}}(s) = \mathbb E_\mu[ \rho_t\hat A_t^{\mathrm{TD}} u_\theta(s_t,a_t) \mid s_t=s ].

如果 $V_\phi=V^\pi$ ，则 $\mathbb E[r_t+\gamma V_\phi(s_{t+1})\mid s_t=s,a_t=a] = Q^\pi(s,a)$ ，因此

\begin{aligned} g_{\mathrm{actor}}(s) &= \mathbb E_{a\sim\pi(\cdot\mid s)} [ (Q^\pi(s,a)-V^\pi(s)) u_\theta(s,a) ]\\ &= \mathbb E_{a\sim\pi(\cdot\mid s)} [ Q^\pi(s,a)u_\theta(s,a) ]. \end{aligned}

于是，

\boxed{ V_\phi=V^\pi \quad\Longrightarrow\quad g_{\mathrm{actor}}(s) = \mathbb E_\pi[ Q^\pi(s,a)u_\theta(s,a) \mid s]. } \tag{12}

公式 (12) 恢复了 $\pi$ 精确的逐状态策略梯度贡献。这比仅仅消除基线漂移更强：目标策略 Critic 用当前策略后续价值的自举估计，替代了旧策略下采集的未来回报，直接处理了 Score Centering 无法解决的未来策略错配。（如第 7 节所述，它仍然不会对离策略的状态访问分布重新加权，而且 PPO 裁剪和 Critic 逼近误差也会引入额外偏差。）

5.2 对偶关系与信息需求

令 $w(s,a)$ 为 token 级裁剪或掩码权重，例如截断重要性采样或 SAO [5] 使用的双侧掩码。定义加权 Score 在行为策略下的均值

m_w(s)= \mathbb E_\mu[ w(s,a)u_\theta(s,a) \mid s],

则状态 $s$ 处经过 Score Centering 的 Actor 更新可以写为

\boxed{ g_{\mathrm{actor}}^{\mathrm{SC}}(s) = \mathbb E_\mu\big[ \hat A_t \big( w_tu_\theta(s_t,a_t)-m_w(s_t) \big) \,\big|\, s_t=s\big]. } \tag{13}

对于 $\hat A_t$ 中任何仅依赖状态的基线，减去 $m_w(s_t)$ 都可以消除基线引起的漂移，只留下权重裁剪和近似自举价值带来的偏差。

将公式 (13) 与第 4.2 节的裁剪 Critic 目标比较，可以看到清晰的数学对偶关系和明确的计算区别：

Actor 与 Critic 中心化的对偶。 在裁剪权重 $w(s,a)$ 下，Actor 通过减去 $m_w(s) = \mathbb E_\mu[w(s,a)u_\theta(s,a)\mid s]$ 来中心化向量值加权 Score $w(s,a)u_\theta(s,a)$ ；采用一般基线的 Critic 则通过减去 $Z(s) = \mathbb E_\mu[w(s,a)\mid s]$ 来中心化标量权重 $w(s,a)$ 。Critic 的中心化常数 $Z(s)$ 正是 Actor 中心化向量 $m_w(s)$ 在 $u_\theta \equiv 1$ 时的退化形式。
何时一条对数概率记录就足够，何时需要完整的行为分布统计。 由于 $m_w(s)$ $m_{w} (s)$ 和 $Z(s)$ $Z (s)$ 都是行为分布 $\mu(\cdot\mid s)$ $μ (\cdot ∣ s)$ 下的期望，在使用裁剪权重时，二者都无法仅凭采样动作的概率求值。对于 LLM，估计其中任意一个量都需要行为分布的汇总统计，例如 top- $k$ $k$ 采样器对数概率配合尾部建模 [6]。
- 轻量级情形（ $b = \bar V$ 或未裁剪的 $\rho$ ）。 当 Critic 使用标准 TD 基线 $b(s)=\bar V(s)$ （公式 8 和 10）时，控制变量项 $(w_t - Z(s_t))(b(s_t) - \bar V(s_t))$ 恒为零；类似地，当权重未裁剪（ $w_t=\rho_t$ ）时， $Z(s)=1$ 是已知的解析值。在这两种情况下，Critic 校正只需要采样动作所记录的那一条对数概率 $\log\mu_i(a_t\mid s_t)$ ，即使训练管线没有为 Actor Score Centering 记录 top- $k$ 分布统计，也可以部署。
- 一般控制变量情形（ $b \neq \bar V$ 且使用裁剪）。 一旦将学习得到的控制变量基线 $b_\psi(s)\neq \bar V(s)$ 与裁剪权重 $w_t$ 结合，正确的 Critic 中心化就需要估计 $Z(s)=\mathbb E_\mu[w\mid s]$ ，这需要与 Actor Score Centering 中 $m_w(s)$ 完全相同类型的行为分布信息。方便的是，如果系统已经为 Actor Score Centering 记录了 top- $k$ 采样器对数概率，就可以直接利用这些同样的统计量计算 $Z(s)$ ，几乎不增加额外开销。

6. 训练流程

VCCC 的实际实现维护一个可训练的 Critic $V_\phi$ （以及可选的分离梯度或缓慢更新的目标快照 $\bar V$ ），而不维护按历史 Actor 版本索引的 Critic。

Rollout 收集

对于每个生成的动作 token $a_t$ ，Rollout worker 记录状态前缀 $s_t$ 、动作 $a_t$ 、奖励 $r_t$ 、下一状态 $s_{t+1}$ 、实际采样对数概率 $\log\mu_{i_t}(a_t\mid s_t)$ 和行为策略版本 $i_t$ （如果启用裁剪的 Actor Score Centering 或以 $Z(s)$ 为中心的控制变量，还要记录 top- $k$ 采样器对数概率）。

在使用工具和智能体环境中，外部工具观测应被视为环境状态转移，而不是策略动作：重要性比只适用于模型生成的动作 token，不适用于环境提供的观测 token。

Critic 更新

在训练步骤 $k$ ，冻结当前 Actor 快照 $\pi_k$ 以计算重要性比。对于大小为 $B$ 的回放小批次中的每条转移 $t$ ：

在当前目标 Actor 下评估 $\log\pi_k(a_t\mid s_t)$ ，并结合记录的行为策略 $\mu_{i_t}$ 计算重要性比：
$\rho_t= \exp\left( \log\pi_k(a_t\mid s_t) - \log\mu_{i_t}(a_t\mid s_t) \right).$
评估分离梯度的目标价值 $\bar V(s_t)$ 和 $\bar V(s_{t+1})$ ，形成 TD 残差：
$\delta_t= r_t+\gamma\bar V(s_{t+1})-\bar V(s_t).$
构造校正后的价值目标。在 $b=\bar V$ 且可选裁剪权重 $w_t=\min(\rho_t,c)$ 的单步设定下，
$y_t= \bar V(s_t)+w_t\delta_t,$
或者，对于奖励稀疏的长时程轨迹，使用公式 (11) 计算多步 V-trace( $\lambda$ ) 目标 $v_t$ 。
通过最小化小批次上的均方误差更新 Critic：
$\mathcal L_V(\phi)= \frac{1}{B} \sum_{t=1}^{B} \left( V_\phi(s_t)-\operatorname{sg}[y_t] \right)^2.$

在数学形式化中，每次优化步骤之前计算分离梯度的目标 $\bar V$ 已足够；在函数逼近下，缓慢更新的 Polyak/EMA 目标网络可以进一步提高稳定性，同时不需要历史行为策略 Critic。

Actor 更新

使用更新后的目标策略 Critic $V_\phi$ 计算 token 级优势 $\hat A_t$ 。对于裁剪的 PPO 式更新，应用选定的 Actor 权重 $w_t^{\mathrm{actor}}$ ，并可选择按照公式 (13) 用 $m_w(s_t)$ 对加权 Score 进行中心化。注意，Actor 和 Critic 不必共享相同的裁剪阈值，因为二者的偏差–方差权衡不同。

为什么这一流程可扩展

在标准的 $b=\bar V$ 配置下，每条转移的额外开销很小：

每个采样动作 token 记录一条行为对数概率 $\log\mu_{i_t}(a_t\mid s_t)$ 。
计算一次当前策略对数概率 $\log\pi_k(a_t\mid s_t)$ （在 Actor 前向传播中本来就会计算）。
评估当前状态和下一状态的价值。

系统从不需要重新加载历史 Actor checkpoint，也不维护版本专用 Critic 的集成。回放缓冲区中的每条转移——无论由哪个策略版本生成——都用于估计同一个当前策略 Bellman 算子 $\mathcal T_{\pi_k}$ 的不动点。

7. 局限性

虽然 Bellman 协方差恒等式保证了在标准假设下，未裁剪单步目标的条件无偏性，但实际表现仍受以下几个问题影响。

当当前策略为陈旧行为策略很少采样的动作分配较高概率时，重要性比 $\rho_t$ 会呈重尾，使估计量虽然无偏却具有难以接受的方差。截断可以控制这种方差，但代价是将目标变为替代策略 $\widetilde\pi$ ，而不是 $\pi_k$ 。近期实证结果表明，即使 Actor 漂移已经消除，较大的训练器–采样器 KL 距离仍会损害异步 RL [7]；与此一致，实际实现应监控重要性比尾部、有效样本量（ESS）和随版本变化的裁剪率。

动作级重要性加权校正的是回放缓冲区中已有状态上的条件动作分布，但无法凭空产生 $\pi_k$ 会访问、而历史策略 $\mu_i$ 从未到达的状态观测。因此，VCCC 并不能消除状态访问分布偏移，也不能替代探索；充分的状态覆盖和 Critic 泛化能力仍然必要。

重要性采样恒等式要求 $\pi_k(a\mid s)>0 \implies \mu_i(a\mid s)>0$ 。Rollout 收集期间激进的 top- $k$ 、top- $p$ （nucleus）、硬 token 掩码或贪心解码都可能违反这一支撑集条件：如果 $\mu_i(a\mid s)=0$ 而 $\pi_k(a\mid s)>0$ ，就无法仅从行为样本中识别出精确的 Bellman 校正。此外，记录的概率 $\mu_i(a_t\mid s_t)$ 必须反映实际采样分布（包括温度和任何 logits 后处理）；记录未经转换的原始 logits 会使重要性比失效。

Bellman 条件恒等式针对固定的目标快照 $\pi_k$ 和冻结的自举函数 $\bar V$ 成立。然而在深度 RL 中， $\pi_k$ 会持续演化， $V_\phi$ 则是通过离策略回放上的自举半梯度训练的神经网络——这正属于经典的“致命三元组”（deadly triad）。目标网络更新频率、Critic 更新频率、回放缓冲区陈旧性上界和 Actor 学习率，仍然是稳定收敛的关键。

在长思维链推理或多轮智能体轨迹中，非零奖励只在终止时出现，纯单步 TD 需要经过数千个 token 才能缓慢传播信用。多步 V-trace( $\lambda$ ) 目标（第 4.4 节）可以加速传播，但会重新引入跨步骤的截断比率乘积。如何调整时域长度和截断阈值 $(\bar\rho, \bar c, \lambda)$ ，是一个重要的实证设计问题。

裁剪的 Actor Score Centering（通过 $m_w(s)$ ）和裁剪的一般基线 Critic Centering（通过 $Z(s)$ ）都依赖在 $\mu$ 下对整个动作词表求期望。当通过 top- $k$ 记录概率和尾部模型 [6] 近似时，仍然会残留逼近误差，应与 Bellman 目标误差分开跟踪。

8. 相关工作

VCCC 综合了强化学习中几条研究路线的思想：

PPO 和 GAE [1, 2]。 PPO 建立了裁剪的 Actor–Critic 框架，GAE 则将多步 TD 优势估计中的偏差–方差权衡形式化。
IMPALA 和 V-trace [3]。 IMPALA 直接使用重要性加权 TD 残差和截断迹系数，处理分布式 Actor 与 Learner 之间的策略滞后。我们采用 $b(s)=\bar V(s)$ 的单步目标会恢复重要性加权 TD，第 4.4 节则采用 V-trace 进行多步信用分配。
Score Centering 与离策略漂移 [6, 7]。 Marek 和 Ryabinin [6] 表明，采样器–训练器不匹配会产生与 $m_\mu(s)$ 成比例的持续 Actor 梯度漂移，并通过条件 Score Centering 消除它。Liu、Fang 和 Agarwal [7] 进一步将异步离策略误差分解为漂移和训练器–采样器策略距离。我们的分析将同样的条件中心化视角应用于 Critic，说明 Actor Score Centering 为什么无法修复陈旧的自举目标，并建立 Actor Score Centering（ $m_w(s)=\mathbb E_\mu[wu_\theta\mid s]$ ）与裁剪 Critic 权重中心化（ $Z(s)=\mathbb E_\mu[w\mid s]$ ）之间的精确对偶。
SAO [5]。 当无法使用分组 GRPO 基线时，Single-Rollout Asynchronous Optimization 强调了价值模型在异步智能体 LLM RL 中的核心作用，并提出双侧 token 级比率掩码和高频 Critic 更新。VCCC 与 SAO 互补：它确保 Critic 的统计目标本身与当前策略对齐，而不是与历史回放混合分布对齐。
控制变量与双重稳健评估 [4]。 离策略评估方法使用价值预测作为控制变量，以降低重要性采样方差。公式 (4) 的中心化估计量是重要性加权 TD 的一种状态依赖控制变量形式，不同于需要动作价值模型 $\hat Q(s,a)$ 的完整动作依赖双重稳健估计量。

我们的重点是将这些原则整合为一种版本无关的训练设计，用单个目标策略 Critic 处理任意多个历史行为策略。

9. 结论

异步强化学习引入了两种不同形式的策略陈旧性：

Actor 陈旧性： 策略梯度在由旧行为策略采样的动作上求值。
Critic 陈旧性： 价值目标由未来后续轨迹遵循旧行为策略的数据构造。

这两个问题相互作用，但并不能相互替代。Score Centering 消除了基线引起的 Actor 梯度漂移，却无法让在陈旧回报上训练的 Critic 估计当前策略的价值函数。与此同时，为每个历史 Actor checkpoint 维护单独的 Critic，既无法扩展，也不符合估计当前策略优势的目标。

因此，我们围绕一个单一原则构建版本中心化 Critic 校正（VCCC）：无论由哪个历史 Actor 生成，每条陈旧转移都应为学习同一个当前策略 Bellman 算子做出贡献。

在标准的 $b(s)=\bar V(s)$ 形式下，精确的单步目标为

\boxed{ Y_t= \bar V(s_t)+ \frac{\pi_k(a_t\mid s_t)} {\mu_i(a_t\mid s_t)} \left[ r_t+\gamma\bar V(s_{t+1})-\bar V(s_t) \right], }

它在任何有效行为版本 $\mu_i$ 下的条件期望都是

\boxed{ \mathbb E_{\mu_i}[Y_t\mid s_t=s] = \mathcal T_{\pi_k}\bar V(s). }

该目标不受历史行为策略版本影响；当 $b=\bar V$ 时，只需要采样动作所记录的概率；扩展到一般基线和裁剪权重时，又与 Actor Score Centering 呈现精确的数学对偶。剩下的挑战是实践而非代数问题：通过 V-trace 截断控制重要性比方差、保持状态覆盖，以及在目标策略演化时稳定自举。将 Score-Centered Actor Optimization 与 Policy-Consistent Critic Learning 相结合，为同时解决异步 Actor–Critic 问题的两个方面提供了统一基础。

参考文献

Schulman et al. (2017). Proximal Policy Optimization Algorithms ↗.
Schulman et al. (2015). High-Dimensional Continuous Control Using Generalized Advantage Estimation ↗.
Espeholt et al. (2018). IMPALA: Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures ↗.
Jiang and Li (2016). Doubly Robust Off-policy Value Evaluation for Reinforcement Learning ↗.
Hou et al. (2026). Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning ↗.
Marek and Ryabinin (2026). Score Centering Stabilizes Off-policy Reinforcement Learning ↗.
Liu, Fang, and Agarwal (2026). Drift and Distance: When Is Score Centering Enough in Async RL? ↗.

引用格式

如果引用本文，请使用以下格式：

Hanning Wang. “异步 PPO 中另一个陈旧性问题.” TheUnknownBlog, 2026 年 11 月 11 日. https://theunknownth.ing/blog/vccc/zh ↗.

@misc{theunknownthing2026staleness,
  author = {Hanning Wang},
  title = {异步 PPO 中另一个陈旧性问题},
  year = {2026},
  month = nov,
  url = {https://theunknownth.ing/blog/vccc/zh},
  note = {TheUnknownBlog, blog post}
}

bibtex