Fugu-MT 論文翻訳(概要): Asynchronous LLM Post-Training: Group-Mass Capping and Convergence Analysis

論文の概要: Asynchronous LLM Post-Training: Group-Mass Capping and Convergence Analysis

arxiv url: http://arxiv.org/abs/2610.01896v1
Date: Thu, 01 Oct 2026 15:45:08 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-03 01:19:24.232749
Title: Asynchronous LLM Post-Training: Group-Mass Capping and Convergence Analysis
Title（参考訳）: Asynchronous LLM after-Training: Group-Mass Capping and Convergence Analysis
Abstract要約: 非同期強化学習(RL)は、大規模言語モデルの訓練後の効率を改善するが、以前のポリシーによって生成された古いロールアウトを導入する。勾配推定器の第2モーメントとバイアスのトレードオフを特徴付けるGRPO型アルゴリズムの収束バウンダリを導出する。重み付き推定器のクラス内における比に基づくバイアスを最小化するグループマスキャッピングGRPO(GMC-GRPO)法を提案する。
参考スコア（独自算出の注目度）: 59.80039032720308
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Asynchronous reinforcement learning (RL) improves the efficiency of large language model post-training but introduces stale rollouts generated by earlier policies. Theoretical understanding of how this staleness affects convergence and how to mitigate its impact remains limited. We derive a convergence bound for GRPO-style algorithms that explicitly characterizes the tradeoff between the gradient estimator's second moment and bias. For trajectory-level importance-weighted estimators, our analysis shows that once the second moment is uniformly controlled, delay enters the bound through the bias introduced by clipping or rescaling. Guided by this insight, we propose a novel group mass capping GRPO (GMC-GRPO) method, which minimizes a ratio-based bias bound within a class of weighted estimators sharing a common second-moment guarantee. We establish convergence guarantees for asynchronous GMC-GRPO and show that, compared with TIC-GRPO, it improves the threshold dependence of the fourth-order delay term from $O(ε^{-4})$ to $O(ε^{-2})$ as $ε\to0$, where $1+ε$ is the ratio threshold. Under local policy overlap, the delay-dependent term decreases as $G^{-2/5}$ after tuning the step size, where $G$ is the group size. For fixed behavior and current policies, the bias introduced by group rescaling also vanishes as $G\to\infty$, whereas the bias from trajectory-wise clipping can persist. Experiments across Qwen3 models and reasoning benchmarks demonstrate improved robustness to stale rollouts, with GMC-GRPO achieving the best performance among stable baselines under large rollout delays.
Abstract（参考訳）: 非同期強化学習(RL)は、大規模言語モデルの訓練後の効率を改善するが、以前のポリシーによって生成された古いロールアウトを導入する。この安定度がどのように収束に影響を及ぼし、その影響を緩和するかに関する理論的理解は依然として限られている。我々は、勾配推定器の第2モーメントとバイアスの間のトレードオフを明示的に特徴付けるGRPO型アルゴリズムの収束境界を導出する。軌道レベルの重要度重み付け推定器の場合、第2モーメントが一様に制御されると、クリッピングや再スケーリングによって生じるバイアスによって遅延がバウンダリに入る。この知見に導かれて,重み付き推定器のクラス内における比に基づくバイアスを最小化し,共通の第2モーメント保証を共有するグループマスキャッピングGRPO(GMC-GRPO)法を提案する。我々は、非同期GMC-GRPOの収束保証を確立し、TIC-GRPOと比較して、4階遅延項のしきい値依存性を$O(ε^{-4})$から$O(ε^{-2})$に改善することを示す。ローカルポリシーの重複の下では、遅延依存項はステップサイズを調整した後に$G^{-2/5}$として減少し、そこで$G$はグループサイズである。固定的な振る舞いや現在のポリシーでは、グループ再スケーリングによってもたらされるバイアスは$G\to\infty$として消えるが、軌跡的なクリッピングからのバイアスは持続する。 Qwen3モデルと推論ベンチマークによる実験では、安定したロールアウトに対する堅牢性の向上が示され、GCC-GRPOは大規模なロールアウト遅延の下で安定したベースライン間で最高のパフォーマンスを達成した。

論文の概要: Asynchronous LLM Post-Training: Group-Mass Capping and Convergence Analysis

関連論文リスト