論文の概要: COPC: Coupled Off-Policy Correction for Asynchronous LLM Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.09597v1
• Date: Wed, 07 Oct 2026 07:43:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.77817
• Title: COPC: Coupled Off-Policy Correction for Asynchronous LLM Reinforcement Learning
• Title（参考訳）: COPC: Asynchronous LLM Reinforcement LearningのためのOff-Policy Correctionの結合
• Abstract要約: 非同期RLは、最適化からロールアウト生成を分離することで、大規模な言語モデルの後処理を高速化するが、古い軌道で訓練する。 既存の手法は主にアクター目標における重要度制御を通じてトークンレベルのポリシーミスマッチを補正する。 優位な推定法は、行動と政治の継続によるミスマッチも受け継いでおり、これは不便さを重んじるものである。 トークンレベル比マスキングとTD残差の両面クリッピング比重み付けを組み合わせたアクタ批判手法である Coupled Off-Policy Correction (COPC) を導入する。
• 参考スコア（独自算出の注目度）: 27.653935287434773
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Asynchronous RL accelerates large language model post-training by decoupling rollout generation from optimization, but trains on stale trajectories. Existing methods primarily correct token-level policy mismatch through importance-ratio control in the actor objective. We show that this \emph{policy-side correction} alone is insufficient: advantage estimates also inherit mismatch from behavior-policy continuations, which we term \emph{advantage staleness}. We derive exact bias and variance decompositions for a general two-channel actor update, revealing nonseparable coupling between policy-weight and advantage-estimation errors: their interaction induces multiplicative bias terms, while squared policy weights amplify advantage uncertainty in gradient variance. This motivates the hypothesis that policy- and advantage-side correction should be coordinated. We introduce Coupled Off-Policy Correction (COPC), an actor--critic method combining token-level ratio masking with two-sided clipped-ratio weighting of TD residuals for return and advantage estimation. Joint parameter sweeps across staleness levels support this hypothesis: the effect of one correction parameter depends on, and can reverse with, the other. COPC achieves the highest reported performance on tool-integrated mathematical reasoning and search, outperforming the strongest reported asynchronous baseline in each setting. It also offers a broad high-performing parameter region and improved training stability. In search, COPC remains stable throughout training, while most evaluated asynchronous baselines collapse late in training. These gains persist at 64-step policy staleness. COPC adds minimal step-time overhead over asynchronous PPO and retains a $1.7\times$ step-time speedup over synchronous PPO.
• Abstract（参考訳）: 非同期RLは、最適化からロールアウト生成を分離することで、大規模な言語モデルの後処理を高速化するが、古い軌道で訓練する。 既存の手法は主にアクター目標における重要度制御を通じてトークンレベルのポリシーミスマッチを補正する。 我々は、この「emph{policy-side correct}」だけでは不十分であることを示す: 有利な推定はまた、行動-政治継続からのミスマッチを継承し、これを「emph{advantage staleness}」と呼ぶ。 一般の2チャンネルアクター更新における正確なバイアスと分散分解を導出し、その相互作用は乗法バイアス項を誘導し、二乗ポリシー重みは勾配分散の利点の不確実性を増幅する。 このことは、ポリシーとアドバンテージ側の修正をコーディネートすべきという仮説を動機付けている。 本稿では,トークンレベル比マスキングとTD残差の両面クリッピング比重み付けを組み合わせたアクタ批判手法であるCoupled Off-Policy Correction (COPC)を紹介する。 1つの補正パラメータの効果は、もう1つの修正パラメータに依存し、もう1つの修正パラメータに逆らうことができる。 COPCは、ツール統合された数学的推論と探索において最も高い報告性能を達成し、各設定において最も高い報告された非同期ベースラインを上回っている。 また、幅広い高性能パラメーター領域を提供し、トレーニングの安定性を改善している。 検索では、COPCはトレーニング期間を通して安定しているが、ほとんどの評価された非同期ベースラインはトレーニングの後半に崩壊する。 これらの利得は64段階の政策安定度で持続する。 COPCは非同期PPOよりも最小のステップタイムオーバーヘッドを追加し、同期PPOよりも1.7\times$ステップタイムスピードアップを保持する。

関連論文リスト

• Asynchronous LLM Post-Training: Group-Mass Capping and Convergence Analysis [59.80039032720308]
  非同期強化学習(RL)は、大規模言語モデルの訓練後の効率を改善するが、以前のポリシーによって生成された古いロールアウトを導入する。 勾配推定器の第2モーメントとバイアスのトレードオフを特徴付けるGRPO型アルゴリズムの収束バウンダリを導出する。 重み付き推定器のクラス内における比に基づくバイアスを最小化するグループマスキャッピングGRPO(GMC-GRPO)法を提案する。
  論文  参考訳（メタデータ） (2026-10-01T15:45:08Z)
• Deconstructing Off-Policy Ratios: Entropy-Scaled Trust Regions for Asynchronous Reinforcement Learning [6.667218294299622]
  非同期強化学習(RL)は、ポリシー最適化と重複するロールアウト生成によって、大規模言語モデル(LLM)の訓練後を加速する。 既存の方法では、トークンの重要度のみに基づいてトークンを保管または廃棄するのが一般的である。 本研究では,各トークンの局所的なエントロピーによるオフ・ポリティクスの偏差を拡大するエントロピー・スケール・トラスト・リージョン(ESTR)を提案する。
  論文  参考訳（メタデータ） (2026-07-24T10:55:42Z)
• Joint Training of Multi-Token Prediction in Reinforcement Learning via Optimal Coefficient Calibration [61.46060073417047]
  MTP(Multi-Token Prediction)は、事前トレーニングにおいて広く採用されているモジュールである。 RL目標に対するMPPの段差効果は,第1次相関と第2次ペナルティの2つの項に分解できることを示す。 本稿では,ログ確率プロキシを用いて最適係数を無視可能なコストでオンラインで追跡する適応型手法を提案する。
  論文  参考訳（メタデータ） (2026-05-27T09:07:06Z)
• Missing Old Logits in Asynchronous Agentic RL: Semantic Mismatch and Repair Methods for Off-Policy Correction [27.34307252485658]
  更新の遅れや部分的なロールアウトを伴う実用的なパイプラインでは,必要なトレーニング側ロジットが失われることがよくあります。 この欠落したログ問題により、不一致の修復が不安定な修正で絡み合い、クリッピングやマスキングのしきい値が好ましくない相互作用をする。 我々は、スナップショットベースのバージョントラッキング、専用の古ログモデル、部分的なロールアウト中断による同期の3つの正確な古ログ取得戦略を提案する。
  論文  参考訳（メタデータ） (2026-05-12T12:57:55Z)
• Rethinking Importance Sampling in LLM Policy Optimization: A Cumulative Token Perspective [22.848847562976633]
  トークンレベルのIS比は、PPOとGRPOが採用しているように、プレフィックス状態の分布ミスマッチを無視してバイアスを導入する。 我々は、累積トークンIS比と、累積対数比の自然な$sqrtt$成長に応じて、対数空間のクリップ境界を拡大する位置適応クリッピングを組み合わせたCTPOを提案する。
  論文  参考訳（メタデータ） (2026-05-08T06:35:02Z)
• Unifying Stable Optimization and Reference Regularization in RLHF [64.16830602324345]
  本稿では、報酬ハッキングの防止と安定したポリシー更新の維持を目標とする統一正規化手法を提案する。 我々の単純で原則化されたアライメント目的は、監督された微調整の損失を軽減し、優れたトレードオフをもたらし、アライメント結果と実装の複雑さの両方を明らかに改善する。
  論文  参考訳（メタデータ） (2026-02-12T03:31:19Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• A Step Back: Prefix Importance Ratio Stabilizes Policy Optimization [58.116300485427764]
  強化学習のポストトレーニングは、大きな言語モデルにおける推論の振る舞いを引き出すことができる。 トークンレベルの補正は、オフポリシーネスの度合いが大きい場合、不安定なトレーニングダイナミクスにつながることが多い。 我々は,最小固定率 (MinPRO) を簡易かつ効果的に提案する。
  論文  参考訳（メタデータ） (2026-01-30T08:47:19Z)
• Relative Entropy Pathwise Policy Optimization [66.03329137921949]
  そこで本稿では,Q値モデルをオンライントラジェクトリから純粋に訓練するオンラインアルゴリズムを提案する。 安定トレーニングのための制約付き更新と探索のためのポリシを組み合わせる方法を示し、価値関数学習を安定化させる重要なアーキテクチャコンポーネントを評価する。
  論文  参考訳（メタデータ） (2025-07-15T06:24:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。