論文の概要: When KL Regularization Misfires in Group Policy Optimization

• arxiv url: http://arxiv.org/abs/2610.12161v1
• Date: Thu, 08 Oct 2026 15:39:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.122934
• Title: When KL Regularization Misfires in Group Policy Optimization
• Title（参考訳）: グループ政策最適化におけるKL正規化の失敗
• Abstract要約: 我々は、KLと報酬の相互作用における7つの潜在的な障害モードを分析する。 条件付きKLで測定された相対的ドリフトを用いて群内報酬係数を補正するゼロサム校正政策最適化(ZCPO)を提案する。
• 参考スコア（独自算出の注目度）: 2.7787094635105185
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Why does removing reference-policy KL regularization sometimes improve group policy optimization? This motivates studying how reference-policy information should enter group-relative updates. We analyze seven potential failure modes in the interactions between KL and rewards: residual KL updates after reward clipping, after gradient cancellation, and in groups with identical rewards; KL growth with response length and an imbalance in its relative contribution; KL concentration on a small number of tokens; and sampling noise when k1 is incorporated into rewards. We propose Zero-Sum Calibrated Policy Optimization (ZCPO), which uses relative drift measured by conditional KL to calibrate within-group reward coefficients and integrates them into the base surrogate. Mathematical reasoning experiments and ablations support this design's effectiveness in our settings.
• Abstract（参考訳）: なぜ参照ポリティクスKLの正規化がグループポリシーの最適化を改善するのか? これは、参照ポリシー情報がグループ関係の更新にどのように入るべきかを研究する動機である。 我々は,KLと報酬の相互作用における7つの潜在的な障害モードを解析した。報酬切り抜き後の残留KL更新,勾配キャンセル後の同一報酬群,応答長と相対寄与の不均衡を有するKL成長,少量のトークンに対するKL濃度,k1を報酬に組み込んだ場合のサンプリングノイズなどである。 我々は,条件付きKLで測定された相対的ドリフトを用いて群内報酬係数をキャリブレーションし,それらをベースサロゲートに統合するゼロサム校正政策最適化(ZCPO)を提案する。 数学的推論実験とアブレーションは、我々の設定におけるこの設計の有効性を支持する。

関連論文リスト

• On KL-Regularized Policy Optimization [9.910562011343009]
  大規模言語モデル(LLM)エージェントのための非同期強化学習(RL)は、他者が生成したトラジェクトリに対して1つのポリシーを訓練する。 標準修正では、更新をバイアスするクリップ重要度比、あるいはGRPOのように、プロンプト毎にレスポンスのグループをサンプリングする。 我々は,KL正規化器をサンプリング器に固定するKLPO(KL-Regularized Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2026-10-06T18:30:42Z)
• Toward Plasticity-Preserving KL Regularization for Capability Retention in LLM Reinforcement Learning [43.981833556858135]
  完全出力分布から正当性条件付き応答分布への保存制約を狭める条件正規化フレームワークを提案する。 CoKLは,既存の正規化手法よりも目標タスク改善と事前能力維持のバランスが良好である。
  論文  参考訳（メタデータ） (2026-08-03T06:10:33Z)
• RL Forgets! Towards Continual Policy Optimization [57.4336338996653]
  継続的なポストトレーニングは、進化するタスクに視覚言語モデルを適用するための中心的なパラダイムになりつつある。 最近の研究は、強化学習が本質的に忘れやすいという信念から、教師付き微調整よりも強化学習を好んでいる。 我々は,事前タスク動作KL目標に基づくリプレイフリーフレームワークである継続ポリシー最適化(CPO)を提案する。
  論文  参考訳（メタデータ） (2026-07-05T15:46:11Z)
• Breaking $\textit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning [53.42577591449649]
  グループ協力政策最適化は、トレーニングパラダイムをロールアウト競争からチーム協力へとシフトさせる。 GCPOは独立したロールアウトスコアをチームレベルのクレジット割り当てに置き換える。 チームへの平均的な限界貢献に従って、各ロールアウトに対して、グループチームの報酬を再分配する。
  論文  参考訳（メタデータ） (2026-05-12T03:20:24Z)
• Well-Posed KL-Regularized Control via Wasserstein and Kalman-Wasserstein KL Divergences [0.0]
  Kullback-Leibler divergence (KL) 正規化は強化学習において広く用いられているが、サポートミスマッチの下で無限となり、低雑音域で縮退する。 我々は、KLの動的定式化におけるフィッシャー・ラオ幾何を輸送的特異点に置き換えることで、(カルマン)-ワッサーシュタイン-KL類似体を導入する。 KL正規化最適制御におけるこれらの分散性の有用性を実証する。
  論文  参考訳（メタデータ） (2026-02-02T15:57:32Z)
• On the Design of KL-Regularized Policy Gradient Algorithms for LLM Reasoning [59.11784194183928]
  政策勾配アルゴリズムは大規模言語モデル(LLM)の推論能力の向上に成功している。 規則化されたポリシーグラディエント(RPG)ビューは、広く使われている$k_3$ペナルティが、正確には非正規化されたKLであることを示している。 RPG-REINFORCE with RPG-Style Clipは、DAPOよりも最大6ドル以上の絶対パーセンテージポイントの精度を向上させる。
  論文  参考訳（メタデータ） (2025-05-23T06:01:21Z)
• WARP: On the Benefits of Weight Averaged Rewarded Policies [66.95013068137115]
  ウェイトアベレード・リワード・ポリシー(WARP)という新しいアライメント戦略を導入する。 WARPは重量空間のポリシーを3つの異なる段階でマージする。 GEMMAポリシによる実験では、WARPが品質とアライメントを改善し、他のオープンソースLLMよりも優れています。
  論文  参考訳（メタデータ） (2024-06-24T16:24:34Z)
• Decoupled Kullback-Leibler Divergence Loss [90.54331083430597]
  我々は、クルバック・リブラー(KL)の除算損失がデカップリングカルバック・リブラー(DKL)の除算損失と等価であることを証明した。 我々はKL/DKLにクラスワイドなグローバル情報を導入し、個々のサンプルからバイアスを取ります。 提案手法は,新たな最先端の対人ロバスト性を公衆のリーダーボード上で実現する。
  論文  参考訳（メタデータ） (2023-05-23T11:17:45Z)
• Greedification Operators for Policy Optimization: Investigating Forward and Reverse KL Divergences [33.471102483095315]
  パラメータ化ポリシとボルツマン分布のKL分散を作用値上で低減する際の近似グリード化について検討する。 逆KLは、より強力な政策改善保証を有するが、前方KLの削減は、より悪い政策をもたらす可能性があることを示す。 離散アクション設定やベンチマーク問題に有意な差は見られなかった。
  論文  参考訳（メタデータ） (2021-07-17T17:09:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。