論文の概要: Gibbs-Gap Policy Optimization for Off-Policy RL with Verifiable Rewards

• arxiv url: http://arxiv.org/abs/2610.20814v1
• Date: Wed, 14 Oct 2026 18:59:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.02887
• Title: Gibbs-Gap Policy Optimization for Off-Policy RL with Verifiable Rewards
• Title（参考訳）: 検証可能なリワード付きオフポリティRLのギブズ・ギャップポリシ最適化
• Abstract要約: 検証可能な報酬を伴う強化学習は、しばしば異なる、おそらく古い行動ポリシーによって生成された反応に基づいて言語モデルを訓練する。 我々は,同じプロンプトに対する応答において,KL-報酬の対数平均コントラストを最小化するGibs-Gap Policy Optimization (GGPO)を導入する。 我々は,Gibs-target合成による参照リフレッシュと,局所参照制御とトークンワイズ動作ミスマッチに縛られた有限データファイナルポリシー報酬を特徴付ける。
• 参考スコア（独自算出の注目度）: 12.027556610163595
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards often trains language models on responses generated by a different, possibly stale behavior policy. Correcting this mismatch with learner-to-behavior importance weights can introduce high variance for long responses. We introduce Gibbs-Gap Policy Optimization (GGPO), which minimizes a log-mean-exp contrast of KL-adjusted rewards among responses to the same prompt, without learner-to-behavior importance weights. We derive GGPO from KL-regularized policy optimization: on policy, its population loss is exactly the KL-regularized optimality gap, and under suitable coverage the learner's single-response expected reward is at least the behavior policy's best-of-$K$ reward, minus terms for the raw finite-group loss, regularization, and finite training data. We characterize reference refresh through exact Gibbs-target composition and a finite-data final-policy reward bound under local reference control and tokenwise behavior mismatch. This refresh is empirically important: in an ablation, fixed-reference GGPO scores $32.96$ on the five-benchmark problem-weighted average, versus $46.58$ with the default refresh schedule. Experiments on mathematical reasoning further show that GGPO outperforms GRPO and AGRO under training-inference mismatch and on fixed offline data, while maintaining its performance as controlled policy staleness grows.
• Abstract（参考訳）: 検証可能な報酬を伴う強化学習は、しばしば異なる、おそらく古い行動ポリシーによって生成された反応に基づいて言語モデルを訓練する。 このミスマッチを学習者から行動的重要性の重みで修正することは、長い応答に対して高いばらつきをもたらす可能性がある。 我々は,学習者から行動的重要性の重みを伴わずに,同じプロンプトに対するKL調整報酬の対数平均比較を最小化するGibs-Gap Policy Optimization (GGPO)を導入する。 政策では、その人口減少は、正確にはKL正規化された最適性ギャップであり、適切なカバレッジの下では、学習者の単一応答型報酬は、少なくとも行動ポリシーのベスト・オブ・K$報酬、生の有限群損失、正規化、有限トレーニングデータである。 我々は,Gibs-target合成による参照リフレッシュと,局所参照制御とトークンワイズ動作ミスマッチに縛られた有限データファイナルポリシー報酬を特徴付ける。 このリフレッシュは実証的に重要である: アブレーションでは、固定参照GGPOは5ベンチマーク問題重み付き平均で32.96ドル、デフォルトのリフレッシュスケジュールでは46.58ドルである。 数学的推論の実験は、GGPOがGRPOとAGROをトレーニング・推論ミスマッチや固定されたオフラインデータで上回り、制御されたポリシーの安定度が増大するにつれてその性能が維持されることを示している。

関連論文リスト

• Enabling Token-wise Importance Sampling in Off-Policy RLVR with Proximal KL Regularization [16.831483669051767]
  検証可能な報酬を伴う強化学習におけるオフポリシーデータは、非同期生成、ロールアウトトレーニングミスマッチ、レスポンス再利用から生じる可能性がある。 我々は、将来のKLクレジットが、フルレスポンスウェイトや適切な批評家なしで、古いポリシーの混合であっても、正確な定常ポリシーを成すことを証明している。 我々は,近位基準とサンプリングポリシを分離し,PPOクリッピングを将来のKLクレジットに置き換える,実用的なオフポリチックなRLVR手法である Proximal KL を動機付けている。
  論文  参考訳（メタデータ） (2026-10-13T17:09:23Z)
• ReSPO: Reshaped Sequence Policy Optimization for Gradient Starvation in Off-Policy Learning [53.48426046511836]
  検証可能な報酬(RLVR)からの強化学習は、複数のポリシー更新のロールアウトを頻繁に再利用する。 本稿では,クリッピングをスムーズな2分岐シーケンスレベルカーネルに置き換えるReSPO(Reshaped Sequence Policy Optimization)を提案する。 本研究では,ReSPO が早期訓練中に長い肯定的推論軌道から効果的に学習できることを実証する。
  論文  参考訳（メタデータ） (2026-09-28T15:38:29Z)
• VIMPO: Value-Implicit Policy Optimization for LLMs [106.88933849641272]
  GRPOのようなグループ相対的手法は、批評家の訓練を避けるが、典型的には全てのトークンに軌道レベルの利点を割り当てる。 アクター批判的手法は、より密集した学習信号を提供するが、学習価値関数を自身のトレーニング不安定性で要求する。 本稿では,KL-正規化強化学習の最適条件からポリシ実装値関数を導出する,批判のないポリシ最適化手法であるVIMPOを紹介する。
  論文  参考訳（メタデータ） (2026-06-18T09:44:12Z)
• Ratio-Variance Regularized Policy Optimization [64.95520246570446]
  ポリシ比の分散を明示的に制約することは、信頼領域の制約に対する原則的な局所近似をもたらすことを示す。 本稿では,この制約を実装したR2bf VPO$(Ratio-Variance Regularized Policy Optimization)を紹介する。
  論文  参考訳（メタデータ） (2026-05-26T09:53:42Z)
• One-Way Policy Optimization for Self-Evolving LLMs [63.8638342097375]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLMs)の推論能力を拡張するための,有望なパラダイムとなっている。 本稿では,最適化方向を更新等級から切り離す手法である1-Way Policy Optimization (OWPO)を提案する。 実験の結果,OWPOはDAPO,OPD,MOPDなどの強いベースラインより優れていた。
  論文  参考訳（メタデータ） (2026-05-21T08:25:27Z)
• Behaviour Policy Optimization: Provably Lower Variance Return Estimates for Off-Policy Reinforcement Learning [52.97053840476386]
  我々は、よく設計された行動ポリシーを用いて、分散リターン推定を確実に低くするために、政治外のデータを収集できることを示します。 我々は、この重要な洞察を、政策評価と改善の両方がインターリーブされるオンライン強化学習環境に拡張する。
  論文  参考訳（メタデータ） (2025-11-13T23:06:40Z)
• Mind the Gap: Data Rewriting for Stable Off-Policy Supervised Fine-Tuning [33.899779762210976]
  大規模言語モデルの教師付き微調整(SFT)は、非政治的な学習問題と見なすことができる。 既存の方法では、ギャップを積極的に減らすのではなく、パッシブに更新するKLペナルティやクリッピングによってこの問題を軽減する。 本稿では,トレーニング前の政策ギャップを積極的に縮小する,シンプルで効果的なデータ書き換えフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-18T17:02:30Z)
• Reinforcement Learning with Verifiable Rewards: GRPO's Effective Loss, Dynamics, and Success Amplification [10.617854230082896]
  グループ相対政策最適化は、検証可能な(バイナリ)報酬の下でLLMの推論を促進するために最近導入された。 我々は、報酬正規化(平均のみ対平均+分散)とKL分散を用いた更新の正則化の仕方が異なる変種を解析する。
  論文  参考訳（メタデータ） (2025-03-09T14:36:45Z)
• Lean and Mean: Decoupled Value Policy Optimization with Global Value Guidance [52.65461207786633]
  政策に基づく人間からのフィードバックからの強化学習は、大きな言語モデルと人間の嗜好の整合に不可欠である。 俳優と批評家の合同トレーニングと、事前訓練された一定の報酬モデルによる指導が必要である。 従来の報酬モデリングを事前訓練されたEmphglobal Value Model(GVM)に置き換えるリーンフレームワークである textbfDecoupled Value Policy Optimization (DVPO) を提案する。
  論文  参考訳（メタデータ） (2025-02-24T08:11:33Z)
• BRAC+: Improved Behavior Regularized Actor Critic for Offline Reinforcement Learning [14.432131909590824]
  オフライン強化学習は、以前に収集したデータセットを使用して効果的なポリシーをトレーニングすることを目的としている。 標準的なオフ・ポリティクスRLアルゴリズムは、アウト・オブ・ディストリビューション(探索されていない)アクションの値を過大評価する傾向がある。 動作の規則化によるオフライン強化学習を改善し,BRAC+を提案する。
  論文  参考訳（メタデータ） (2021-10-02T23:55:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。