論文の概要: Enabling Token-wise Importance Sampling in Off-Policy RLVR with Proximal KL Regularization

• arxiv url: http://arxiv.org/abs/2610.18738v1
• Date: Tue, 13 Oct 2026 17:09:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:54:42.92823
• Title: Enabling Token-wise Importance Sampling in Off-Policy RLVR with Proximal KL Regularization
• Title（参考訳）: 近位KL正規化を用いたオフポリシィRLVRにおけるトークンワイド重要サンプリング
• Abstract要約: 検証可能な報酬を伴う強化学習におけるオフポリシーデータは、非同期生成、ロールアウトトレーニングミスマッチ、レスポンス再利用から生じる可能性がある。 我々は、将来のKLクレジットが、フルレスポンスウェイトや適切な批評家なしで、古いポリシーの混合であっても、正確な定常ポリシーを成すことを証明している。 我々は,近位基準とサンプリングポリシを分離し,PPOクリッピングを将来のKLクレジットに置き換える,実用的なオフポリチックなRLVR手法である Proximal KL を動機付けている。
• 参考スコア（独自算出の注目度）: 16.831483669051767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Off-policy data in reinforcement learning with verifiable rewards (RLVR) can arise from asynchronous generation, rollout-training mismatch, and response reuse. Token-wise importance weighting avoids multiplying likelihood ratios across a response but generally biases policy gradients. We prove that, under coverage and local expressiveness conditions, full future KL credit makes the exact proximal optimizer the update's unique stationary policy, even for mixtures of older policies, without full-response weights or a fitted critic. We further establish convergence of continuous-time tabular population updates under persistent coverage and time-varying behavior policies, and a finite-sample reward guarantee for linear logistic models under additional assumptions. These results motivate Proximal KL, a practical off-policy RLVR method that separates the proximal reference from the sampling policy and replaces PPO clipping with bounded future KL credit. Across all seven matched off-policy comparisons on Qwen3-1.7B and Qwen3-4B, spanning two learning rates, response reuse, and rollout staleness, Proximal KL outperforms GRPO in micro-averaged accuracy over eight math benchmarks by up to 2.58%. A separate on-policy comparison yields comparable aggregate accuracy. In periodic-refresh experiments, Proximal KL avoids the collapses observed in PG and CISPO, exceeds GRPO's training accuracy, and reaches higher accuracy in fewer policy updates. Ablations show that token-wise correction outperforms sequence-level and unweighted controls. With token-wise correction retained, future KL feedback reduces sensitivity to the tested baseline perturbation relative to PPO clipping. A finite future horizon improves AIME24 mean@16 and pass@16 over the full tail, while fixed-policy measurements show that truncation reduces correction variance over the tested horizons.
• Abstract（参考訳）: 検証可能な報酬(RLVR)を伴う強化学習におけるオフポリシーデータは、非同期生成、ロールアウトトレーニングミスマッチ、応答再利用から生じる可能性がある。 トークンの重要度重み付けは、応答にまたがる確率比の乗算を避けるが、概して政策勾配をバイアスする。 我々は、カバー範囲と局所表現性条件の下で、完全な将来のKLクレジットが、完全な応答重量や適切な批評家なしで、古いポリシーが混在している場合でも、更新のユニークな定常ポリシーを正確な近性オプティマイザにしていることを証明した。 さらに、持続的カバレッジと時変行動ポリシーの下での連続時間表層更新の収束と、追加の仮定の下での線形ロジスティックモデルに対する有限サンプル報酬保証を確立する。 これらの結果から, 近位基準とサンプリングポリシを分離し, PPOクリッピングを将来のKLクレジットに置き換える, 実用的なオフポリティクスRLVR法である Proximal KL のモチベーションが得られた。 Qwen3-1.7B と Qwen3-4B の2つの学習率、応答再利用、ロールアウト安定度で一致した7つのオフポリティ比較で、 Proximal KL は8つの数学ベンチマークで平均2.58%の精度でGRPO を上回っている。 個別のオンライン比較は、同等の集計精度が得られる。 周期的更新実験では、 Proximal KL は PG と CISPO で観測される崩壊を避け、GRPO のトレーニング精度を超え、より少ないポリシー更新でより高い精度に達する。 アブレーションは、トークンワイド補正がシーケンスレベルとアンウェイトコントロールより優れていることを示している。 トークンワイズ補正の維持により、将来のKLフィードバックは、PPOクリッピングに対する試験ベースラインの摂動に対する感度を低下させる。 AIME24 mean@16 と pass@16 をフルテールで改善する一方、固定ポリケート測定は、トランカチオンが試験された水平線上の補正分散を減少させることを示している。

関連論文リスト

• COPC: Coupled Off-Policy Correction for Asynchronous LLM Reinforcement Learning [27.653935287434773]
  非同期RLは、最適化からロールアウト生成を分離することで、大規模な言語モデルの後処理を高速化するが、古い軌道で訓練する。 既存の手法は主にアクター目標における重要度制御を通じてトークンレベルのポリシーミスマッチを補正する。 優位な推定法は、行動と政治の継続によるミスマッチも受け継いでおり、これは不便さを重んじるものである。 トークンレベル比マスキングとTD残差の両面クリッピング比重み付けを組み合わせたアクタ批判手法である Coupled Off-Policy Correction (COPC) を導入する。
  論文  参考訳（メタデータ） (2026-10-07T07:43:49Z)
• Free Everywhere, Exact on Trees: PPO's Dropped Correction Buys Sample Efficiency Under Aggressive Reuse [0.0]
  本研究では,各状態が正確に1つの履歴に到達した履歴インジェクティブ・ダイナミクスの下では,各状態ビジュアライゼーション比がサンプルプレフィックスに沿ったステップごとのポリシー比の積と等しいことを示す。 クリッピングが既に再利用バイアスを含んでいる場合、全会一致で行われる修正は、有害である。
  論文  参考訳（メタデータ） (2026-09-30T12:41:43Z)
• EasyPPO: Stabilizing the Critic Is Key [57.76826550536797]
  PPO(Proximal Policy Optimization)の主な強みは、その学習的批判である。 批判は、大規模言語モデルの強化学習における不安定性の主要な原因でもある。 EasyPPOはフルトレーニングの地平線を通して安定しており、バニラPPO、VAPO、HL-GaussPPOより一貫して優れている。
  論文  参考訳（メタデータ） (2026-09-29T06:15:00Z)
• RL Forgets! Towards Continual Policy Optimization [57.4336338996653]
  継続的なポストトレーニングは、進化するタスクに視覚言語モデルを適用するための中心的なパラダイムになりつつある。 最近の研究は、強化学習が本質的に忘れやすいという信念から、教師付き微調整よりも強化学習を好んでいる。 我々は,事前タスク動作KL目標に基づくリプレイフリーフレームワークである継続ポリシー最適化(CPO)を提案する。
  論文  参考訳（メタデータ） (2026-07-05T15:46:11Z)
• Flow-DPPO: Divergence Proximal Policy Optimization for Flow Matching Models [61.74572554094633]
  比クリッピングは流れモデルに不適であると主張する。 本稿では,比クリッピングを分岐近位制約に置き換えるFlow-DPPOを提案する。 実験により,フローDPPOはKL近位効率が向上し,高い報酬が得られることが示された。
  論文  参考訳（メタデータ） (2026-06-09T15:59:57Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• Bayesian Conservative Policy Optimization (BCPO): A Novel Uncertainty-Calibrated Offline Reinforcement Learning with Credible Lower Bounds [1.2183405753834562]
  オフライン強化学習(RL)は、ログ化された遷移の固定バッチから決定ポリシーを学ぶことを目的としている。 本稿では,不確実性を即興的に保守的な政策改善に変換する統一的な枠組みであるEmphBayesian conservative Policy Optimization (BCPO)を提案する。 BCPOは環境/価値モデルよりも階層的なベイズ的後縁を維持し、アクション値に基づいてエンフレッシブルな下界(LCB)を構築し、明示的なKL正規化の下でポリシー更新を行う。
  論文  参考訳（メタデータ） (2026-03-06T01:46:02Z)
• GRPO-Guard: Mitigating Implicit Over-Optimization in Flow Matching via Regulated Clipping [63.33669214116784]
  GRPO-Guardは、既存のGRPOフレームワークのシンプルで効果的な拡張である。 PPOクリッピングが有害な更新を適切に制限することを保証するため、バランスとステップ一貫性の重要度を回復する。 重いKL正則化に頼ることなく、暗黙の過最適化を実質的に緩和する。
  論文  参考訳（メタデータ） (2025-10-25T14:51:17Z)
• BRAC+: Improved Behavior Regularized Actor Critic for Offline Reinforcement Learning [14.432131909590824]
  オフライン強化学習は、以前に収集したデータセットを使用して効果的なポリシーをトレーニングすることを目的としている。 標準的なオフ・ポリティクスRLアルゴリズムは、アウト・オブ・ディストリビューション(探索されていない)アクションの値を過大評価する傾向がある。 動作の規則化によるオフライン強化学習を改善し,BRAC+を提案する。
  論文  参考訳（メタデータ） (2021-10-02T23:55:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。