論文の概要: Anatomy of Off-Policy Policy Gradient: Importance Sampling, KL Regularization, and Baselines

• arxiv url: http://arxiv.org/abs/2610.25725v1
• Date: Mon, 19 Oct 2026 03:27:25 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:12:39.430754
• Title: Anatomy of Off-Policy Policy Gradient: Importance Sampling, KL Regularization, and Baselines
• Title（参考訳）: 外部政策グラディエントの解剖:重要サンプリング、KL正規化、ベースライン
• Abstract要約: 強化学習は大規模言語モデル(LLM)のポストトレーニングにおいて中心的なツールとなり、政策勾配法は日常的に政治外に配置されている。 このような非政治的展開が正当化される時期と、重要サンプリング、KL正則化、ベースラインといった中核的な要素が、結果として生じる分散シフトにどのような役割を果たすかを検討する。
• 参考スコア（独自算出の注目度）: 11.254931237436319
• License:
• Abstract: Reinforcement learning has become a central tool for large language model (LLM) post-training, where policy gradient methods are routinely deployed off-policy, even though vanilla policy gradient assumes on-policy sampling. We study when such off-policy deployment is justified, and what roles its core ingredients, including importance sampling, KL regularization, and baselines, play in handling the resulting distribution shift. We show that for a general class of off-policy policy gradient updates, consistency, in the sense that the optimal policy remains a stationary point, requires one of two structures at the optimal policy: trajectory-level importance weighting, which suffers from the well-known curse of horizon, or KL regularization with a baseline equal to the optimal soft value, instantiated by the grouped mean. Focusing on the KL route, we identify it with the group-relative policy gradient (GRPG) update, establish an equivalence to a trajectory-level Bellman residual minimization objective, and obtain a finite-sample regret bound under all-policy coverage. This also gives a theoretical account of a variant of the empirically successful GRPO objective. We further uncover a hidden role of baselines in the off-policy setting: a constant shift in the baseline implements pessimism, the standard remedy in offline RL for partial data coverage. We instantiate this via the asymmetric REINFORCE objective, and connect it to the game-theoretic offline RL framework, showing a regret bound with single-policy coverage. Together, these results offer a unified theoretical view of off-policy policy gradient in LLM post-training and connect it to classical ideas in offline RL.
• Abstract（参考訳）: 強化学習は大規模言語モデル(LLM)のポストトレーニングにおいて中心的なツールとなり、バニラ政策勾配が政治上のサンプリングを前提としているにもかかわらず、政策勾配法が日常的に政治外に配置されている。 このような非政治的展開が正当化される時期と、重要サンプリング、KL正則化、ベースラインといった中核的な要素が、結果として生じる分散シフトにどのような役割を果たすかを検討する。 一般の非政治政策の漸進的更新においては、最適政策が静止点のままであるという意味で、最適政策における2つの構造のうちの1つを必要とすることが示される: 軌道レベルの重み付けは、よく知られた水平の呪いに苦しむこと、あるいは、グループ平均によってインスタンス化される最適ソフト値に等しいベースラインによるKL正規化である。 KL経路に着目して,グループ相対政策勾配(GRPG)更新と同一視し,軌道レベルのベルマン残差最小化目標と等価性を確立し,全政治範囲で有限サンプルの後悔を得る。 これはまた、実験的に成功したGRPOの目的の変種の理論的な説明を与える。 ベースラインの定常的なシフトは、部分的データカバレッジのためのオフラインRLの標準緩和である悲観的実装を実装します。 非対称REINFORCEの目的によってこれをインスタンス化し、ゲーム理論のオフラインRLフレームワークに接続することで、単一政治のカバレッジに反する後悔を示す。 これらの結果は、LLMのポストトレーニングにおける非政治政策勾配の統一的な理論的見解を与え、それをオフラインRLの古典的アイデアに結びつける。

関連論文リスト

• Trajectory-Aware Policy Optimization: Closing the State Distribution Gap in Long-Horizon LLM RL [30.167765219163673]
  軌道対応政策最適化(英: Trajectory-Aware Policy Optimization、TAPO)は、理論上、非政治政策勾配から状態分配補正を導出する原則的枠組みである。 TAPOは8つの競合レベルのベンチマークで既存のLLM RLアルゴリズムを大幅に上回っている。
  論文  参考訳（メタデータ） (2026-10-09T05:22:07Z)
• MInTRL: Off-policy Intervention can boost On-policy RL [11.159528979089224]
  検証可能な報酬を伴う強化学習は通常、政治上で行われる。 教師付き微調整のようなオフ政治手法は、ベースモデルの能力を超えた外部の知識を活用することができる。 MInTRL(Minimmal Intervention Reinforcement Learning)を導入する。
  論文  参考訳（メタデータ） (2026-09-11T04:13:32Z)
• Bayesian Conservative Policy Optimization (BCPO): A Novel Uncertainty-Calibrated Offline Reinforcement Learning with Credible Lower Bounds [1.2183405753834562]
  オフライン強化学習(RL)は、ログ化された遷移の固定バッチから決定ポリシーを学ぶことを目的としている。 本稿では,不確実性を即興的に保守的な政策改善に変換する統一的な枠組みであるEmphBayesian conservative Policy Optimization (BCPO)を提案する。 BCPOは環境/価値モデルよりも階層的なベイズ的後縁を維持し、アクション値に基づいてエンフレッシブルな下界(LCB)を構築し、明示的なKL正規化の下でポリシー更新を行う。
  論文  参考訳（メタデータ） (2026-03-06T01:46:02Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• Dichotomous Diffusion Policy Optimization [46.51375996317989]
  DIPOLEは、安定かつ制御可能な拡散ポリシー最適化のために設計された新しいRLアルゴリズムである。 また、DIPOLEを使用して、エンドツーエンドの自動運転のための大規模なビジョン言語アクションモデルをトレーニングしています。
  論文  参考訳（メタデータ） (2025-12-31T16:56:56Z)
• Group-Relative REINFORCE Is Secretly an Off-Policy Algorithm: Demystifying Some Myths About GRPO and Its Friends [64.71326476563213]
  大規模言語モデル(LLM)の非政治強化学習が注目されている。 本稿では,特定のトレーニングデータ分布を仮定することなく,グループ化型REINFORCEの第一原理導出について述べる。 この観点は、REINFORCEを非政治的な設定に適応するための2つの一般的な原則をもたらす。
  論文  参考訳（メタデータ） (2025-09-29T02:34:54Z)
• EXPO: Stable Reinforcement Learning with Expressive Policies [74.30151915786233]
  2つのパラメータ化ポリシーで値の最大化を実現するために,サンプル効率のよいオンライン強化学習アルゴリズムを提案する。 提案手法は, 従来手法に比べて試料効率を最大2～3倍向上させる。
  論文  参考訳（メタデータ） (2025-07-10T17:57:46Z)
• On the Design of KL-Regularized Policy Gradient Algorithms for LLM Reasoning [59.11784194183928]
  政策勾配アルゴリズムは大規模言語モデル(LLM)の推論能力の向上に成功している。 規則化されたポリシーグラディエント(RPG)ビューは、広く使われている$k_3$ペナルティが、正確には非正規化されたKLであることを示している。 RPG-REINFORCE with RPG-Style Clipは、DAPOよりも最大6ドル以上の絶対パーセンテージポイントの精度を向上させる。
  論文  参考訳（メタデータ） (2025-05-23T06:01:21Z)
• Contrastive Policy Gradient: Aligning LLMs on sequence-level scores in a supervised-friendly fashion [43.77763433288893]
  コントラストポリシーグラディエント(Contrastive Policy Gradient, COPG)は、単純かつ数学的に原理化された新しいRLアルゴリズムである。 本稿では,直接アライメント手法のIPO(アイデンティティ優先最適化)と古典的政策勾配を一般化する手法を提案する。 提案したCOPGをおもちゃのバンディット問題で実験し,その特性を説明するとともに,要約タスクでLLMを微調整する。
  論文  参考訳（メタデータ） (2024-06-27T14:03:49Z)
• Projected Off-Policy Q-Learning (POP-QL) for Stabilizing Offline Reinforcement Learning [57.83919813698673]
  Projected Off-Policy Q-Learning (POP-QL) は、政治外のサンプルを同時に重み付け、分散を防止し、価値近似誤差を減らすためにポリシーを制約する新しいアクタ批判アルゴリズムである。 我々の実験では、POP-QLは標準ベンチマーク上での競合性能を示すだけでなく、データ収集ポリシーがかなり最適化されていないタスクにおいて競合するメソッドよりも優れています。
  論文  参考訳（メタデータ） (2023-11-25T00:30:58Z)
• Policy Gradient for Reinforcement Learning with General Utilities [50.65940899590487]
  強化学習(Reinforcement Learning, RL)では、エージェントの目標は、期待される累積報酬を最大化する最適なポリシーを見つけることである。 教師なしと教師なしのRL問題の多くは、LLフレームワークには含まれていない。 一般ユーティリティによるRLのポリシー勾配定理を導出する。
  論文  参考訳（メタデータ） (2022-10-03T14:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。