論文の概要: EPIC: Rethinking Trust Regions for Autoregressive LLM Policies via Exact-KL Prefix Importance-Ratio Clipping

• arxiv url: http://arxiv.org/abs/2610.29999v1
• Date: Wed, 21 Oct 2026 16:37:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.411378
• Title: EPIC: Rethinking Trust Regions for Autoregressive LLM Policies via Exact-KL Prefix Importance-Ratio Clipping
• Title（参考訳）: EPIC:Exact-KL Prefix Importance-Ratio Clippingによる自己回帰LDM政策の信頼領域の再考
• Abstract要約: EPICはPPOスタイルのシーケンスクリッピング方式であり、局所的な二次近似やエキスパートルーティングのリプレイに頼ることなく、プレフィックスレベルのポリシードリフトを直接規制する。 EPICは数理推論ベンチマークで標準値とシーケンシャル値のクリッピングベースラインを一貫して上回っていることを示す。
• 参考スコア（独自算出の注目度）: 26.12870390074092
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) based on PPO-style clipping has become an effective approach to improving the reasoning capabilities of large language models (LLMs). However, standard token-level clipping measures policy change only through the conditional probability of the current token, while the prefix conditioning context is itself generated by the policy. This mismatch becomes especially consequential in long-response and off-policy training. We reformulate autoregressive generation as a finite-horizon Markov decision process and derive its performance-difference identity under behavior-policy sampling. The resulting change of measure identifies the cumulative likelihood ratio of the generated prefix as the exact importance weight for each stepwise policy-improvement term. Starting from the monotonic-improvement principle of trust-region policy optimization, we then construct a prefix-level trust region using the exact reverse-KL coordinate $r-1-\log r$, whose behavior-policy expectation equals the corresponding prefix-distribution KL divergence. This yields EPIC, a PPO-style sequence-clipping method that directly regulates prefix-level policy drift without relying on a local quadratic approximation or expert-routing replay. Experiments on off-policy reinforcement learning with a sparse mixture-of-experts language model show that EPIC consistently outperforms standard and sequence-level clipping baselines across mathematical-reasoning benchmarks, while remaining competitive with routing-replay-based alternatives. Code is available at https://github.com/LiChengxi666/EPIC.
• Abstract（参考訳）: PPO型クリッピングに基づく強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上に有効なアプローチとなっている。 しかし、標準的なトークンレベルのクリッピングは、現在のトークンの条件付き確率によってのみポリシーが変更され、プレフィックス条件付きコンテキスト自体がポリシーによって生成される。 このミスマッチは、特にロングレスポンスやオフポリティクスのトレーニングにおいて重要となる。 我々は、有限水平マルコフ決定過程として自己回帰生成を再構成し、行動-政治サンプリングの下での性能差の同定を導出する。 その結果得られた測定値の変化は、生成したプレフィックスの累積確率比を、段階的にポリシー改善項ごとに正確に重要な重みとして特定する。 信頼領域最適化の単調改善原理から始め、正確な逆KL座標$r-1-\log r$を用いてプレフィックスレベルの信頼領域を構築する。 PPOスタイルのシーケンスクリッピング方式であるEPICは、局所的な二次近似やエキスパートルーティングのリプレイに頼ることなく、プレフィックスレベルのポリシードリフトを直接規制する。 スパース・オブ・エキスパート言語モデルによるオフ・ポリティクス強化学習の実験では、EPICは数学的推論ベンチマークで標準値とシーケンシャルレベルのクリッピングベースラインを一貫して上回り、ルーティング・リプレイベースの代替と競合する。 コードはhttps://github.com/LiChengxi666/EPICで入手できる。

関連論文リスト

• Rethinking the Divergence Regularization in LLM RL [56.952725733148746]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)の訓練後において重要な要素となっている。 そこで本稿では,ハードマスクをスムーズなアドバンテージ重み付き二次正規化器に置き換える多変量正規化政策最適化(DRPO)を提案する。 DRPOはDPPOと同じ信頼領域を保ちながら、有界で連続的な勾配重みを誘導する。
  論文  参考訳（メタデータ） (2026-06-08T17:58:23Z)
• Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
  オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。 我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。 7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
  論文  参考訳（メタデータ） (2026-05-20T15:14:14Z)
• Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
  強化学習は、教師付き学習よりも構造的に難しい。 本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
  論文  参考訳（メタデータ） (2026-05-12T16:44:47Z)
• Rethinking Importance Sampling in LLM Policy Optimization: A Cumulative Token Perspective [22.848847562976633]
  トークンレベルのIS比は、PPOとGRPOが採用しているように、プレフィックス状態の分布ミスマッチを無視してバイアスを導入する。 我々は、累積トークンIS比と、累積対数比の自然な$sqrtt$成長に応じて、対数空間のクリップ境界を拡大する位置適応クリッピングを組み合わせたCTPOを提案する。
  論文  参考訳（メタデータ） (2026-05-08T06:35:02Z)
• Bayesian Conservative Policy Optimization (BCPO): A Novel Uncertainty-Calibrated Offline Reinforcement Learning with Credible Lower Bounds [1.2183405753834562]
  オフライン強化学習(RL)は、ログ化された遷移の固定バッチから決定ポリシーを学ぶことを目的としている。 本稿では,不確実性を即興的に保守的な政策改善に変換する統一的な枠組みであるEmphBayesian conservative Policy Optimization (BCPO)を提案する。 BCPOは環境/価値モデルよりも階層的なベイズ的後縁を維持し、アクション値に基づいてエンフレッシブルな下界(LCB)を構築し、明示的なKL正規化の下でポリシー更新を行う。
  論文  参考訳（メタデータ） (2026-03-06T01:46:02Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• Coverage Improvement and Fast Convergence of On-policy Preference Learning [67.36750525893514]
  言語モデルアライメントのためのオンラインのオンラインプライオリティ学習アルゴリズムは、オフラインのアルゴリズムよりも大幅に優れている。 我々は,サンプリング政策の包括的範囲が政治訓練を通じてどのように進展するかを分析する。 一般機能クラス設定における報奨蒸留のための原則的オンライン方式を開発した。
  論文  参考訳（メタデータ） (2026-01-13T10:46:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。