論文の概要: Exploration-Preserving Policy Optimization

• arxiv url: http://arxiv.org/abs/2610.04011v1
• Date: Fri, 02 Oct 2026 20:17:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-12 21:04:15.958592
• Title: Exploration-Preserving Policy Optimization
• Title（参考訳）: 探索保存政策最適化
• Abstract要約: 検証可能な報酬による強化学習は推論を改善する。 グループ相対的な目的は、平等に報酬された応答に平等な利点を割り当てる。 本稿では,軽量なアドバンテージシェイピングルールであるExploration-Preserving Policy Optimization (ExPPO)を紹介する。
• 参考スコア（独自算出の注目度）: 29.137586603523513
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Reinforcement learning with verifiable rewards improves reasoning, while the allocation of learning signal shapes which solutions remain accessible under repeated sampling. Group-relative objectives assign equal advantages to equally rewarded responses, making aggregate credit proportional to sampled mode frequency. We introduce Exploration-Preserving Policy Optimization (ExPPO), a lightweight advantage-shaping rule that redistributes credit using prompt-relative, length-normalized response surprisal and prompt pass rate. ExPPO combines bounded shaping with shared normalization to preserve verifier polarity and approximately maintain each prompt group's total absolute sequence-advantage mass. Our analysis characterizes response-level credit allocation alongside sampled mode updates, deriving local conditions for gains in entropy and correct-mode discovery. Experiments show improved in-domain and out-of-domain reasoning coverage, higher aggregate response accuracy, and strong coverage at large sampling budgets. A controlled multi-answer evaluation further demonstrates increased correct-mode yield and gains in diversity among verified-correct responses. Code is available at https://github.com/jinhangzhan/ExPPO
• Abstract（参考訳）: 検証可能な報酬による強化学習は推論を改善する一方、繰り返しサンプリングの下でも解がアクセス可能である学習信号の形状の割り当ては改善される。 グループ相対的な目的は、平等に報酬された応答に平等な利点を割り当て、合計クレジットはサンプリングされたモード周波数に比例する。 本稿では,探索保存政策最適化(Exploration-Preserving Policy Optimization, ExPPO)を提案する。 ExPPOは、有界な整形と共有正規化を組み合わせることで、検証器の極性を維持し、各プロンプト群の総絶対列アドバンテージ質量をほぼ維持する。 分析では,サンプルモード更新と同時に応答レベルのクレジットアロケーションを特徴付け,エントロピーの利得と正モード発見の局所条件を導出する。 実験では、大規模なサンプリング予算において、ドメイン内およびドメイン外推論カバレッジの改善、アグリゲート応答精度の向上、および強力なカバレッジが示されている。 制御されたマルチアンサー評価により、検証された正解応答間の正解率と多様性の増大がさらに証明される。 コードはhttps://github.com/jinhangzhan/ExPPOで入手できる。

関連論文リスト

• Metropolis-Hastings Dominates Importance Resampling for Policy Composition [0.10195618602298682]
  大規模言語モデル(LLM)のポストトレーニングでは、複数の報酬間のトレードオフを検討する必要があることが多い。 復号時ポリシー構成は、これらのトレードオフを推論時に報酬固有のポリシーを組み合わせることで調整することができる。 我々は、独立性のあるメトロポリス・ハスティングに基づく既知の反復補正を分析する。
  論文  参考訳（メタデータ） (2026-10-02T15:49:38Z)
• MaPP: A Unified Marginalized Posterior-Predictive Framework for Data-Efficient RLVR [23.25125436885512]
  検証可能な報酬を伴う強化学習は、ロールアウトとポリシー更新によってかなりのコストを発生させる。 データ効率のよいRLVRのための統合フレームワークであるMaPP(Marginalized Posterior-Predictive)を提案する。 MaPPは、標準群相対的優位性を、閉形式β-ビノミアル境界化による合成不変な内在的優位性に置き換える。 同じ後部を用いて、MaPPは不確実性を認識したプロンプト選択スコアを導出し、追加のロールアウトコストを伴わずにデータ効率を向上させる。
  論文  参考訳（メタデータ） (2026-09-28T12:01:56Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• Breaking $\textit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning [53.42577591449649]
  グループ協力政策最適化は、トレーニングパラダイムをロールアウト競争からチーム協力へとシフトさせる。 GCPOは独立したロールアウトスコアをチームレベルのクレジット割り当てに置き換える。 チームへの平均的な限界貢献に従って、各ロールアウトに対して、グループチームの報酬を再分配する。
  論文  参考訳（メタデータ） (2026-05-12T03:20:24Z)
• Coverage Improvement and Fast Convergence of On-policy Preference Learning [67.36750525893514]
  言語モデルアライメントのためのオンラインのオンラインプライオリティ学習アルゴリズムは、オフラインのアルゴリズムよりも大幅に優れている。 我々は,サンプリング政策の包括的範囲が政治訓練を通じてどのように進展するかを分析する。 一般機能クラス設定における報奨蒸留のための原則的オンライン方式を開発した。
  論文  参考訳（メタデータ） (2026-01-13T10:46:06Z)
• Reinforce-Ada: An Adaptive Sampling Framework for Reinforce-Style LLM Training [47.26632817047513]
  大規模言語モデル(LLM)に推論タスクに適用された強化学習は、不安定な勾配推定によってボトルネックとなることが多い。 LLMのオンラインRLポストトレーニングのための適応型サンプリングフレームワークであるReinforce-Adaを提案する。 従来の2段階配置法とは異なり、Reinforce-Adaはオンライン連続除去プロセスにおける推定とサンプリングをインターリーブする。
  論文  参考訳（メタデータ） (2025-10-06T16:34:09Z)
• Intra-Trajectory Consistency for Reward Modeling [67.84522106537274]
  軌道内整合性正則化を開発し、より高い次トーケン生成確率を持つプロセスがより一貫した報酬を維持することを強制する。 提案した正規化でトレーニングした報酬モデルにより、より優れたDPO整合ポリシーが導出され、より優れたベスト・オブ・N(BON)検証結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-06-10T12:59:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。