論文の概要: Experience Augmented Policy Optimization for LLM Reasoning

• arxiv url: http://arxiv.org/abs/2606.30420v1
• Date: Mon, 29 Jun 2026 15:05:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.293802
• Title: Experience Augmented Policy Optimization for LLM Reasoning
• Title（参考訳）: LLM推論における政策最適化の経験
• Abstract要約: 我々は、RLVRの経験は固定的推論軌道として再利用されるべきではなく、政策適応的な方法で表現されるべきであると主張している。 EAPOは最先端のRLVR法よりも推論性能を一貫して改善する。
• 参考スコア（独自算出の注目度）: 50.16045797892008
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning with Verifiable Rewards (RLVR) is a powerful paradigm for improving the reasoning capabilities of large language models (LLMs). However, existing RLVR methods typically rely on on-policy optimization from scratch, resulting in high sampling costs and inefficient utilization of accumulated experience. As model capabilities and policy behaviors evolve during training, recent attempts to reuse experience via fixed reasoning trajectories further suffer from policy mismatch. Motivated by these limitations, we argue that experience in RLVR should not be reused as fixed reasoning trajectories, but instead expressed in a policy-adaptive manner. In this work, we propose Experience-Augmented Policy Optimization (EAPO), which leverages a prior RL-optimized policy as an action-level experience prior and selectively injects experience at critical decision points during rollout. To ensure stable and unbiased learning from experience-augmented rollouts, EAPO further incorporates an adapted importance sampling scheme. Experiments on using Qwen-2.5-math 7b and Qwen-3-8B on five different benchmarks demonstrate that EAPO consistently improves reasoning performance over state-of-the-art RLVR methods.
• Abstract（参考訳）: RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデル(LLM)の推論能力を改善するための強力なパラダイムである。 しかし、既存のRLVR法は、通常、スクラッチからのオン・ポリティクスの最適化に依存しており、サンプリングコストが高く、蓄積した経験の非効率な利用をもたらす。 モデル能力と政策行動が訓練中に進化するにつれて、固定的推論軌道を通じて経験を再利用しようとする最近の試みは、さらに政策ミスマッチに悩まされている。 これらの制限により、RLVRの経験は固定的推論軌道として再利用されるべきではなく、代わりに政策適応的な方法で表現されるべきである、と我々は主張する。 本研究では,従来のRL最適化ポリシをアクションレベルエクスペリエンスとして活用し,ロールアウト時に重要な決定ポイントで経験を選択的に注入する,経験拡張政策最適化(EAPO)を提案する。 EAPOは、経験強化されたロールアウトから安定的で偏りのない学習を保証するために、適応された重要サンプリングスキームを取り入れている。 5つのベンチマークでQwen-2.5-math 7bとQwen-3-8Bを使用した実験により、EAPOは最先端のRLVR法よりも推論性能を一貫して改善していることが示された。

関連論文リスト

• Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning [50.738952715864116]
  表現的連続制御ポリシは、シミュレーションされた実ロボット制御のための模倣学習のスケーリングにおける進歩のバックボーンを形成する。 テスト時に完全にポリシー最適化を行うRLアルゴリズムであるQGF(Q-Guided Flow)を提案する。 実証的には、QGFはシングルタスクおよびゴール条件のオフラインRLベンチマークにおいて、以前のテスト時間RLメソッドよりも優れている。
  論文  参考訳（メタデータ） (2026-06-09T16:45:57Z)
• Learning from Failures: Correction-Oriented Policy Optimization with Verifiable Rewards [73.44333771806282]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上に有効なパラダイムとして登場した。 本稿では,RLVRの簡易かつ効果的な拡張であるCIPO(Correction-Oriented Policy Optimization)を提案する。 CIPOは学習効率を向上し、モデルが自身のエラーを修正する能力を明示的に強化する。
  論文  参考訳（メタデータ） (2026-05-14T08:22:21Z)
• CLIPO: Contrastive Learning in Policy Optimization Generalizes RLVR [10.821950260274066]
  RLVRによる強化学習は大規模言語モデル(LLM)の推論能力を大幅に向上させた。 プロセスに反するが結果の正しいロールアウトのトレーニングは、幻覚と回答コピーにつながる可能性がある。 RLVRプロセスの一般化のために,コントラスト学習機構を政策最適化(CLIPO)に組み込んだ。
  論文  参考訳（メタデータ） (2026-03-10T17:59:54Z)
• Learning in Context, Guided by Choice: A Reward-Free Paradigm for Reinforcement Learning with Transformers [55.33468902405567]
  本稿では、事前学習とデプロイの両方が好みのフィードバックにのみ依存する新しい学習パラダイム、In-Context Preference-based Reinforcement Learning (ICPRL)を提案する。 ICPRLは、厳密なコンテキスト内一般化を可能にし、完全な報酬管理で訓練されたICRLメソッドに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-02-09T03:42:16Z)
• Variance Reduction Based Experience Replay for Policy Optimization [3.7128732378843394]
  Variance Reduction Experience Replay (VRER) は、ポリシー勾配推定におけるばらつきを低減するために、情報的サンプルを選択的に再利用する原則的なフレームワークである。 VRERはアルゴリズムに依存しず、既存のポリシー最適化手法とシームレスに統合される。 我々は,VRERが政策学習を継続的に加速し,最先端の政策最適化アルゴリズムよりも性能を向上させることを示す。
  論文  参考訳（メタデータ） (2026-02-05T06:58:28Z)
• RLoop: An Self-Improving Framework for Reinforcement Learning with Iterative Policy Initialization [65.23034604711489]
  大規模な推論モデルをトレーニングするための自己改善フレームワークであるRLoopを紹介します。 RLoopはまず、RLを使用して所定のポリシからソリューション空間を探索し、成功したトラジェクトリをフィルタリングしてエキスパートデータセットを作成する。 実験の結果、RLoopsは一般化を忘れて大幅に改善し、平均精度は9%、pass@32はバニラRLに比べて15%以上向上した。
  論文  参考訳（メタデータ） (2025-11-06T11:27:16Z)
• ExGRPO: Learning to Reason from Experience [82.83309610498446]
  検証可能な報酬(RLVR)からの強化学習は、大規模言語モデルの推論能力を改善するための新たなパラダイムである。 標準的なオンライントレーニングは、1回の更新後にロールアウトエクスペリエンスを捨て、計算の非効率性と不安定性につながる。 本稿では,まず,経験価値の効果的な指標であるロールアウトの正しさとエントロピーを考察する。
  論文  参考訳（メタデータ） (2025-10-02T17:31:30Z)
• Variance Reduction based Experience Replay for Policy Optimization [3.0657293044976894]
  本稿では,最も関連性の高いサンプルを選択的に再利用し,政策勾配推定を改善する汎用分散還元型体験再生(VRER)フレームワークを提案する。 我々の理論的および実証的研究は、提案したVRERが最適なポリシーの学習を加速し、最先端のポリシー最適化アプローチの性能を高めることができることを示している。
  論文  参考訳（メタデータ） (2022-08-25T20:51:00Z)
• Variance Reduction based Experience Replay for Policy Optimization [3.0790370651488983]
  Variance Reduction Experience Replay (VRER) は、政策勾配推定を改善するために、関連するサンプルを選択的に再利用するためのフレームワークである。 VRERは、VRERによるポリシーグラディエントとして知られる、効率的な非政治学習アルゴリズムの基盤となる。
  論文  参考訳（メタデータ） (2021-10-17T19:28:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。