論文の概要: EchoRL: Reinforcement Learning via Rollout Echoing

• arxiv url: http://arxiv.org/abs/2605.31228v1
• Date: Fri, 29 May 2026 12:31:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.601466
• Title: EchoRL: Reinforcement Learning via Rollout Echoing
• Title（参考訳）: EchoRL: ロールアウトエコーによる強化学習
• Abstract要約: Reinforcement Learning with Verifiable Rewardsは、大規模言語モデルの推論能力を強化するために、ポストトレーニングに有効な方法である。 トレーニングが進むにつれて、学習信号が崩壊し、トレーニングの利得が限界に達し、効果がなくなる。 そこで我々は,EchoRLを提案する。
• 参考スコア（独自算出の注目度）: 45.09455692332352
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning with Verifiable Rewards is an effective route for post-training to strengthen the reasoning capability of large language models. However, as training proceeds, the learning signal can collapse thus makes the training gain become marginal and ineffective. Specifically, a growing fraction of prompts' rollouts become advantage-degenerated: all the self-generated rollouts show verified-success, making the standard deviation over their rewards be zero; accordingly each rollout's advantage becomes degenerated (zero) as well. Given such rollouts' advantages, the policy-gradient for model optimization eventually vanishes, capping the training performance. We argue that some of these rollouts still contain valuable learning signals but unfortunately omitted with the existing RLVR methods. In this paper, inspired through analyzing the entropy pattern behind golden trajectories produced by external expert models, we propose EchoRL for better exploiting the advantage-degenerated rollouts to further improve the training performance. EchoRL is a lightweight module that first identifies an EchoClip from verified-success rollouts based on their step-level entropy values, and then feeds this clip back as an auxiliary supervision signal in the RL objective. Extensive experiments across 10 benchmarks, 5 LLM backbones, and 4 popular RLVR post-training methods demonstrate that EchoRL consistently improves RLVR post-training with minimal overhead.
• Abstract（参考訳）: Reinforcement Learning with Verifiable Rewardsは、大規模言語モデルの推論能力を強化するために、ポストトレーニングに有効な方法である。 しかし、トレーニングが進むにつれて学習信号が崩壊し、トレーニングの利得が限界に達し、効果が低下する。 具体的には、プロンプトのロールアウトのごく一部が有利に生成され、全ての自己生成ロールアウトは検証された成功を示し、報酬に対する標準偏差がゼロとなる。 このようなロールアウトの利点を考えれば、モデル最適化の方針段階は最終的に消滅し、訓練性能が低下する。 これらのロールアウトには依然として貴重な学習信号が含まれているが、残念ながら既存のRLVRメソッドでは省略されている。 本稿では,外部の専門家モデルが生成するゴールデントラジェクトリの背後にあるエントロピーパターンを解析することによって,EchoRLを提案する。 EchoRLは、まずステップレベルのエントロピー値に基づいて、検証済みのロールアウトからEchoClipを識別し、RL目標の補助的な監視信号としてこのクリップを返送する軽量モジュールである。 10のベンチマーク、5つのLLMバックボーン、4つの人気のあるRLVRポストトレーニングメソッドによる大規模な実験は、EchoRLが最小限のオーバーヘッドでRLVRポストトレーニングを一貫して改善していることを示している。

関連論文リスト

• On the Implicit Reward Overfitting and the Low-rank Dynamics in RLVR [51.935533482549545]
  RLVRはトレーニングデータセットに過度に適合する暗黙の報酬を示す可能性がある。 モデルは、トレーニングプロセス中に報酬が比較的低いままであっても、テストセット上で満足なパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2026-05-07T16:30:28Z)
• Contextual Rollout Bandits for Reinforcement Learning with Verifiable Rewards [69.74686029941881]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論能力を改善するための効果的なパラダイムである。 トレーニングを通して高価値ロールアウトを適応的に選択する統合型ニューラルネットワークスケジューリングフレームワークを提案する。 6つの数学的推論ベンチマークの実験では、複数のRLVR最適化手法で性能と訓練効率が一貫した向上を示した。
  論文  参考訳（メタデータ） (2026-02-09T10:51:58Z)
• Not All Steps are Informative: On the Linearity of LLMs' RLVR Training [14.59942263367421]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)のポストトレーニングの中心的コンポーネントとなっている。 本研究では,将来のモデル状態が外挿による中間チェックポイントから予測可能かどうかを検討する。 Weight Extrapolationは標準RLトレーニングに匹敵する性能のモデルを生成すると同時に,計算量を大幅に削減することを示した。
  論文  参考訳（メタデータ） (2026-01-08T03:06:18Z)
• Explore Data Left Behind in Reinforcement Learning for Reasoning Language Models [61.78513830395669]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデル(LLM)の推論能力向上に有効な手法として登場した。 モデルがより長く、規模が大きくなるにつれて、トレーニングのプロンプトは残余のプロンプトになる。 政策最適化フレームワークにおける探索的残留確率(Explore Residual Prompts in Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2025-11-06T20:40:27Z)
• Reinforcement Learning on Pre-Training Data [55.570379963147424]
  我々は,大規模言語モデル(LLM)を最適化するための新しい訓練時間スケーリングパラダイムである,事前学習データ(R)の強化学習を紹介する。 Rは、有意義な軌道を自律的に探索し、事前学習データから学び、強化学習(RL)を通してその能力を向上させる。 複数のモデルにわたる一般領域および数学的推論ベンチマークの広範な実験は、Rの有効性を検証した。
  論文  参考訳（メタデータ） (2025-09-23T17:10:40Z)
• ConfClip: Confidence-Weighted and Clipped Reward for Reinforcement Learning in LLMs [32.13266235550995]
  強化学習(RL)は、大規模言語モデル(LLM)の標準化の標準パラダイムとなっている。 人間の学習から得られた観察から着想を得て、検証可能な結果とモデル自身の信頼度推定を統合するRL手法を導入する。
  論文  参考訳（メタデータ） (2025-09-22T13:00:35Z)
• No Free Lunch: Rethinking Internal Feedback for LLM Reasoning [12.881043910316787]
  強化学習は、推論を改善するために大規模言語モデル(LLM)の訓練後において強力なパラダイムとして登場した。 内的フィードバック(RLIF)からの強化学習(Reinforcement Learning from Internal Feedback, RLIF)は,外的報酬ではなく,本質的なモデル由来の信号にのみ依存する手法である。
  論文  参考訳（メタデータ） (2025-06-20T17:59:52Z)
• Supervised Advantage Actor-Critic for Recommender Systems [76.7066594130961]
  本稿では、RL成分を学習するための負のサンプリング戦略を提案し、それを教師付き逐次学習と組み合わせる。 サンプル化された(負の)作用 (items) に基づいて、平均ケース上での正の作用の「アドバンテージ」を計算することができる。 SNQNとSA2Cを4つのシーケンシャルレコメンデーションモデルでインスタンス化し、2つの実世界のデータセットで実験を行う。
  論文  参考訳（メタデータ） (2021-11-05T12:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。