論文の概要: Reward Budgeting Reduces Premature Convergence in Reinforcement Learning for LLM Reasoning

• arxiv url: http://arxiv.org/abs/2611.05942v2
• Date: Thu, 05 Nov 2026 07:12:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.401907
• Title: Reward Budgeting Reduces Premature Convergence in Reinforcement Learning for LLM Reasoning
• Title（参考訳）: LLM推論のための強化学習におけるReward Budgetingによる早期収束の低減
• Abstract要約: AMC23では+12.50、AIME24とAIME25では+10.00となる。 結果は、初期収束の更新力学的なビューをサポートし、エントロピーを明示的に保存することなく、強い利得を得ることができることを示す。
• 参考スコア（独自算出の注目度）: 6.050325090773128
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: RL for LLM reasoning often reaches an early performance plateau as the policy distribution becomes increasingly sharp. Recent work has studied policy entropy as both a diagnostic and a control signal for this behavior. In our experiments, however, increasing entropy alone does not reliably change the eventual plateau. We analyze RL through its implicit target policy and derive a sharpness factor $κ$, together with an effective counterpart $κ_{\mathrm{eff}}$, that describes how strongly reward or advantage gaps are translated into probability-ratio gaps. Motivated by this view, we introduce reward budgeting, a plug-in advantage construction that assigns a fixed total reward budget to each prompt. For binary rewards and independent on-policy rollouts, its unclipped score-function estimator follows the gradient of an exact finite-$G$ concave objective with diminishing returns, while its advantage gap decreases as more rollouts become correct. For general rewards, a shifted log-mean interpretation holds asymptotically under the stated regularity conditions. These results motivate, rather than establish exact objective equivalence for, the clipped implementations. On Qwen3-8B and Llama3.2-3B-Instruct, reward budgeting consistently improves a range of RL baselines, with gains up to +12.50 on AMC23 and +10.00 on AIME24 and AIME25. Overall, our results support an update-dynamics view of premature convergence and show that strong gains can be obtained without explicitly preserving entropy.
• Abstract（参考訳）: LLM推論のためのRLは、ポリシー分布がますます鋭くなるにつれて、しばしば初期のパフォーマンス高原に達する。 最近の研究は、この行動の診断と制御のシグナルとして政策エントロピーを研究している。 しかし,実験ではエントロピーの増加だけでは最終的な台地が確実に変化しない。 我々は、RLをその暗黙的目標ポリシーを通じて分析し、そのシャープネス係数$κ$と、実効性のある$κ_{\mathrm{eff}}$を導出する。 この観点から、各プロンプトに固定された全報酬予算を割り当てるプラグイン・アドバンテージ・コンストラクションである報酬予算を導入する。 2値の報酬と独立なオン・ポリチック・ロールアウトに対して、その未割当スコア関数推定器は、リターンの減少を伴う正確な有限G$コンケーブ目標の勾配に従っているが、その利点の差は、より多くのロールアウトが正しくなるにつれて減少する。 一般的な報酬に対して、シフトした対数平均解釈は、記述された正則性条件の下で漸近的に保持される。 これらの結果は、クリッピング実装の正確な客観的等価性を確立するのではなく、動機づけている。 Qwen3-8BとLlama3.2-3B-インストラクタでは、報酬予算は一貫してRLベースラインの範囲を改善し、AMC23では+12.50、AIME24とAIME25では+10.00となる。 その結果, エントロピーを明示的に保存することなく, 高い利得が得られることを示すことができた。

関連論文リスト

• Fine-Tuning on Self-Generated and Reward-Weighted Data: Learning Dynamics, Convergence Rates, and Benefits of Off-Policyness [69.00065140233411]
  REINFORCE -- RE(S) と呼ばれる -- は、$S ge 1$グルーフステップ毎にロールアウト分布を更新する。 我々は、$ ge 1$のスペクトルを網羅するRE(S) の統一理論を開発する。 任意の固定された$S$に対して、RE(S) は、ロールアウト分布の更新数$B = lfloor T / S rfloor rightarrow infty$ として最適ポリシーへの大域収束を楽しむ。
  論文  参考訳（メタデータ） (2026-09-29T07:54:06Z)
• Counterfactual Shapley Credit Assignment [49.39649767581182]
  クレディ・アサインメント・問題(CAP)は、効率的かつ説明可能な強化学習(RL)エージェントを開発するための基礎である。 対実共有($-value)を通じて信用と責任を判断する新しい枠組みである対実共有($-value)を導入する。 我々は、$$-valuesを計算し、優先順位付き軌道再生(PTR)と組み合わせた新しいポリシーメソッドのクラス$-PPOを可能にする一貫した推定器を導出する。
  論文  参考訳（メタデータ） (2026-07-18T23:28:20Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• Rethinking Importance Sampling in LLM Policy Optimization: A Cumulative Token Perspective [22.848847562976633]
  トークンレベルのIS比は、PPOとGRPOが採用しているように、プレフィックス状態の分布ミスマッチを無視してバイアスを導入する。 我々は、累積トークンIS比と、累積対数比の自然な$sqrtt$成長に応じて、対数空間のクリップ境界を拡大する位置適応クリッピングを組み合わせたCTPOを提案する。
  論文  参考訳（メタデータ） (2026-05-08T06:35:02Z)
• Theoretical Limits of Language Model Alignment [9.45142272392467]
  言語モデル(LM)アライメントは、ベースモデルの能力を保ちながら、人間の好みを反映するモデル出力を改善する。 最も一般的なアライメントアプローチは、(i)強化学習であり、KL分割制約の下で期待される報酬を最大化する。 固定KL分割予算に対する最大期待報酬利得を導出することにより、KL正規化アライメントの情報理論的限界を特徴づける。
  論文  参考訳（メタデータ） (2026-05-08T01:32:22Z)
• Tackling Length Inflation Without Trade-offs: Group Relative Reward Rescaling for Reinforcement Learning [74.5532558466687]
  群 Relative Reward Rescaling (GR$3$) は、一般的な、連続かつ報酬に依存したゲーティング機構である。 GR$3$は、標準のGRPOに匹敵するトレーニングダイナミクスとダウンストリームのパフォーマンスを維持する。 それは長さのインフレーションを著しく軽減し、最先端の長周期正規化ベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-03-11T08:41:34Z)
• Outcome-Grounded Advantage Reshaping for Fine-Grained Credit Assignment in Mathematical Reasoning [60.00161035836637]
  グループ相対政策最適化は、推論タスクのための有望な批判のない強化学習パラダイムとして登場した。 我々は,各トークンがモデルの最終回答にどの程度影響するかに基づいて,利益を再分配する,きめ細かい信用割当機構であるOutcome-grounded Advantage Reshaping (OAR)を紹介した。 OAR-Gは計算オーバーヘッドを無視して同等のゲインを達成し、どちらも強力なGRPOベースラインをはるかに上回っている。
  論文  参考訳（メタデータ） (2026-01-12T10:48:02Z)
• Distributional Reinforcement Learning with Dual Expectile-Quantile Regression [51.87411935256015]
  分布RLに対する量子レグレッションアプローチは、任意の戻り分布を柔軟かつ効果的に学習する方法を提供する。 我々は,分布推定が消失することを示し,推定分布が急速に平均に崩壊することを実証的に観察した。 我々は,$L$の学習効率に感化され,効率のよい学習方法として,返却分布の期待値と量子値を共同で学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-26T12:30:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。