論文の概要: When Does Momentum Help in Reinforcement Learning with Verifiable Rewards?

• arxiv url: http://arxiv.org/abs/2610.20413v1
• Date: Wed, 14 Oct 2026 16:11:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.246568
• Title: When Does Momentum Help in Reinforcement Learning with Verifiable Rewards?
• Title（参考訳）: モメンタムはいつ強化学習に役立つか?
• Abstract要約: 強化学習における第1モーメント運動量の有用性について検証した。 オーバーシュートを防ぐ範囲内で$を値上げすることは、厳密に最適化を加速することを証明する。 学習率$$が減少するにつれて、固定$$で期待される利益は、これらの変動よりも早く消えることが示される。
• 参考スコア（独自算出の注目度）: 18.80658446212013
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Momentum is a classical tool for accelerating convex optimization and a standard component of modern large language model training. Yet recent empirical work has questioned the usefulness of first-moment momentum in reinforcement learning with verifiable rewards (RLVR). We study this question through a bandit formulation of RLVR with bias-corrected exponential moving average (EMA) momentum, where the EMA coefficient $β$ controls how quickly the weights on past gradients decay. When policy gradients are evaluated exactly, we prove that increasing $β$ within a range that prevents overshoot strictly accelerates optimization. When gradients are estimated from sampled responses, a positive expected gain can be obscured by sampling fluctuations. We show that as the learning rate $η$ decreases, the expected gain with fixed $β$ vanishes faster than these fluctuations, whereas increasing $β$ to keep $η/(1-β)$ within the safe regime preserves a nonvanishing gain that eventually dominates them. Bandit simulations quantitatively validate these predictions. RLVR experiments on Qwen3-4B-Base using SGD with EMA and AdamW support our principle of choosing larger coefficients in practical LLM post-training. On Qwen2.5-32B with AdamW, simply increasing $β_1$ improves mean validation accuracy by nearly $2$ percentage points over the conventional choice, demonstrating the principle's effectiveness at a larger model scale.
• Abstract（参考訳）: Momentumは、凸最適化を加速するための古典的なツールであり、現代の大規模言語モデルのトレーニングの標準コンポーネントである。 しかし、近年の実証研究は、検証可能な報酬(RLVR)を用いた強化学習における第一モーメント運動量の有用性を疑問視している。 偏差補正指数移動平均(EMA)運動量を持つRLVRのバンドイット定式化により,EMA係数$β$が過去の勾配の重みをどれだけ早く減衰させるかを制御する。 ポリシー勾配を正確に評価すると、オーバーシュートを防ぐ範囲内で$β$の増加が厳密に最適化を加速することを証明する。 サンプル応答から勾配を推定すると、サンプリング変動によって正の期待利得を曖昧にすることができる。 学習レートの$η$が減少するにつれて、固定された$β$による期待ゲインがこれらの変動よりも早く消滅する一方、金庫内で$η/(1-β)$を維持するために$β$の増加は、最終的にそれらを支配する非消滅ゲインを保持することを示す。 帯域シミュレーションはこれらの予測を定量的に検証する。 EMAとAdamWを併用したSGDを用いたQwen3-4B-Base上のRLVR実験は、実用的なLLM後トレーニングにおけるより大きな係数の選択の原則を支持している。 AdamW の Qwen2.5-32B では、β_1$ の増加だけで従来の選択よりも平均検証精度が 2$ 近く向上し、より大規模なモデルスケールでの原理の有効性が実証された。

関連論文リスト

• How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
  r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。 まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
  論文  参考訳（メタデータ） (2026-05-23T22:00:38Z)
• Verifier-Free RL for LLMs via Intrinsic Gradient-Norm Reward [69.99652051809737]
  本研究では,検証自由な内在性勾配項再帰(VIGOR)を提案する。 VIGORはポリシーモデルのみを使用する単純な報酬です。 数学データのみに基づいてトレーニングされた場合、コードベンチマークへのクロスドメイン転送を示す。
  論文  参考訳（メタデータ） (2026-05-11T03:15:37Z)
• On Training in Imagination [69.97419830683606]
  最先端のモデルに基づく強化学習手法は、想像上のロールアウトに関するポリシーを訓練する。 学習力学と報酬モデルにおける誤差が回帰や政策最適化に与える影響について検討する。
  論文  参考訳（メタデータ） (2026-05-07T12:51:32Z)
• $V_{0.5}$: Generalist Value Model as a Prior for Sparse RL Rollouts [81.48669089692189]
  一般値モデル(例えば$V_0.5$)は、コンテキスト内のモデル機能を明示的にエンコードすることで、事前訓練された値推定を実現する。 本稿では,このような値モデルにより予測されるベースラインと,スパースロールアウトから導出される経験的平均とを適応的に融合する$V_0.5$を提案する。 V_0.5$はGRPOとDAPOを大きく上回り、より高速な収束と約10%のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2026-03-11T14:57:41Z)
• Diagnosing and Mitigating System Bias in Self-Rewarding RL [37.83913102876393]
  検証可能な報酬(RLVR)による強化学習は、大規模言語モデル(LLM)の推論能力を拡大するが、継続するデータスケーリングのためにラベル付きサンプルの制限によりボトルネックが残る。 モデルは高信頼のロールアウトを過大評価する傾向があり、バイアスがあり不安定な報酬推定につながる。 本稿では,多種多様なモデルを集約し,報酬とロールアウトの選択に適応する強化学習(RLER)を提案する。
  論文  参考訳（メタデータ） (2025-10-10T03:38:17Z)
• The Surprising Effectiveness of Negative Reinforcement in LLM Reasoning [37.13807960501503]
  検証可能な報酬を伴う強化学習(RLVR)は、言語モデル(LM)のトレーニングに有望なアプローチである 我々は学習信号を正しい応答の強化と正負の正負の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の 我々は、NSRが不正確な世代を抑え、確率質量を他の可算候補に向けて再分配することで、モデルの以前の信念に導かれることを示す。
  論文  参考訳（メタデータ） (2025-06-02T06:10:54Z)
• Outcome-based Reinforcement Learning to Predict the Future [1.4313866885019229]
  コンパクトな(14B)推論モデルは、o1のようなフロンティアモデルの予測精度に適合または超えるように訓練可能であることを示す。 ポリマーケットのトレーディングシミュレーションでは、その賭けが10%以上の投資のリターンをもたらすと見積もっている。
  論文  参考訳（メタデータ） (2025-05-23T14:56:07Z)
• Momentum Improves Normalized SGD [51.27183254738711]
  モーメントを追加することで、目的に対する大きなバッチサイズの必要性を確実に排除できることを示す。 本稿では,ResNet-50 や BERT といった大規模タスクの事前学習において,提案手法が有効であることを示す。
  論文  参考訳（メタデータ） (2020-02-09T07:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。