論文の概要: Double-Rollout Reinforcement Learning with Sampling-based Reward Estimation

• arxiv url: http://arxiv.org/abs/2610.16593v1
• Date: Mon, 12 Oct 2026 11:16:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.361786
• Title: Double-Rollout Reinforcement Learning with Sampling-based Reward Estimation
• Title（参考訳）: サンプリングに基づく逆推定による二重ロールアウト強化学習
• Abstract要約: 検証可能な報酬付き強化学習(RLVR)は、推論言語モデルのトレーニングにおいて大きな進歩をもたらした。 このミスマッチの実証的証拠を提示し、その結果の報奨ノイズが強化学習の不安定性に寄与すると仮定する。 本稿では,2次ロールアウト強化学習を提案する。各ロールアウト毎に,その推理トレースを切断し,複数のプレフィックスをサンプリングし,元の報酬を平均継続報酬に置き換える。
• 参考スコア（独自算出の注目度）: 17.747513896854812
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) implemented with Group Relative Policy Optimization (GRPO) has driven substantial progress in training reasoning language models. However, verifiable outcome rewards provide an imperfect measure of reasoning quality: a correct final answer may not be supported by the reasoning trace, whereas an incorrect rollout may contain a nearly correct reasoning trajectory. We present empirical evidence for this mismatch and hypothesize that the resulting reward noise contributes to instability in reinforcement learning for both reasoning accuracy and token efficiency. To address this credit assignment challenge, this paper proposes double-rollout reinforcement learning. For each sampled rollout, we truncate its reasoning trace, sample multiple continuations from the truncated prefix, and replace the original reward with the mean continuation reward, yielding a more robust estimate of reasoning quality. This double-rollout algorithm incurs only a moderate increase in compute cost and yet reaches substantially higher accuracies across math and coding tasks and across Qwen and Nemotron models than baseline algorithms with fewer RL steps. For example, using only DAPO data it trains Nemotron-3-Nano-30B-A3B to reach 95.4% on AIME 2026, versus 91.5% by GRPO and substantially above state of the art for this model size, within 30 RL steps. When combined with length-based rewards, the same algorithm further improves the accuracy-efficiency Pareto frontier over existing efficiency optimizations. These findings suggest that the double-rollout reward estimation is an effective and cost-efficient way to improve both the accuracy and token efficiency of reasoning RL.
• Abstract（参考訳）: グループ相対政策最適化(GRPO)で実装された検証可能な報酬付き強化学習(RLVR)は、推論言語モデルのトレーニングにおいて大きな進歩をもたらした。 しかし、検証可能な結果報酬は、推論品質の不完全な尺度を与える:正しい最終回答は推論トレースによって支持されないが、誤ったロールアウトは、ほぼ正しい推論軌道を含むかもしれない。 このミスマッチの実証的証拠を提示し,結果の報奨雑音が推理精度とトークン効率の両面において強化学習の不安定性に寄与すると仮定した。 本稿では,この信用割当問題に対処するために,二重ロールアウト強化学習を提案する。 サンプルロールアウト毎に、その推論トレースを切断し、トランカットしたプレフィックスから複数の継続をサンプリングし、元の報酬を平均継続報酬に置き換え、推論品質をより堅牢に見積もる。 この二重ロールアウトアルゴリズムは計算コストの適度な増加に留まるが、数学やコーディングタスク、QwenやNemotronモデルにおいて、RLステップの少ないベースラインアルゴリズムよりもはるかに高い精度に達する。 例えば、DAPOデータのみを使用して、Nemotron-3-Nano-30B-A3BをAIME 2026で95.4%、GRPOで91.5%、このモデルサイズではほぼ最先端の30 RLステップで訓練している。 長さに基づく報酬と組み合わせると、同じアルゴリズムは既存の効率最適化よりも精度・効率のParetoフロンティアをさらに改善する。 これらの結果から, ダブルロールアウト報酬推定は, 推論RLの精度とトークン効率を両立させる有効な方法であり, コスト効率が高いことが示唆された。

関連論文リスト

• Unified Data Selection for LLM Reasoning [66.0118347918729]
  複雑で長いCoT推論のための大規模言語モデル(LLM)のトレーニングは、しばしば大量の高品質な推論データの必要性によってボトルネックとなる。 本研究では,各推論サンプルの上位(例えば0.5%)のエントロピートークンのみを和らげることで,推論品質を定量化する学習自由度指標であるHigh-Entropy Sum(HES)を提案する。
  論文  参考訳（メタデータ） (2026-05-21T12:21:41Z)
• Stepwise Penalization for Length-Efficient Chain-of-Thought Reasoning [66.22060690012512]
  大規模な推論モデルは、より多くのテストタイム計算で改善されるが、しばしば過大評価され、正確さを向上することなくコストを上昇させる必要のない長い連鎖を生み出す。 本研究は,本質的な貢献に基づいて,ステップ間の長さ短縮を割り当てる,きめ細かいフレームワークであるSWAPを提案する。
  論文  参考訳（メタデータ） (2026-02-27T20:23:59Z)
• Beyond Correctness: Learning Robust Reasoning via Transfer [51.403609251508904]
  我々は単純な哲学的見解を採用するが、堅牢な推論はそれを作った心を超えて有用であるべきである。 本稿では,トランスファーブル・リワードを用いた強化学習を紹介し,トランスファーブル・リワードによるロバストネスの運用について述べる。 提案手法は,最終回答精度を向上しながらサンプリング一貫性を向上し,ほぼ少ないトレーニングステップで同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-02-09T10:41:44Z)
• Correct, Concise and Complete: Multi-stage Training For Adaptive Reasoning [11.179446105672461]
  教師付き微調整と強化学習を組み合わせた多段階効率的な推論手法を提案する。 提案手法は,8Bモデルでは平均28%,32Bモデルでは40%の応答長を減少させる。 より複雑な最先端の効率的な推論手法に比べて、優れたトレードオフを実現する。
  論文  参考訳（メタデータ） (2026-01-06T12:31:51Z)
• Efficient Reasoning via Reward Model [24.105621725286497]
  検証可能な報酬(RLVR)を用いた強化学習は、大規模言語モデル(LLM)の推論能力を高めることが示されている。 DeepSeek-R1 や OpenAI o1 のような LRM は、過剰または無関係な推論ステップを含む冗長な応答をしばしば生成する。 本稿では,結果報酬と簡潔度スコアとの間に明確な依存性を有する,CRF(Conciseness Reward Function)という新たな報酬定式化を導入する。
  論文  参考訳（メタデータ） (2025-11-12T09:51:07Z)
• Stable Reinforcement Learning for Efficient Reasoning [2.838966689544288]
  GRPO-$lambda$ は GRPO の効率的で安定な変種である。 正当率を監視して報酬戦略を動的に調整する。 平均精度は1.48%向上し、CoT配列の長さは47.3%削減された。
  論文  参考訳（メタデータ） (2025-05-23T16:43:03Z)
• VAPO: Efficient and Reliable Reinforcement Learning for Advanced Reasoning Tasks [49.0793012627959]
  本稿では,価値に基づくパラダイム内での推論モデルに適した新しいフレームワークVAPOを提案する。 VAPOは最先端のスコアが$mathbf60.4$に達する。 同じ実験条件下で直接比較すると、VAPOはDeepSeek-R1-Zero-Qwen-32BとDAPOの結果を10点以上上回っている。
  論文  参考訳（メタデータ） (2025-04-07T14:21:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。