論文の概要: Batched Contextual Reinforcement II: Does RLVR Need Long Rollout Windows?

• arxiv url: http://arxiv.org/abs/2610.22887v2
• Date: Tue, 20 Oct 2026 03:46:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.220332
• Title: Batched Contextual Reinforcement II: Does RLVR Need Long Rollout Windows?
• Title（参考訳）: Batched Contextual Reinforcement II: RLVRはWindowsを長くロールアウトする必要があるか?
• Abstract要約: 我々は、この長い窓への依存を、同時報酬がどのように緩和するかを研究する。 削減前の正しい回答が信用を維持する一方で、共有予算はより短い有用な推論を奨励することを示す。 これらの結果から,短時間のRLVRにおいて,報酬保存訓練構造をステップ単位のコスト削減のための実践的方法として同定した。
• 参考スコア（独自算出の注目度）: 13.173864187189222
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long rollout windows make reinforcement learning with verifiable rewards (RLVR) expensive, yet simply shortening them can remove the correctness signal: when every single-problem rollout truncates before an answer, group-relative accuracy advantages vanish. As a technical continuation of Batched Contextual Reinforcement (BCR), we study how concurrent rewards relax this dependence on long windows. Concurrent Constraint Reinforcement (CCR) places three independently verifiable problems in one capped training completion. Correct answers completed before truncation retain credit, while a shared budget encourages shorter useful reasoning without an explicit length penalty. We connect this mechanism to conditional reward- and update-variance analyses and study 4B and 8B mathematical reasoning models. Against single-problem GRPO with a 32k window, CCR with an 8,000-token window reduces tokens per training step from 975,464 to 174,957 on 4B and from 793,832 to 165,788 on 8B, saving 82.1% and 79.1%, respectively. An 8B training trace shows increasing accuracy reward alongside shorter completions. Single-problem evaluations provide supporting evidence of retained reasoning quality. These results identify reward-preserving training structure as a practical route to lower per-step cost in short-window RLVR.
• Abstract（参考訳）: ロングロールアウトウィンドウは、検証可能な報酬(RLVR)で強化学習を行うが、単に短縮するだけで、正当性信号を削除することができる。 本稿では,Batched Contextual Reinforcement (BCR) の技術的継続として,ロングウィンドウへの依存性を緩和する並行報酬について検討する。 Concurrent Constraint Reinforcement (CCR)は、3つの独立した検証可能な問題を1つのキャップ付きトレーニング完了に配置する。 切り捨て前の正しい答えは信用を保ち、一方、共有予算は、明示的な長さのペナルティなしで、より短い有用な推論を促進する。 本機構を条件付き報酬と更新分散分析に結合し, 4B と 8B の数学的推論モデルについて検討する。 32kの窓を持つシングルプロブレムのGRPOに対して、8000トーケンの窓を持つCCRは4Bで975,464から174,957、Bで793,832から165,788まで、それぞれ82.1%と79.1%のトークンを削減している。 8Bトレーニングトレースは、短い完了と同時に精度の向上を示す。 シングルプロブレム評価は、維持された推論品質の裏付けとなる証拠を提供する。 これらの結果から,短時間のRLVRにおいて,報酬保存訓練構造をステップ単位のコスト削減のための実践的方法として同定した。

関連論文リスト

• Double-Rollout Reinforcement Learning with Sampling-based Reward Estimation [17.747513896854812]
  検証可能な報酬付き強化学習(RLVR)は、推論言語モデルのトレーニングにおいて大きな進歩をもたらした。 このミスマッチの実証的証拠を提示し、その結果の報奨ノイズが強化学習の不安定性に寄与すると仮定する。 本稿では,2次ロールアウト強化学習を提案する。各ロールアウト毎に,その推理トレースを切断し,複数のプレフィックスをサンプリングし,元の報酬を平均継続報酬に置き換える。
  論文  参考訳（メタデータ） (2026-10-12T11:16:32Z)
• ThoughtFold: Folding Reasoning Chains via Introspective Preference Learning [69.64972562984882]
  提案するThoughtFoldは,よりきめ細かい選好学習を,効率的な推論のための冗長探索に活用するフレームワークである。 ThoughtFoldは効率を大幅に向上させる。 最先端の精度を維持しつつ、DeepSeek-R1-Distill-Qwen-7Bのトークン使用量を約56%削減する。
  論文  参考訳（メタデータ） (2026-06-02T11:21:27Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• Beyond Reasoning: Reinforcement Learning Unlocks Parametric Knowledge in LLMs [59.62441340813425]
  我々は、強化学習がパラメトリック知識の直接的リコールを改善するかどうかを検討する。 3つのモデルファミリと複数の事実QAベンチマークで、RLの平均相対利得は27%である。 機械的には、RLは主に新しい事実を得るのではなく、既存の知識の確率質量を再分配する。
  論文  参考訳（メタデータ） (2026-05-08T02:40:12Z)
• $\textbf{Re}^{2}$: Unlocking LLM Reasoning via Reinforcement Learning with Re-solving [75.29519604607111]
  検証可能な報奨(RLVR)による強化学習は、大規模言語モデル(LLM)の推論性能を高めることを約束している。 チェーン・オブ・シークレット(CoT)の初期方向や品質が最適以下である場合、モデルが正しい答えに到達できないことがよく示される。 再解決による強化学習 (Reinforcement Learning with Re-solving, Re$2$) を導入し, LLM が非生産的推論経路を柔軟に放棄し,必要ならば解法を再開することを学ぶ。
  論文  参考訳（メタデータ） (2026-03-07T13:17:46Z)
• Correct, Concise and Complete: Multi-stage Training For Adaptive Reasoning [11.179446105672461]
  教師付き微調整と強化学習を組み合わせた多段階効率的な推論手法を提案する。 提案手法は,8Bモデルでは平均28%,32Bモデルでは40%の応答長を減少させる。 より複雑な最先端の効率的な推論手法に比べて、優れたトレードオフを実現する。
  論文  参考訳（メタデータ） (2026-01-06T12:31:51Z)
• Efficient Reasoning via Reward Model [24.105621725286497]
  検証可能な報酬(RLVR)を用いた強化学習は、大規模言語モデル(LLM)の推論能力を高めることが示されている。 DeepSeek-R1 や OpenAI o1 のような LRM は、過剰または無関係な推論ステップを含む冗長な応答をしばしば生成する。 本稿では,結果報酬と簡潔度スコアとの間に明確な依存性を有する,CRF(Conciseness Reward Function)という新たな報酬定式化を導入する。
  論文  参考訳（メタデータ） (2025-11-12T09:51:07Z)
• DLER: Doing Length pEnalty Right - Incentivizing More Intelligence per Token via Reinforcement Learning [134.03095505580276]
  Doing Length pEnalty Right (DLER)は、バッチワイド報酬正規化、高いクリッピング、ダイナミックサンプリング、単純なトランケーション長ペナルティを組み合わせたトレーニングレシピである。 DLERは最先端の精度-効率のトレードオフを実現し、出力長を70%以上削減し、以前のベースライン精度をすべて上回っている。
  論文  参考訳（メタデータ） (2025-10-16T20:05:57Z)
• Stable Reinforcement Learning for Efficient Reasoning [2.838966689544288]
  GRPO-$lambda$ は GRPO の効率的で安定な変種である。 正当率を監視して報酬戦略を動的に調整する。 平均精度は1.48%向上し、CoT配列の長さは47.3%削減された。
  論文  参考訳（メタデータ） (2025-05-23T16:43:03Z)
• VeriThinker: Learning to Verify Makes Reasoning Model Efficient [52.74493506816969]
  大型推論モデルは、Chain-of-Thought (CoT)推論を用いて複雑なタスクで優れている。 過度に考える傾向は、必然的に長い推論連鎖に繋がる。 我々は,CoT圧縮の新しい手法であるVeriThinkerを紹介する。
  論文  参考訳（メタデータ） (2025-05-23T14:17:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。