論文の概要: Decoupling Exploration from Optimization in RLVR

• arxiv url: http://arxiv.org/abs/2610.10536v1
• Date: Wed, 07 Oct 2026 17:59:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:23.107262
• Title: Decoupling Exploration from Optimization in RLVR
• Title（参考訳）: RLVRにおける最適化からの探索の分離
• Abstract要約: RLVRの重要な約束は、新しい推論戦略の発見である。 実際には、強力なノベルティインセンティブでRLVRを増強することは、成功が限られ、モデルの品質が低下する可能性がある。 探索蒸留(ExpDis)と呼ばれるフレームワークで最適化から探索を分離する
• 参考スコア（独自算出の注目度）: 43.616488367844006
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern language models undergo reinforcement learning with verifiable rewards (RLVR) on top of already-trained checkpoints. A key promise of RLVR is the discovery of new reasoning strategies. In principle, a model can sample novel ideas absent from its prior training data. In practice, however, augmenting RLVR with strong novelty incentives has seen limited success and can degrade model quality. Because verifiable rewards supervise only a narrow slice of the model's knowledge and behavior, such degradations are difficult to recover from. Instead, we decouple exploration from optimization in a framework we call Exploration-Distillation (ExpDis). We train one or more explorer policies with a novelty bonus in the reward, filter their trajectories for correctness and quality, and distill them into a separate student policy. The student policy is then trained without a novelty bonus. We repeat the above procedure for several rounds, alternating between exploration and optimization. This decoupling allows us to aggressively scale exploration without degrading the student policy. Across seven mathematical reasoning benchmarks and two model families, ExpDis outperforms DAPO at the same wall-clock budget. Moreover, we observe improved pass@$k$ scaling, indicating that ExpDis produces models that generate more diverse correct solutions.
• Abstract（参考訳）: 現代の言語モデルは、すでに訓練されたチェックポイントの上に、検証可能な報酬(RLVR)で強化学習を行っている。 RLVRの重要な約束は、新しい推論戦略の発見である。 原則として、モデルは以前のトレーニングデータから欠落した新しいアイデアをサンプリングすることができる。 しかし、実際には、強力なノベルティインセンティブでRLVRを増強することは、成功が限られ、モデルの品質が低下する可能性がある。 検証可能な報酬は、モデルの知識と振舞いのわずかなスライスだけを監督するので、そのような劣化を回復することは困難である。 代わりに、ExpDis(Exploation-Distillation)と呼ばれるフレームワークで、最適化から探索を分離します。 我々は1つ以上の探検家政策を、報酬に新規なボーナスで訓練し、彼らの軌道を正しさと品質のためにフィルタリングし、それらを別の学生政策に蒸留する。 生徒の政策は新入生のボーナスなしで訓練される。 いくつかのラウンドで上記の手順を繰り返し、探索と最適化の交互に行う。 この分離により、学生政策を損なうことなく積極的に探索をスケールできる。 7つの数学的推論ベンチマークと2つのモデルファミリで、ExpDisは同じウォールタイム予算でDAPOを上回っている。 さらに、改良されたpass@$k$スケーリングを観察し、ExpDisがより多様な正しいソリューションを生成するモデルを生成することを示す。

関連論文リスト

• How You Begin is How You Reason: Driving Exploration in RLVR via Prefix-Tuned Priors [19.04681987667992]
  提案手法は,基本モデルの軌道の推論よりも優先されるような,ソフトな接頭辞のプールを訓練するためのフレームワークである。 我々は、RLトレーニングの検証可能な報酬を補完するために、情報最大化報酬を導出する。 実験の結果、IMAXは標準RLVRよりも推論性能を一貫して改善することがわかった。
  論文  参考訳（メタデータ） (2026-05-09T09:10:03Z)
• Context Bootstrapped Reinforcement Learning [51.213972559315486]
  Reinforcement Learning from Verifiable Rewards (RLVR) は、探索の非効率さに悩まされている。 我々は,数発のデモをトレーニングプロンプトに先立ってRLVRトレーニングを増強するContextped Bootstrapped Reinforcement Learning (CBRL)を提案する。 CBRLは、成功率を一貫して改善し、探索効率を向上し、アルゴリズムに依存しない。
  論文  参考訳（メタデータ） (2026-03-19T14:23:59Z)
• How Far Can Unsupervised RLVR Scale LLM Training? [57.44753418846446]
  検証可能な報酬を伴う教師なし強化学習(URLVR)は、監督ボトルネックを越えてLLMトレーニングをスケールするための経路を提供する。 最近の研究は、モデル固有の信号を活用し、期待できる早期の利得を示しているが、その可能性と限界は未だ不明である。 我々は、URLVRメソッドを報酬源に基づく固有対外部に分類し、統一された理論的枠組みを確立する。
  論文  参考訳（メタデータ） (2026-03-09T17:38:11Z)
• The Reasoning Boundary Paradox: How Reinforcement Learning Constrains Language Models [31.773914661815393]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上のための重要な手法である。 最近の証拠は、拡張するのではなく、パラドックス的に推論境界を縮小する可能性があることを示唆している。 本稿では,RLVRの学習力学を解析することにより,RLVRの縮小問題を考察する。
  論文  参考訳（メタデータ） (2025-10-02T17:17:27Z)
• CDE: Curiosity-Driven Exploration for Efficient Reinforcement Learning in Large Language Models [85.315711639214]
  モデル固有の好奇心を利用して探索をガイドするフレームワークであるCuriosity-Driven Exploration (CDE)を紹介した。 アクターに対しては、生成された応答に対してパープレキシティを使用し、批判に対しては、マルチヘッドアーキテクチャからの値推定のばらつきを利用する。 理論的分析により,アクターのボーナスは本質的に過度に信頼された誤りを罰し,正しい反応の多様性を促進することが示唆された。
  論文  参考訳（メタデータ） (2025-09-11T17:59:17Z)
• Residual Reward Models for Preference-based Reinforcement Learning [11.797520525358564]
  優先度に基づく強化学習(PbRL)は、報酬信号の特定が難しい環境で、高性能なポリシーを学習する方法を提供する。 PbRLは報酬モデルでのトレーニングを必要とするため、収束速度が遅い。 本稿では,Residual Reward Model (RRM) を用いた事前知識の有効活用手法を提案する。
  論文  参考訳（メタデータ） (2025-07-01T09:43:57Z)
• Think or Not? Selective Reasoning via Reinforcement Learning for Vision-Language Models [67.87579664988199]
  TONは視覚言語モデル(VLM)のための2段階のトレーニング戦略である 選択的な推論のためのコールドスタートとして機能するシンクまたはノットフォーマットを導入している。 TONは、バニラGRPOと比較して、完成期間を最大90%短縮することができる。
  論文  参考訳（メタデータ） (2025-05-22T16:13:29Z)
• Reward Uncertainty for Exploration in Preference-based Reinforcement Learning [88.34958680436552]
  好みに基づく強化学習アルゴリズムを対象とした探索手法を提案する。 我々の基本的な考え方は、学習した報酬に基づいて、斬新さを測定することによって、本質的な報酬を設計することである。 実験により、学習報酬の不確実性からの探索ボーナスは、好みに基づくRLアルゴリズムのフィードバック効率とサンプル効率の両方を改善することが示された。
  論文  参考訳（メタデータ） (2022-05-24T23:22:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。