論文の概要: Balancing Reference Guidance and Free Generation in Trajectory Rollouts for Reasoning RL
- arxiv url: http://arxiv.org/abs/2610.11128v1
- Date: Thu, 08 Oct 2026 02:54:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.748966
- Title: Balancing Reference Guidance and Free Generation in Trajectory Rollouts for Reasoning RL
- Title（参考訳）: 共振RL用トラジェクトリロールアウトのバランシング基準誘導とフリージェネレーション
- Abstract要約: 検証された参照ソリューションは、推論モデルをトレーニングするための正しい軌跡を提供する。
あるいは、参照のプレフィックスは、自身の軌跡を生成する際にモデルを導くことができる。
そこでは,モデルが参照プレフィックスから継続して,検証をパスした場合に,結果の軌跡を保持する。
- 参考スコア（独自算出の注目度）: 30.383598065007618
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A verified reference solution provides a correct trajectory for training a reasoning model. Alternatively, a prefix of the reference can guide the model in generating a trajectory of its own. How much reference guidance should we provide? We study this question through prefix continuation, where the model continues from a reference prefix and keeps the resulting trajectory if it passes verification, falling back to the reference otherwise. Since both procedures produce correct trajectories, we compare their distributions with the ideal distribution, the model's own distribution conditioned on successful verification. For one continuation, we derive the KL divergence in closed form, which, up to a bounded term, decreases with the product of the probability of generating a different correct trajectory and the reference surprisal, the negative log probability of the reference suffix given the prefix. Since a longer prefix tends to raise the former but lowers the latter, continuation success alone does not determine the preferred amount of guidance. From this analysis, we learn a prefix selector shared across training questions from continuation outcomes, without estimating success probabilities or additional generation. The resulting Adaptive Reference Guidance (ARG) constructs correct trajectories within a fixed generation budget, and we apply it to all-failure groups in Group Relative Policy Optimization (GRPO). Experiments on Qwen3-4B and Qwen3-8B across five mathematical reasoning benchmarks show that ARG achieves the highest aggregate pass@12 among the evaluated methods with competitive average sampled accuracy.
- Abstract（参考訳）: 検証された参照ソリューションは、推論モデルをトレーニングするための正しい軌跡を提供する。
あるいは、参照のプレフィックスは、自身の軌跡を生成する際にモデルを導くことができる。
どの程度の参照ガイダンスを提供するべきか?
そこで, モデルが参照プレフィックスから継続し, 検証をパスした場合は, 結果の軌道を保ち, 参照にフォールバックする。
いずれの手順も正しい軌跡を生成するので、その分布を理想的な分布と比較する。
1 つの連続体に対して、KL の閉形式の発散は、有界項まで、異なる正しい軌道を生成する確率の積と、接頭辞が与えられた参照接尾辞の負の対数確率によって減少する。
より長いプレフィックスは前者を上げる傾向にあるが後者を下げる傾向にあるため、継続成功だけでは推奨されるガイダンスの量を決定できない。
この分析から,学習課題間で共有されるプレフィックスセレクタを,成功確率や追加生成を見積もることなく,継続結果から学習する。
その結果,Adaptive Reference Guidance (ARG) は固定世代予算内で正しい軌道を構築し,グループ相対政策最適化(GRPO)における全欠陥グループに適用する。
5つの数学的推論ベンチマークによるQwen3-4BとQwen3-8Bの実験は、ARGが競合平均サンプリング精度の高い評価手法の中で、最も高い集合パス@12を達成することを示した。
関連論文リスト
- Back to the Definition: Estimating Step-Level Advantages via Trajectory Graphs for Agentic Reinforcement Learning [23.065672098899213]
グループベース強化学習(RL)手法は、推論とエージェント型大規模言語モデル(LLM)を訓練するための主要なパラダイムとなっている。
グループ正規化による優位推定は応答レベルでは信頼できるが、ステップレベルでは体系的にバイアスとなる。
本稿では,すべてのロールアウトトラジェクトリをトラジェクトリグラフに移植するグラフベースのFithful sTepレベルクレジットアサインメントフレームワーク(GRAFT)を提案する。
論文 参考訳（メタデータ） (2026-09-24T03:20:58Z) - Post-Training at the Edge of Detectability: A Game-Theoretic Approach to Fine-Tuning [58.088509347353465]
強化学習(Reinforcement Learning, RL)は、言語モデルトレーニングにおいて広く使われている。
我々は,このトレードオフに明確な統計的解釈を与えるゲーム理論の枠組みを提案する。
論文 参考訳（メタデータ） (2026-07-29T00:19:09Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - Grounded Decoding: Retrieval-Anchored Probability Fusion for Faithful RAG [6.324418485299426]
大規模な言語モデルは、競合が発生したとき、検索された情報よりもパラメトリックな知識を優先することができる。
本稿では,モデルパラメータを変更することなくRAGの現実的整合性を改善するために,新しいトレーニングフリーデコーディングフレームワークであるemphGrounded Decodingを提案する。
以上の結果から, 確率レベルの融合は, 忠実なRAG復号化のためのロジットレベルの介入法に代わる, 強力かつ効率的な代替手段となることが示唆された。
論文 参考訳（メタデータ） (2026-05-29T23:47:39Z) - When Right Meets Wrong: Bilateral Context Conditioning with Reward-Confidence Correction for GRPO [18.988527161000203]
グループ相対政策最適化(GRPO)は、推論モデルを訓練するための効果的な方法として登場した。
本稿では,GRPOの目的が正解率と正解率とのマージンを暗黙的に最大化することを示す。
本稿では,モデルが相互参照を成功させる機構であるバイラテラルコンテキストコンディショニング(BICC)を提案する。
論文 参考訳（メタデータ） (2026-03-13T16:25:02Z) - SimGR: Escaping the Pitfalls of Generative Decoding in LLM-based Recommendation [68.00727783181289]
推薦システムの中核的な目的は、パーソナライズされたレコメンデーションを可能にするために、アイテムよりもユーザの好みの分布を正確にモデル化することである。
アイテムレベルの嗜好分布を推定する際に,既存の手法が必然的に系統的バイアスを生じさせることを観察する。
textbfSimply textbfGenerative textbfRecommendation (textbfSimGR)を提案する。
論文 参考訳（メタデータ） (2026-02-08T07:26:52Z) - Rewarding the Unlikely: Lifting GRPO Beyond Distribution Sharpening [36.81125165911328]
強化学習は、言語モデルの推論能力を改善する主要な要因として現れています。
本稿では,現在の強化学習アルゴリズムが,すでに解いている問題に関するベースモデルの分布を単に研ぎ澄ましているだけかどうかを考察する。
差分報酬はランクバイアスを緩和し、合成定理と実定理の両方の証明設定において、多種多様な$N$でpass@N$を改善することを示す。
論文 参考訳（メタデータ） (2025-06-03T01:15:15Z) - Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳（メタデータ） (2024-05-29T01:32:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。