論文の概要: Guided-RLVR: Guided Exploration in Reinforcement Learning with Verifiable Rewards

• arxiv url: http://arxiv.org/abs/2610.37041v1
• Date: Tue, 27 Oct 2026 11:13:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.574337
• Title: Guided-RLVR: Guided Exploration in Reinforcement Learning with Verifiable Rewards
• Title（参考訳）: Guided-RLVR: 検証可能なリワードを用いた強化学習におけるガイド付き探索
• Abstract要約: 検証可能な報酬(RLVR)による強化学習は、大規模言語モデル(LLM)の推論能力を向上させる上で、強い実証的な効果を示している。 本稿では,RLVRを軽量コントローラで拡張する新しいアプローチである Guided-RLVRを提案する。 数学的推論とコード生成ベンチマークの実験により、 Guided-RLVR は既存の RLVR 法より一貫して優れていることが示された。
• 参考スコア（独自算出の注目度）: 10.835339610214824
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) has shown strong empirical gains in improving the reasoning ability of large language models (LLMs) on tasks such as mathematics and programming. However, recent studies have shown that RLVR rollouts often collapse onto a narrow set of reasoning trajectories, limiting the explored reasoning space. Motivated by findings that thinking tokens at critical steps serve as critical structural elements in LLM reasoning pathways, we propose Guided-RLVR, a novel approach that augments RLVR with a lightweight controller. The controller strategically injects semantically meaningful steering tokens into the sampling distribution, encouraging the model to approach problems from multiple reasoning perspectives and thereby expanding the exploration space. Experiments on mathematical reasoning and code generation benchmarks show that Guided-RLVR consistently outperforms existing RLVR methods while producing more diverse reasoning trajectories.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、数学やプログラミングなどのタスクにおいて、大規模言語モデル(LLM)の推論能力を向上させる上で、強い実証的な効果を示している。 しかし、最近の研究では、RLVRのロールアウトはしばしば狭い推論軌道に崩壊し、探索された推論空間を制限することが示されている。 重要なステップにおける思考トークンがLLM推論経路における重要な構造的要素となるという知見に触発され,軽量コントローラでRLVRを増強する新しいアプローチである Guided-RLVR を提案する。 コントローラは、意味論的に意味のあるステアリングトークンをサンプリング分布に戦略的に注入し、複数の推論の観点から問題にアプローチするようモデルに促し、探索空間を拡大する。 数学的推論とコード生成ベンチマークの実験により、 Guided-RLVR は既存の RLVR 法よりも優れており、より多様な推論軌道を生成することが示されている。

関連論文リスト

• Boosting LLM Exploration via Weak-Model Guidance in RLVR [36.33733929880283]
  RLVRにおけるLLMの生成的多様性を維持するための,単純かつ効果的なアプローチを提案する。 内部探索のみに頼るのではなく、より小さく弱い言語モデルによって生成される部分的推論軌道に基づいて、ターゲットモデルに回答を強制する。 提案手法は, SFT, 複雑な報酬設計, 複雑なプロンプトを必要とすることなく, エントロピー崩壊を効果的に軽減する。
  論文  参考訳（メタデータ） (2026-08-27T17:45:50Z)
• BODHI: Do LLMs Branch Out and Discover Heterogeneous Inferences? [5.571635164072802]
  検証可能な報酬付き強化学習(RLVR)は、様々な推論タスクにわたる大規模言語モデル(LLM)の性能を改善した。 我々は,RLVR学習LLMにおける試験時間探索の性質を,制御された迷路解法実験を用いて,数学的推論トレースから木構造を抽出することによって検討した。 以上の結果から,RLVRモデルにおけるポリシエントロピー崩壊は,単に統語的ではなく,意味的分岐エントロピーの大幅な減少を伴っていることが明らかとなった。
  論文  参考訳（メタデータ） (2026-08-03T20:37:54Z)
• Adaptive Ability Decomposing for Unlocking Large Reasoning Model Effective Reinforcement Learning [82.91265691530351]
  A$2$Dは、検証可能な報酬による強化学習の有効性を高めるための適応能力分解手法である。 まず、蒸留なしでRLVRを介して分解器を訓練し、複雑な質問を単純なサブクエストの集合に分解する。 次に、このデコンパイラを使用して、トレーニングデータセットの各質問に対するサブクエストをアノテートし、サブクエストガイダンスを用いてRLVR下での推論をトレーニングする。
  論文  参考訳（メタデータ） (2026-01-31T14:48:23Z)
• Supervised Reinforcement Learning: From Expert Trajectories to Step-wise Reasoning [49.22815446849924]
  大規模言語モデル(LLM)は多段階推論を必要とする問題に悩まされることが多い。 小規模なオープンソースモデルでは、正しいソリューションがほとんどサンプリングされない場合には、RLVR(Reinforcement Learning with Verifiable Rewards)が失敗する。 問題解決を論理的「行動」の系列を生成するものとして再構成するフレームワークとして, SRL(Supervised Reinforcement Learning)を提案する。
  論文  参考訳（メタデータ） (2025-10-29T22:05:08Z)
• CDE: Curiosity-Driven Exploration for Efficient Reinforcement Learning in Large Language Models [85.315711639214]
  モデル固有の好奇心を利用して探索をガイドするフレームワークであるCuriosity-Driven Exploration (CDE)を紹介した。 アクターに対しては、生成された応答に対してパープレキシティを使用し、批判に対しては、マルチヘッドアーキテクチャからの値推定のばらつきを利用する。 理論的分析により,アクターのボーナスは本質的に過度に信頼された誤りを罰し,正しい反応の多様性を促進することが示唆された。
  論文  参考訳（メタデータ） (2025-09-11T17:59:17Z)
• Reinforcement Learning with Verifiable Rewards Implicitly Incentivizes Correct Reasoning in Base LLMs [35.27561531876348]
  本稿では,LLVRを用いた強化学習が大規模言語モデル(LLM)に及ぼす影響を体系的に検討する。 RLVRは数学的タスクとコーディングタスクの両方の推論境界を拡張可能であることを示す。 本稿では,RLVRのインセンティブメカニズムを説明する理論的枠組みについて述べる。
  論文  参考訳（メタデータ） (2025-06-17T07:06:56Z)
• Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? [66.61292196146016]
  RLVR(Reinforcement Learning with Verifiable Rewards)は近年,大規模言語モデル(LLM)の推論性能の向上に成功している。 本研究はRLVRの現状を批判的に考察する。 現在のトレーニング設定では、根本的な新しい推論パターンが生まれていないことが分かりました。
  論文  参考訳（メタデータ） (2025-04-18T17:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。