論文の概要: Off-Context GRPO: Learning to Reason on Hard Problems using Privileged Information
- arxiv url: http://arxiv.org/abs/2607.19313v1
- Date: Tue, 21 Jul 2026 17:28:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.501831
- Title: Off-Context GRPO: Learning to Reason on Hard Problems using Privileged Information
- Title（参考訳）: オフコンテキストGRPO:予備情報を用いた難題の推論学習
- Abstract要約: 検証可能な報酬(RLVR)による強化学習は、大規模言語モデルの推論を改善する。
ソリューションプレフィックスのようなトレーニング中に特権的なガイダンスを提供することは、この学習の崖を克服するのに役立ちます。
Off-Context GRPOは、ガイド付きロールアウトを用いたGRPOの最小修正版である。
- 参考スコア（独自算出の注目度）: 7.967640756611035
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning with verifiable rewards (RLVR) improves reasoning in large language models. Yet, typical RLVR approaches fail on difficult problems: when a model cannot generate any correct solutions, it receives \textit{zero} learning signal. Providing privileged guidance during training, such as solution prefixes, can help overcome this learning cliff by steering the model towards {correct solutions with non-zero reward}. {We call these rollouts \textit{off-context}: they are generated from a training prompt that contains privileged guidance, while the target objective is defined by the original prompt without that guidance.} {We introduce} Off-Context GRPO (OC-GRPO), a minimally modified variant of GRPO that uses guided rollouts but applies an importance-corrected objective to steer the update back toward the original unguided objective, avoiding the mismatch that destabilizes uncorrected guided training. Empirically, our algorithm achieves a 3.9\% absolute improvement (13.8\% relative gain) over vanilla GRPO on average across standard mathematical reasoning benchmarks with negligible additional cost.
- Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習は、大規模言語モデルの推論を改善する。
しかし、典型的なRLVRアプローチは難しい問題で失敗する: モデルが正しい解を生成できない場合、それは textit{zero} 学習信号を受け取る。
ソリューションプレフィックスのようなトレーニング中に特権的なガイダンスを提供することは、モデルが非ゼロ報酬を持つ正しいソリューションへと舵を切ることによって、この学習の限界を克服するのに役立つ。
これらのロールアウトを {textit{off-context}: これらは特権的なガイダンスを含むトレーニングプロンプトから生成される。
Off-Context GRPO (OC-GRPO)は、ガイド付きロールアウトを使用するGRPOの最小限の修正版で、重要修正された目的を適用して、修正されていないガイド付きトレーニングを不安定にするミスマッチを回避する。
実験的に、我々のアルゴリズムはバニラGRPOに対して平均3.9 %の絶対的な改善(13.8 %の相対的なゲイン)を、無視できる追加コストを伴う標準的な数学的推論ベンチマークで達成する。
関連論文リスト
- TD-Grokking: Learning from Zero-Reward Problems by Training-Time Decomposition [10.882920019894451]
ゼロ逆問題に対する学習時間分解フレームワークTD-Grokkingを提案する。
TD-Grokking はバニラGRPO と全てのベースラインアプローチに優れることを示す。
論文 参考訳（メタデータ） (2026-06-03T06:40:04Z) - Learning from Failures: Correction-Oriented Policy Optimization with Verifiable Rewards [73.44333771806282]
RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上に有効なパラダイムとして登場した。
本稿では,RLVRの簡易かつ効果的な拡張であるCIPO(Correction-Oriented Policy Optimization)を提案する。
CIPOは学習効率を向上し、モデルが自身のエラーを修正する能力を明示的に強化する。
論文 参考訳（メタデータ） (2026-05-14T08:22:21Z) - Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。
グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。
特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
論文 参考訳（メタデータ） (2026-04-20T16:43:28Z) - Cog-DRIFT: Exploration on Adaptively Reformulated Instances Enables Learning from Hard Reasoning Problems [70.94268452442147]
検証可能な報酬(RLVR)からの強化学習はLLMの推論能力を改善した。
本稿では,タスク修正に基づくシンプルで効果的なソリューションを提案する。
本稿では,Cag-DRIFTについて紹介する。このフレームワークは改良された変種を構築し,適応的なカリキュラムに編成する。
論文 参考訳（メタデータ） (2026-04-06T15:38:38Z) - GradAlign: Gradient-Aligned Data Selection for LLM Reinforcement Learning [55.03441672267886]
強化学習のための勾配整列データ選択法GradAlignを提案する。
GradAlignは,信頼できない報酬信号,分散不均衡,低ユーティリティトレーニングコーパスの3つにまたがって評価する。
論文 参考訳（メタデータ） (2026-02-25T01:54:50Z) - Knowing the Answer Isn't Enough: Fixing Reasoning Path Failures in LVLMs [85.37131922131657]
我々はLVLM(Large Vision-Language Models)の重大な欠陥を明らかにした。
これらのモデルが正しい答えを知っていても、誤った推論経路を通じて頻繁にそこに到達します。
PSO(Path-Select Optimization)は,既存のLVLMの推論性能と安定性を両立させる2段階のポストトレーニングフレームワークである。
論文 参考訳（メタデータ） (2025-12-06T03:02:55Z) - HINT: Helping Ineffective Rollouts Navigate Towards Effectiveness [49.72591739116668]
強化学習(RL)は、大規模言語モデル(LLM)の長いチェーン・オブ・シント(CoT)推論能力を高めるための重要な要因となっている。
しかし、GRPOのような一般的な手法は、タスクの難しさがモデルの能力を超えると失敗し、スパーシリティと非効率なトレーニングに報いる。
我々は、適応的なヒントフレームワークであるHINT: Helping In Effective Rollouts Navigate Towards Effectiveを提案する。
論文 参考訳（メタデータ） (2025-10-10T13:42:03Z) - Adaptive Guidance Accelerates Reinforcement Learning of Reasoning Models [3.207886496235499]
検証可能な報酬(RLVR)に基づく強化学習で学習した推論モデルを用いて,新たな問題を解決する方法について検討する。
RLVRは、(1)pass@$k$をpass@1に圧縮し、(2)"capability gain"を介して、モデルが以前、$k$で解決できなかった新しい問題を解決することを学習する、という2つの主な方法でパフォーマンスを駆動する。
論文 参考訳（メタデータ） (2025-06-16T19:03:06Z) - Rewarding the Unlikely: Lifting GRPO Beyond Distribution Sharpening [36.81125165911328]
強化学習は、言語モデルの推論能力を改善する主要な要因として現れています。
本稿では,現在の強化学習アルゴリズムが,すでに解いている問題に関するベースモデルの分布を単に研ぎ澄ましているだけかどうかを考察する。
差分報酬はランクバイアスを緩和し、合成定理と実定理の両方の証明設定において、多種多様な$N$でpass@N$を改善することを示す。
論文 参考訳（メタデータ） (2025-06-03T01:15:15Z) - GRPO-LEAD: A Difficulty-Aware Reinforcement Learning Approach for Concise Mathematical Reasoning in Language Models [0.3831554157916835]
グループ相対政策最適化(GRPO)はR1のような推論モデルで広く採用されている。
GRPO-LEAD は,(1) 精度を維持しながら簡潔さを向上するための長規則化報酬,(2) モデル精度を向上させるための不正解に対する明確な罰則,(3) 難解な問題に対する堅牢な一般化のための困難に配慮した有利な再重み付けを提案する。
提案手法は,14Bスケールモデルに対する最先端性能を実現し,適切なモデルスケールと高品質なデータを用いた手法の相乗効果を実証する。
論文 参考訳（メタデータ） (2025-04-13T19:07:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。