論文の概要: Unlocking the Unsolvable: Teacher-Guided Curriculum for Data-Efficient RLVR

• arxiv url: http://arxiv.org/abs/2609.13997v1
• Date: Sat, 12 Sep 2026 15:22:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.632936
• Title: Unlocking the Unsolvable: Teacher-Guided Curriculum for Data-Efficient RLVR
• Title（参考訳）: 教師が指導するデータ効率のRLVRカリキュラム
• Abstract要約: 128の解決不可能な問題に対するトレーニングは、2,000個のプロブレムコーパスでトレーニングされたGRPOと一致またはそれ以上である。 本研究では,無誘導問題解決に向けた学習を支援するモノトンフロンティアカリキュラム (MFC) を提案する。
• 参考スコア（独自算出の注目度）: 2.6806257130827658
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement Learning with Verifiable Rewards (RLVR) has shown remarkable success in improving the mathematical reasoning of large language models. Yet problems beyond the model's current capability, where rollouts uniformly fail and no learning signal is produced, are structurally wasted despite marking the most informative training frontier. We show that these otherwise-inert problems can be unlocked via teacher-guided curriculum learning: partial reasoning traces from a stronger model create a graded difficulty landscape, and a backward-chaining curriculum progressively withdraws guidance until the model solves problems unaided. Training on only 128 unsolvable problems matches or exceeds GRPO trained on a full 2,000-problem corpus (~16x data efficiency) on the nine-benchmark average for both base models, while substantially expanding the reasoning boundary measured by pass@k at large k. Furthermore, we identify a distribution-shift cost that is particularly acute in the unsolvable-only regime and propose Monotone Frontier Curriculum (MFC), a method that monotonically drives training toward unguided solving, consistently outperforming existing curriculum methods.
• Abstract（参考訳）: RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの数学的推論の改善に成功している。 しかし、ロールアウトが一様に失敗し、学習信号が生成されない現在の能力を超えた問題は、最も有意義なトレーニングフロンティアをマークしているにもかかわらず、構造的に無駄にされる。 より強いモデルからの部分的推論トレースは、難易度の高いランドスケープを生み出し、後向きのカリキュラムは、モデルを無視するまでガイダンスを段階的に取り下げる。 たった128の未解決問題に対するトレーニングは、2つのベースモデルの9ベンチマーク平均で2000プロブレムコーパス(約16倍のデータ効率)でトレーニングされたGRPOと一致し、大きな k でpass@k によって測定された推論境界を大きく拡大した。 さらに,未解決のシステムにおいて特に急激な分散シフトコストを特定し,モノトンフロンティアカリキュラム(MFC)を提案する。

関連論文リスト

• Off-Context GRPO: Learning to Reason on Hard Problems using Privileged Information [7.967640756611035]
  検証可能な報酬(RLVR)による強化学習は、大規模言語モデルの推論を改善する。 ソリューションプレフィックスのようなトレーニング中に特権的なガイダンスを提供することは、この学習の崖を克服するのに役立ちます。 Off-Context GRPOは、ガイド付きロールアウトを用いたGRPOの最小修正版である。
  論文  参考訳（メタデータ） (2026-07-21T17:28:40Z)
• TD-Grokking: Learning from Zero-Reward Problems by Training-Time Decomposition [10.882920019894451]
  ゼロ逆問題に対する学習時間分解フレームワークTD-Grokkingを提案する。 TD-Grokking はバニラGRPO と全てのベースラインアプローチに優れることを示す。
  論文  参考訳（メタデータ） (2026-06-03T06:40:04Z)
• Cog-DRIFT: Exploration on Adaptively Reformulated Instances Enables Learning from Hard Reasoning Problems [70.94268452442147]
  検証可能な報酬(RLVR)からの強化学習はLLMの推論能力を改善した。 本稿では,タスク修正に基づくシンプルで効果的なソリューションを提案する。 本稿では,Cag-DRIFTについて紹介する。このフレームワークは改良された変種を構築し,適応的なカリキュラムに編成する。
  論文  参考訳（メタデータ） (2026-04-06T15:38:38Z)
• Native Reasoning Models: Training Language Models to Reason on Unverifiable Data [16.065264121785294]
  NRT(Native Reasoning Training)は、複雑な推論を育む新しいフレームワークである。 NRTは、推論プロセスを潜在変数として扱うことで、トレーニング問題を再構築する。 NRTは検証不要な手法の最先端性能を実現する。
  論文  参考訳（メタデータ） (2026-02-12T04:15:46Z)
• Training Reasoning Models on Saturated Problems via Failure-Prefix Conditioning [0.3823356975862005]
  本研究では,飽和問題から学習する簡易かつ効果的な手法であるフェールコンディショニングを提案する。 障害発生条件付けにより,中級難易度問題における訓練条件に適合する性能向上が期待できる。 以上の結果から, 故障条件付けは飽和問題に対するRLVRトレーニングの拡張に有効な経路であることが示唆された。
  論文  参考訳（メタデータ） (2026-01-28T18:29:21Z)
• Scaf-GRPO: Scaffolded Group Relative Policy Optimization for Enhancing LLM Reasoning [49.290631188365786]
  Scaf-GRPOは、モデルの独立した学習が停滞した時に介入するトレーニングフレームワークである。 これはQwen2.5-Math-7Bモデルのパス@1スコアを、バニラGRPOベースラインよりも44.3%向上させる。 この結果から、我々のフレームワークは、それまで到達範囲を超えていた問題を解決するモデルの能力を解き放つ、堅牢で効果的な方法論を提供することを示した。
  論文  参考訳（メタデータ） (2025-10-22T17:41:30Z)
• HINT: Helping Ineffective Rollouts Navigate Towards Effectiveness [49.72591739116668]
  強化学習(RL)は、大規模言語モデル(LLM)の長いチェーン・オブ・シント(CoT)推論能力を高めるための重要な要因となっている。 しかし、GRPOのような一般的な手法は、タスクの難しさがモデルの能力を超えると失敗し、スパーシリティと非効率なトレーニングに報いる。 我々は、適応的なヒントフレームワークであるHINT: Helping In Effective Rollouts Navigate Towards Effectiveを提案する。
  論文  参考訳（メタデータ） (2025-10-10T13:42:03Z)
• The Path of Self-Evolving Large Language Models: Achieving Data-Efficient Learning via Intrinsic Feedback [51.144727949988436]
  強化学習(RL)は、大規模言語モデル(LLM)の推論能力を高める可能性を実証した。 本研究では,最小限のデータを用いたLLによるLLMの改善について検討する。 データ依存を最小限に抑えるため、自己認識に基礎を置いた2つの新しいメカニズムを導入する。
  論文  参考訳（メタデータ） (2025-10-03T06:32:10Z)
• CLPO: Curriculum Learning meets Policy Optimization for LLM Reasoning [10.544900224321415]
  政策最適化プロセス内に動的教育フィードバックループを生成する新しいアルゴリズムであるCLPOを提案する。 Curriculum-Guided Learning for Policy Optimizationは、静的トレーニング手順を、モデルの能力と共進化する動的なプロセスに変換する。 実験により、CLPOは8つの挑戦的な数学的および一般的な推論ベンチマークで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2025-09-29T16:29:04Z)
• Unlocking the Potential of Difficulty Prior in RL-based Multimodal Reasoning [69.64809103333839]
  先行情報に対する問題の難易度を明示的にモデル化し,多モーダル推論における強化学習に基づく微調整の有効性を検証した。 提案手法は,2段階学習データのみを2K+0.6Kとする多モード数学的推論ベンチマークにおいて有意な性能を示す。
  論文  参考訳（メタデータ） (2025-05-19T15:43:10Z)
• LoRanPAC: Low-rank Random Features and Pre-trained Models for Bridging Theory and Practice in Continual Learning [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 理論的に健全で高性能な単純なCL法を設計することで,このギャップを埋めることを目指している。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
  補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。 提案手法は,従来の微調整モデルと比較して平均55%改善した。
  論文  参考訳（メタデータ） (2021-08-29T06:58:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。