論文の概要: Cog-DRIFT: Exploration on Adaptively Reformulated Instances Enables Learning from Hard Reasoning Problems

• arxiv url: http://arxiv.org/abs/2604.04767v1
• Date: Mon, 06 Apr 2026 15:38:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:19.253598
• Title: Cog-DRIFT: Exploration on Adaptively Reformulated Instances Enables Learning from Hard Reasoning Problems
• Title（参考訳）: Cog-DRIFT: ハード推論問題からの学習を可能にする適応的改革型インスタンス探索
• Abstract要約: 検証可能な報酬(RLVR)からの強化学習はLLMの推論能力を改善した。 本稿では,タスク修正に基づくシンプルで効果的なソリューションを提案する。 本稿では,Cag-DRIFTについて紹介する。このフレームワークは改良された変種を構築し,適応的なカリキュラムに編成する。
• 参考スコア（独自算出の注目度）: 70.94268452442147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning from verifiable rewards (RLVR) has improved the reasoning abilities of LLMs, yet a fundamental limitation remains: models cannot learn from problems that are too difficult to solve under their current policy, as these yield no meaningful reward signal. We propose a simple yet effective solution based on task reformulation. We transform challenging open-ended problems into cognitively simpler variants -- such as multiple-choice and cloze formats -- that preserve the original answer while reducing the effective search space and providing denser learning signals. These reformulations span a spectrum from discriminative to generative tasks, which we exploit to bootstrap learning: models first learn from structured, easier formats, and this knowledge transfers back to improve performance on the original open-ended problems. Building on this insight, we introduce Cog-DRIFT, a framework that constructs reformulated variants and organizes them into an adaptive curriculum based on difficulty. Training progresses from easier to harder formats, enabling the model to learn from problems that previously yielded zero signal under standard RL post-training. Cog-DRIFT not only improves on the originally unsolvable hard problems (absolute +10.11% for Qwen and +8.64% for Llama) but also generalizes well to other held-out datasets. Across 2 models and 6 reasoning benchmarks, our method consistently outperforms standard GRPO and strong guided-exploration baselines. On average, Cog-DRIFT shows +4.72% (Qwen) and +3.23% (Llama) improvements over the second-best baseline. We further show that Cog-DRIFT improves pass@k at test time, and the curriculum improves sample efficiency. Overall, our results highlight task reformulation and curriculum learning as an effective paradigm for overcoming the exploration barrier in LLM post-training.
• Abstract（参考訳）: 検証可能な報酬(RLVR)からの強化学習はLLMの推論能力を改善したが、基本的な制限が残っている。 本稿では,タスク修正に基づくシンプルで効果的なソリューションを提案する。 我々は、挑戦的なオープンエンドの問題を認知的により単純な変種(多重選択やクローゼ形式など)に変換し、元の回答を保存しつつ、効率的な検索スペースを減らし、より密集した学習信号を提供する。 モデルはまず構造化され、より簡単なフォーマットから学習し、この知識は元のオープンエンド問題のパフォーマンスを改善するために戻される。 この知見に基づいて,再構成された変種を構築し,難易度に基づいて適応的なカリキュラムに編成するフレームワークであるCog-DRIFTを紹介する。 トレーニングはより容易なフォーマットからより難しいフォーマットへと進み、従来のRLポストトレーニングではゼロ信号が得られなかった問題からモデルを学習することができる。 Cog-DRIFTは、もともと解決不可能なハード問題(Qwenは+10.11%、Llamaは+8.64%)を改善するだけでなく、他の保留データセットにもよく応用できる。 2つのモデルと6つの推論ベンチマークで、我々の手法は標準GRPOと強力なガイド付き探索ベースラインを一貫して上回っている。 Cog-DRIFTの平均は+4.72%(Qwen)と+3.23%(Llama)である。 さらに、Cag-DRIFTはテスト時にpass@kを改善し、カリキュラムはサンプル効率を向上することを示した。 本研究は,LLMポストトレーニングにおける探索障壁を克服するための効果的なパラダイムとして,タスク改革とカリキュラム学習に注目した。

関連論文リスト

• Easy Samples Are All You Need: Self-Evolving LLMs via Data-Efficient Reinforcement Learning [59.25637976883812]
  本稿では,認知学習理論に触発された新たな視点を導入し,EasyRLという新しいアプローチを提案する。 EasyRLは、簡単なラベル付きデータから信頼できる知識伝達を統合することで、人間の認知獲得曲線をシミュレートする。 数学的および科学的ベンチマークの実験結果は、簡単にラベル付けされたデータの10%しか使用していないEasyRLが、一貫して最先端のベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2026-04-19T08:02:31Z)
• Test-time Recursive Thinking: Self-Improvement without External Feedback [120.80790108733942]
  TRT(Test-time Recursive Thinking)は、反復的な自己改善フレームワークである。 オープンソースモデルはAIME-25/24で100%精度に達し、LiveCodeBenchの最も難しい問題では、クローズドソースモデルは外部からのフィードバックなしで10.4-14.8ポイント改善されている。
  論文  参考訳（メタデータ） (2026-02-03T04:37:37Z)
• Training Reasoning Models on Saturated Problems via Failure-Prefix Conditioning [0.3823356975862005]
  本研究では,飽和問題から学習する簡易かつ効果的な手法であるフェールコンディショニングを提案する。 障害発生条件付けにより,中級難易度問題における訓練条件に適合する性能向上が期待できる。 以上の結果から, 故障条件付けは飽和問題に対するRLVRトレーニングの拡張に有効な経路であることが示唆された。
  論文  参考訳（メタデータ） (2026-01-28T18:29:21Z)
• DARO: Difficulty-Aware Reweighting Policy Optimization [18.07946696398167]
  RLVR(Reinforcement Learning with Verifiable Rewards)の事実上のアプローチとしてグループ相対政策最適化(GRPO)が登場した。 サンプルの難易度に結びついた静的あるいは過度に単純化された重み付けスキームへの依存が、モデルの進化する機能への適応を妨げていることを示す統一ビューを提供する。 本稿では,bfbfDifficulty-Aware Reweighting Policy Optimization (DARO)を紹介する。
  論文  参考訳（メタデータ） (2025-10-10T04:57:15Z)
• Staying in the Sweet Spot: Responsive Reasoning Evolution via Capability-Adaptive Hint Scaffolding [59.60915947702282]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論能力の向上に成功している。 既存のRLVR手法は、訓練データの困難さとモデルの能力のミスマッチにより、探索の非効率に悩まされることが多い。 本稿では,高効率領域に留まることの難易度を動的に調整する新しい監視支援RLVRフレームワークであるSEELEを提案する。
  論文  参考訳（メタデータ） (2025-09-08T17:36:21Z)
• GHPO: Adaptive Guidance for Stable and Efficient LLM Reinforcement Learning [15.43938821214447]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、最近、大規模言語モデル(LLM)の自己改善を促進するための強力なパラダイムとして登場した。 本稿では,新しい困難に配慮した強化学習フレームワークであるGHPOについて紹介する。 GHPOは、適応的なプロンプトリファインメントを用いて、目標とするガイダンスを提供することにより、タスクの難易度を動的に校正する。
  論文  参考訳（メタデータ） (2025-07-14T08:10:00Z)
• Improving Data Efficiency for LLM Reinforcement Fine-tuning Through Difficulty-targeted Online Data Selection and Rollout Replay [69.67914133280296]
  強化学習(RL)は、大規模言語モデル(LLM)の微調整に有効なアプローチとなっている。 LLM RLファインチューニングにおけるデータ効率向上のための2つの手法を提案する。 本手法は,従来のGRPOアルゴリズムと同等の性能を示しながら,RLの微調整時間を23%から62%削減する。
  論文  参考訳（メタデータ） (2025-06-05T17:55:43Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• Surrogate Signals from Format and Length: Reinforcement Learning for Solving Mathematical Problems without Ground Truth Answers [24.934432751910443]
  本研究は,代用信号として形式と長さを応用し,数学的問題解決のためにLLMを訓練するものである。 本研究は,形式的正当性のみに着目した報奨関数が,初期の標準GRPOアルゴリズムに匹敵する性能向上をもたらすことを示す。 その結果、フォーマット長のサロゲート信号を利用するGRPOアプローチは、マッチするだけでなく、標準のGRPOアルゴリズムの性能を上回る。
  論文  参考訳（メタデータ） (2025-05-26T02:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。