論文の概要: Cog-DRIFT: Exploration on Adaptively Reformulated Instances Enables Learning from Hard Reasoning Problems

• arxiv url: http://arxiv.org/abs/2604.04767v1
• Date: Mon, 06 Apr 2026 15:38:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:19.253598
• Title: Cog-DRIFT: Exploration on Adaptively Reformulated Instances Enables Learning from Hard Reasoning Problems
• Title（参考訳）: Cog-DRIFT: ハード推論問題からの学習を可能にする適応的改革型インスタンス探索
• Authors: Justin Chih-Yao Chen, Archiki Prasad, Zaid Khan, Joykirat Singh, Runchu Tian, Elias Stengel-Eskin, Mohit Bansal,
• Abstract要約: 検証可能な報酬(RLVR)からの強化学習はLLMの推論能力を改善した。 本稿では,タスク修正に基づくシンプルで効果的なソリューションを提案する。 本稿では,Cag-DRIFTについて紹介する。このフレームワークは改良された変種を構築し,適応的なカリキュラムに編成する。
• 参考スコア（独自算出の注目度）: 70.94268452442147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning from verifiable rewards (RLVR) has improved the reasoning abilities of LLMs, yet a fundamental limitation remains: models cannot learn from problems that are too difficult to solve under their current policy, as these yield no meaningful reward signal. We propose a simple yet effective solution based on task reformulation. We transform challenging open-ended problems into cognitively simpler variants -- such as multiple-choice and cloze formats -- that preserve the original answer while reducing the effective search space and providing denser learning signals. These reformulations span a spectrum from discriminative to generative tasks, which we exploit to bootstrap learning: models first learn from structured, easier formats, and this knowledge transfers back to improve performance on the original open-ended problems. Building on this insight, we introduce Cog-DRIFT, a framework that constructs reformulated variants and organizes them into an adaptive curriculum based on difficulty. Training progresses from easier to harder formats, enabling the model to learn from problems that previously yielded zero signal under standard RL post-training. Cog-DRIFT not only improves on the originally unsolvable hard problems (absolute +10.11% for Qwen and +8.64% for Llama) but also generalizes well to other held-out datasets. Across 2 models and 6 reasoning benchmarks, our method consistently outperforms standard GRPO and strong guided-exploration baselines. On average, Cog-DRIFT shows +4.72% (Qwen) and +3.23% (Llama) improvements over the second-best baseline. We further show that Cog-DRIFT improves pass@k at test time, and the curriculum improves sample efficiency. Overall, our results highlight task reformulation and curriculum learning as an effective paradigm for overcoming the exploration barrier in LLM post-training.
• Abstract（参考訳）: 検証可能な報酬(RLVR)からの強化学習はLLMの推論能力を改善したが、基本的な制限が残っている。 本稿では,タスク修正に基づくシンプルで効果的なソリューションを提案する。 我々は、挑戦的なオープンエンドの問題を認知的により単純な変種(多重選択やクローゼ形式など)に変換し、元の回答を保存しつつ、効率的な検索スペースを減らし、より密集した学習信号を提供する。 モデルはまず構造化され、より簡単なフォーマットから学習し、この知識は元のオープンエンド問題のパフォーマンスを改善するために戻される。 この知見に基づいて,再構成された変種を構築し,難易度に基づいて適応的なカリキュラムに編成するフレームワークであるCog-DRIFTを紹介する。 トレーニングはより容易なフォーマットからより難しいフォーマットへと進み、従来のRLポストトレーニングではゼロ信号が得られなかった問題からモデルを学習することができる。 Cog-DRIFTは、もともと解決不可能なハード問題(Qwenは+10.11%、Llamaは+8.64%)を改善するだけでなく、他の保留データセットにもよく応用できる。 2つのモデルと6つの推論ベンチマークで、我々の手法は標準GRPOと強力なガイド付き探索ベースラインを一貫して上回っている。 Cog-DRIFTの平均は+4.72%(Qwen)と+3.23%(Llama)である。 さらに、Cag-DRIFTはテスト時にpass@kを改善し、カリキュラムはサンプル効率を向上することを示した。 本研究は,LLMポストトレーニングにおける探索障壁を克服するための効果的なパラダイムとして,タスク改革とカリキュラム学習に注目した。

関連論文リスト

• Test-time Recursive Thinking: Self-Improvement without External Feedback [120.80790108733942]
  TRT(Test-time Recursive Thinking)は、反復的な自己改善フレームワークである。 オープンソースモデルはAIME-25/24で100%精度に達し、LiveCodeBenchの最も難しい問題では、クローズドソースモデルは外部からのフィードバックなしで10.4-14.8ポイント改善されている。
  論文  参考訳（メタデータ） (2026-02-03T04:37:37Z)
• DARO: Difficulty-Aware Reweighting Policy Optimization [18.07946696398167]
  RLVR(Reinforcement Learning with Verifiable Rewards)の事実上のアプローチとしてグループ相対政策最適化(GRPO)が登場した。 サンプルの難易度に結びついた静的あるいは過度に単純化された重み付けスキームへの依存が、モデルの進化する機能への適応を妨げていることを示す統一ビューを提供する。 本稿では,bfbfDifficulty-Aware Reweighting Policy Optimization (DARO)を紹介する。
  論文  参考訳（メタデータ） (2025-10-10T04:57:15Z)
• Staying in the Sweet Spot: Responsive Reasoning Evolution via Capability-Adaptive Hint Scaffolding [59.60915947702282]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論能力の向上に成功している。 既存のRLVR手法は、訓練データの困難さとモデルの能力のミスマッチにより、探索の非効率に悩まされることが多い。 本稿では,高効率領域に留まることの難易度を動的に調整する新しい監視支援RLVRフレームワークであるSEELEを提案する。
  論文  参考訳（メタデータ） (2025-09-08T17:36:21Z)
• Improving Data Efficiency for LLM Reinforcement Fine-tuning Through Difficulty-targeted Online Data Selection and Rollout Replay [69.67914133280296]
  強化学習(RL)は、大規模言語モデル(LLM)の微調整に有効なアプローチとなっている。 LLM RLファインチューニングにおけるデータ効率向上のための2つの手法を提案する。 本手法は,従来のGRPOアルゴリズムと同等の性能を示しながら,RLの微調整時間を23%から62%削減する。
  論文  参考訳（メタデータ） (2025-06-05T17:55:43Z)
• Surrogate Signals from Format and Length: Reinforcement Learning for Solving Mathematical Problems without Ground Truth Answers [24.934432751910443]
  本研究は,代用信号として形式と長さを応用し,数学的問題解決のためにLLMを訓練するものである。 本研究は,形式的正当性のみに着目した報奨関数が,初期の標準GRPOアルゴリズムに匹敵する性能向上をもたらすことを示す。 その結果、フォーマット長のサロゲート信号を利用するGRPOアプローチは、マッチするだけでなく、標準のGRPOアルゴリズムの性能を上回る。
  論文  参考訳（メタデータ） (2025-05-26T02:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。