論文の概要: DARE: Difficulty-Adaptive Reinforcement Learning with Co-Evolved Difficulty Estimation

• arxiv url: http://arxiv.org/abs/2605.09188v1
• Date: Sat, 09 May 2026 22:05:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.106074
• Title: DARE: Difficulty-Adaptive Reinforcement Learning with Co-Evolved Difficulty Estimation
• Title（参考訳）: DARE:共進化型難易度推定を用いた難易度適応型強化学習
• Abstract要約: 強化学習は、大きな言語モデルの推論能力を改善するが、コストがかかり、サンプル非効率である。 我々は,自己正規化重要度サンプリングを通じて,政策と難易度推定を共進化させるフレームワーク**Dare*を提案する。 複数のモデルやドメインにわたる実験では、**Dare**はトレーニング効率、最終的な有効性、推論効率において、既存のメソッドよりも一貫して優れています。
• 参考スコア（独自算出の注目度）: 45.9370934377402
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning improves the reasoning ability of large language models but remains costly and sample-inefficient, as many rollouts provide weak learning signals. Difficulty-aware data selection methods attempt to address this by prioritizing moderately difficult prompts, yet our analysis reveals three limitations: difficulty estimates become inaccurate under policy drift, data selection alone yields limited final-performance gains, and inference efficiency remains largely unchanged. These findings suggest that efficient and effective RL requires more than filtering by difficulty: the policy should learn to solve hard tasks while producing concise responses for easy ones. To this end, we propose **Dare**, a unified framework that co-evolves difficulty estimation with the policy via self-normalized importance sampling, maintains diverse difficulty coverage through a symmetric Beta sampling distribution, and applies tailored training strategies across difficulty tiers with adaptive compute allocation. Extensive experiments across multiple models and domains demonstrate that **Dare** consistently outperforms existing methods in training efficiency, final effectiveness, and inference efficiency, producing more concise responses on easy tasks while improving correctness on hard ones. Code is available at https://github.com/EtaYang10th/DARE.
• Abstract（参考訳）: 強化学習は、大規模な言語モデルの推論能力を改善するが、多くのロールアウトが弱い学習信号を提供するため、コストとサンプル非効率性は保たれる。 難解なデータ選択法は、適度に難しいプロンプトを優先順位付けすることで、この問題に対処しようとするが、我々の分析では、難易度推定がポリシードリフト時に不正確なこと、データ選択だけでは、最終結果のゲインが限られていること、推論効率がほとんど変化していないこと、の3つの限界を明らかにした。 これらの結果から, 効率的かつ効率的なRLには, 難易度によるフィルタリング以上のものが必要であることが示唆された。 そこで本稿では,自己正規化重要度サンプリングによるポリシによる難易度推定を共進化させる統一フレームワーク**Dare*を提案する。 複数のモデルや領域にわたる大規模な実験により、**Dare**はトレーニング効率、最終的な有効性、推論効率において既存の手法を一貫して上回り、簡単なタスクに対するより簡潔な応答を生成しながら、ハードなタスクの正確性を改善します。 コードはhttps://github.com/EtaYang10th/DAREで公開されている。

関連論文リスト

• Adaptive Multi-Expert Reasoning via Difficulty-Aware Routing and Uncertainty-Guided Aggregation [0.2864713389096699]
  本稿では,動的適応戦略による推論による問題複雑性に着目したフレームワークであるAdaptive Multi-Expert Reasoning (AMR)について述べる。 問題テキストに焦点を当てたアジャイルルーティングシステムは、問題の難しさと不確実性を予測し、再構成可能なサンプリングメカニズムを誘導し、生成の幅を管理する。 GSM8Kデータセットで評価すると、AMRはオリジナルのトレーニングデータのみを使用しながら75.28%の精度を達成した。
  論文  参考訳（メタデータ） (2026-04-11T19:44:57Z)
• Staying in the Sweet Spot: Responsive Reasoning Evolution via Capability-Adaptive Hint Scaffolding [59.60915947702282]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論能力の向上に成功している。 既存のRLVR手法は、訓練データの困難さとモデルの能力のミスマッチにより、探索の非効率に悩まされることが多い。 本稿では,高効率領域に留まることの難易度を動的に調整する新しい監視支援RLVRフレームワークであるSEELEを提案する。
  論文  参考訳（メタデータ） (2025-09-08T17:36:21Z)
• Know When to Explore: Difficulty-Aware Certainty as a Guide for LLM Reinforcement Learning [37.20632079882874]
  DACE(Difficulty Aware Certainty guided Exploration)を紹介する。 政策の成功率に基づいて、探索的エクスプロイトのトレードオフをバランスさせる。 挑戦的な数学的推論ベンチマーク(AIME, MATH)の実験は、DACEが強いベースラインを著しく上回っていることを示している。
  論文  参考訳（メタデータ） (2025-08-29T08:57:54Z)
• TACO: Think-Answer Consistency for Optimized Long-Chain Reasoning and Efficient Data Learning via Reinforcement Learning in LVLMs [50.820065021136024]
  DeepSeek R1には、大規模言語モデル(LLM)のためのかなり高度な複雑な推論がある。 最近の手法は、R1の推論能力をマルチモーダルな設定で再現しようと試みている。 視覚推論のための新しい強化学習アルゴリズムTACOを提案する。
  論文  参考訳（メタデータ） (2025-05-27T06:30:48Z)
• PATS: Process-Level Adaptive Thinking Mode Switching [53.53401063490537]
  現在の大言語モデル(LLM)は、通常、難易度に関わらず、すべての質問に対して、単純または複雑に固定された推論戦略を採用する。 このようなタスクと推論プロセスの複雑さの変化の無視は、パフォーマンスと効率のバランスを損なう。 既存の手法では, 難易度が異なる問題に対処するために, 学習不要な高速スロー思考システムを導入しようとするが, 厳密な解レベルの戦略調整によって制限される。 プロセスレベル適応思考モードスイッチング(PATS)という新しい推論パラダイムを提案し,各ステップの難易度に基づいてLLMが推論戦略を動的に調整し,そのバランスを最適化する。
  論文  参考訳（メタデータ） (2025-05-25T17:58:50Z)
• Rethinking the Sampling Criteria in Reinforcement Learning for LLM Reasoning: A Competence-Difficulty Alignment Perspective [27.94738910330893]
  強化学習は、大規模言語モデルの推論能力を高める可能性を示す。 既存の手法では,問題問題に基づくスケジューリングによる効率向上が試みられている。 本稿では,問題の正確かつ安定した推定を可能にするtextbfC$ompetence-$textbfD$ifficultyを提案する。
  論文  参考訳（メタデータ） (2025-05-23T09:15:26Z)
• Unlocking the Potential of Difficulty Prior in RL-based Multimodal Reasoning [69.64809103333839]
  先行情報に対する問題の難易度を明示的にモデル化し,多モーダル推論における強化学習に基づく微調整の有効性を検証した。 提案手法は,2段階学習データのみを2K+0.6Kとする多モード数学的推論ベンチマークにおいて有意な性能を示す。
  論文  参考訳（メタデータ） (2025-05-19T15:43:10Z)
• DAST: Difficulty-Aware Self-Training on Large Language Models [68.30467836807362]
  大規模言語モデル(LLM)の自己学習手法は、常に挑戦的なクエリのアンダーサンプルである。 本研究は,自己生成応答の量と品質を改善することに焦点を当てた,難易度を考慮した自己学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-12T03:36:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。