論文の概要: When2Think: Learning Difficulty-Aware Length Control for Efficient Hybrid Reasoning Models
- arxiv url: http://arxiv.org/abs/2609.19671v1
- Date: Thu, 17 Sep 2026 04:15:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:54.09828
- Title: When2Think: Learning Difficulty-Aware Length Control for Efficient Hybrid Reasoning Models
- Title（参考訳）: When2Think: 効率的なハイブリッド推論モデルのための難易度認識長制御
- Abstract要約: 大規模推論モデル (LRM) は複雑なタスクにおいて高い性能を発揮するが、体系的な非効率性を示す。
インスタンス適応配置問題として効率的な推論を定式化する。
本稿では,問題難易度に基づいて動的にアロケートするハイブリッド推論のためのフレームワークであるWhen2Thinkを提案する。
- 参考スコア（独自算出の注目度）: 11.583736130556611
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Reasoning Models (LRMs) achieve strong performance on complex tasks but exhibit systematic inefficiency: they often overthink easy problems and underthink hard ones. Existing approaches based on uniform length penalties or rigid routing incur an efficiency tax, trading reduced computation on easy instances for accuracy loss on hard instances. We formulate efficient reasoning as an instance-adaptive computation allocation problem and propose When2Think, a post-training framework for hybrid reasoning that dynamically allocates computation based on problem difficulty. Our method introduces Instance-level Difficulty-Aware Control (IDAC), a reward-shaping mechanism that leverages pre-computed reference statistics (accuracy and token usage) to regulate reasoning depth. Combined with verifier-based rewards and batch-wise standardized advantages, IDAC enables stable critic-free optimization without learned reward models or online reference-model queries. When2Think encourages direct answering on easy instances while preserving extended reasoning on hard instances, thereby learning when to use System 1 (NoThink) versus System 2 (Think). Experiments on mathematical benchmarks demonstrate improved accuracy-efficiency trade-offs: on AIME24, Pass@3 increases by 10.0% while token usage is reduced by 27.9% relative to the base model, and on AIME25, When2Think achieves 40.0% Pass@3, outperforming compression and routing-only baselines.
- Abstract（参考訳）: 大規模推論モデル(LRM)は複雑なタスクにおいて高いパフォーマンスを達成するが、体系的な非効率性を示す。
従来の一様長さのペナルティに基づくアプローチや、厳格なルーティングは効率税を発生させ、ハードインスタンスの精度損失に対する容易なインスタンスでの計算を減らした。
本稿では,インスタンス適応型計算割当問題として効率的な推論を定式化し,問題難易度に基づいて動的に計算を割り当てるハイブリッド推論のための後学習フレームワークであるWhen2Thinkを提案する。
提案手法では,事前計算された参照統計(精度とトークン使用量)を利用して推論深度を調節する報酬形成機構であるIDACをインスタンスレベルに導入する。
検証者ベースの報酬とバッチ単位で標準化された利点を組み合わせることで、IDACは、学習した報酬モデルやオンライン参照モデルクエリを使わずに、安定した批評家なしの最適化を可能にする。
When2Thinkは、ハードインスタンス上の拡張推論を保持しながら、簡単なインスタンスの直接応答を推奨し、システム1(NoThink)とシステム2(Think)をいつ使用するかを学ぶ。
AIME24では、Pass@3は10.0%増加し、トークンの使用量はベースモデルと比較して27.9%減少し、AIME25では、When2Thinkは40.0%のPass@3を達成し、圧縮とルーティングのみのベースラインを上回っている。
関連論文リスト
- CAT: Confidence-Adaptive Thinking for Efficient Reasoning of Large Reasoning Models [18.894895416263296]
CAT(Confidence-Adaptive Thinking)は、モデル固有の自己確実性信号の信頼性を優先最適化プロセスに組み込むフレームワークである。
我々の研究により、LRMは不確実なことを検討しながら、信頼性の高い応答を効果的に圧縮することができ、実用的な産業シナリオにおける精度とレイテンシのバランスをとるための、潜在的に堅牢なソリューションを提供する。
論文 参考訳（メタデータ） (2026-07-01T12:27:14Z) - SuCo: Sufficiency-guided Continuous Adaptive Reasoning [59.17222918775686]
大型共振モデル(LRM)は、しばしば超長鎖(CoT)を生成する。
この非効率を緩和するための既存の取り組みは、通常、個別の推論モードや固定予算層に依存します。
我々は,CoTトラジェクトリの最短接頭辞として定義された最小サフィシエント CoT (MSC) を導入する。
論文 参考訳（メタデータ） (2026-06-16T08:52:15Z) - Better, Faster: Harnessing Self-Improvement in Large Reasoning Models [88.9107786925265]
本稿では,2つの単純なyet- Effectiveアプローチにより,大規模推論モデルにおける自己改善を効果的に促進するHSIRを提案する。
具体的には、HSIRはデータの不均衡を軽減するために、検証済みの外部サンプリング戦略を導入する。
HSIRはまた、望ましくないソリューションを定量化しフィルタリングするために、固有の多様性スコアも設計している。
論文 参考訳（メタデータ） (2026-05-24T10:54:46Z) - CODA: Difficulty-Aware Compute Allocation for Adaptive Reasoning [45.97014851622867]
単純な問題において、推論は不当に高いコストで最小限の精度のゲインをもたらす。
これは適応推論を動機付け、動的に推論深度を困難に整合させる。
我々はCODA (Allocation by Difficulty) を提案する。
CODAは高い精度を維持しながらトークンコストを60%以上削減しますが、ハードタスクではパフォーマンスを最大化するためにより多くのロールアウトをインセンティブにします。
論文 参考訳（メタデータ） (2026-03-09T17:37:15Z) - Seer Self-Consistency: Advance Budget Estimation for Adaptive Test-Time Scaling [55.026048429595384]
テストタイムスケーリングは、Large Language Models (LLMs) の推論性能を向上させるが、かなりの計算コストを発生させる。
トークン効率とレイテンシを同時に向上する動的自己整合性フレームワークであるSeerSCを提案する。
論文 参考訳（メタデータ） (2025-11-12T13:57:43Z) - Think Right: Learning to Mitigate Under-Over Thinking via Adaptive, Attentive Compression [68.69801176669843]
本稿では,冗長なステップを誘発し,難易度を推定するオンラインポストトレーニングRL手法を提案する。
TRAAC(Think Right with Adaptive, Attentive Compression)は、絶対精度が平均8.4%向上する。
我々のモデルは数学データセットに基づいて訓練されているが、分布外データセットの精度と効率性を示す。
論文 参考訳（メタデータ） (2025-10-02T02:00:20Z) - The Price of a Second Thought: On the Evaluation of Reasoning Efficiency in Large Language Models [54.88805865447848]
モデルが全体の効率を向上し,問題の難しさが効率に影響を及ぼすことを示す。
インストラクションモデルが簡単なアウトラインをドラフトし,思考モデルがそれを拡張する,シンプルな2段階パイプラインであるCOTHINKを提案する。
GSM8K、MATH500、AIME24では、COTHINKはトークンの使用量を21.1%削減し、4つの思考モデルの精度を維持し、強力な効率のベースラインと競争し続ける。
論文 参考訳（メタデータ） (2025-05-28T06:24:45Z) - ConciseRL: Conciseness-Guided Reinforcement Learning for Efficient Reasoning Models [14.403953640255823]
強化学習フレームワークに報酬信号として用いられる新しいスコアを導入し、モデルが正確かつ簡潔な推論トレースを生成するよう誘導する。
このスコアは、ジャッジとして機能する大きな言語モデルによって評価され、単純なトークン長を超えて動的でコンテキスト対応のフィードバックを可能にする。
提案手法は,MATHデータセット上での最先端の効率・正確性トレードオフを実現し,簡単な問題ではトークン使用率を最大31倍に削減し,精度を7%向上させるとともに,最も難しい問題では,トークン使用率を最大3.6倍に抑えながら,完全な推論を+7.5%向上させる。
論文 参考訳（メタデータ） (2025-05-22T19:56:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。