論文の概要: ADaPT: Token-Level Decoupling for Efficient Large Reasoning Models

• arxiv url: http://arxiv.org/abs/2606.19919v1
• Date: Thu, 18 Jun 2026 08:11:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.724333
• Title: ADaPT: Token-Level Decoupling for Efficient Large Reasoning Models
• Title（参考訳）: ADaPT:効率的な大規模推論モデルのためのトークンレベルデカップリング
• Authors: Tingyun Li, Zishang Jiang, Jinyi Han, Xinyi Wang, Sihang Jiang, Han Xia, Zhaoqian Dai, Shuguang Ma, Fei Yu, Jiaqing Liang, Yanghua Xiao,
• Abstract要約: 大きな推論モデルは高い性能を達成するために長い連鎖に依存しているが、そのような推論を適用すると計算コストが一様になる。 既存の効率指向の手法は推論戦略を短縮または混合しようとするが、しばしば推論能力を低下させる。 本稿では,トークンレベルのデュアルプロセスフレームワークであるAdaptive Dual-Process Thinking (ADaPT)を提案する。
• 参考スコア（独自算出の注目度）: 48.426487984321675
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large reasoning models rely on long chain-of-thought to achieve strong performance, but applying such reasoning uniformly incurs high computational cost. Existing efficiency-oriented methods attempt to shorten or mix reasoning strategies, yet often degrade reasoning capability. We identify the root cause as sequence-level coupling between efficiency incentives and correctness optimization, which implicitly penalizes long but correct reasoning trajectories. To address this issue, we propose Adaptive Dual-Process Thinking (ADaPT), a token-level dual-process framework that explicitly decouples efficiency and correctness signals during training. ADaPT introduces a mode-selection token to control fast and slow reasoning, applying efficiency-related rewards exclusively to this token to avoid penalizing correct long reasoning while encouraging efficiency when appropriate. Moreover, ADaPT enables precise and continuous control over the efficiency-performance trade-off at inference time: by adjusting the generation probability of the mode-selection token, a single trained model can smoothly move along the efficiency-performance Pareto frontier. Extensive experiments demonstrate that ADaPT significantly reduces inference cost while maintaining strong reasoning performance across multiple benchmarks.
• Abstract（参考訳）: 大きな推論モデルは高い性能を達成するために長い連鎖に依存しているが、そのような推論を適用すると計算コストが一様になる。 既存の効率指向の手法は推論戦略を短縮または混合しようとするが、しばしば推論能力を低下させる。 我々は、根本原因を効率インセンティブと正当性最適化のシーケンスレベル結合とみなし、長いが正しい推論軌跡を暗黙的に罰する。 この問題に対処するため,トークンレベルの2プロセスフレームワークであるAdaptive Dual-Process Thinking (ADaPT)を提案する。 ADaPTは、高速かつ遅い推論を制御するためのモード選択トークンを導入し、このトークンにのみ効率関連報酬を適用して、正しいロング推論を罰することを避けながら、適切なときに効率を奨励する。 さらに、ADaPTは、モード選択トークンの生成確率を調整することにより、効率-性能のパレートフロンティアに沿ってスムーズに動き、効率-性能トレードオフを正確にかつ連続的に制御することができる。 大規模な実験により、ADaPTは複数のベンチマークで強い推論性能を維持しながら、推論コストを大幅に削減することが示された。

関連論文リスト

• CARE: Competence-Aware Reward Shaping for Adaptive Reasoning Length in Video-MLLMs [50.189987475377656]
  マルチモーダル推論における適応推論長最適化のための能力認識型報酬形成フレームワークであるCAREを提案する。 CAREは、パスレートの指数的な移動平均を通したスムーズなコンピテンス推定を維持し、それを訓練を進行段階にルートするために利用する。 複数のビデオ推論と一般的なビデオ理解ベンチマークの実験により、CAREは推論精度を一貫して改善し、強化学習を安定化し、トークン効率を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2026-06-18T08:28:26Z)
• LEAD: Length-Efficient Adaptive and Dynamic Reasoning for Large Language Models [24.128148876541783]
  OpenAI o1やDeepSeek-R1のような大きな推論モデルは、推論能力が向上するにつれて、次第に冗長になりがちである。 これらの拡張されたChain-of-Length trajectories(CoT)は、根底にある問題、無駄な計算、レイテンシ、コンテキスト予算を超えることが多い。 静的をオンラインの自己適応機構に置き換える手法であるLEAD(Thought-Efficient Adaptive and Dynamic reasoning)を提案する。
  論文  参考訳（メタデータ） (2026-05-10T23:05:02Z)
• EntroCut: Entropy-Guided Adaptive Truncation for Efficient Chain-of-Thought Reasoning in Small-scale Large Reasoning Models [42.49934375597466]
  大規模推論モデル(LRM)は、拡張連鎖生成による複雑な推論タスクに優れる。 初期の推論ステップにおけるモデル出力分布のエントロピーは、正しい推論と間違った推論とを確実に区別する。 本研究では,高信頼状態を特定することによって推論を動的に切り離す訓練自由度手法であるEntroCutを提案する。
  論文  参考訳（メタデータ） (2026-01-30T06:19:16Z)
• Arbitrage: Efficient Reasoning via Advantage-Aware Speculation [71.45710345765528]
  投機的復号化は、高速だが不正確なドラフトモデルを用いて推論を加速し、自動回帰的にトークンを提案する。 しかし、意味論的に等価なステップにおけるトークンミスマッチによる不要な拒絶のため、従来のトークンレベルの投機的デコーディングは、タスクの推論に苦労する。 提案するArbitrageは,ドラフトモデルとターゲットモデルとの相対的優位性に基づいて動的に生成をルーティングする,新しいステップレベルの投機生成フレームワークである。
  論文  参考訳（メタデータ） (2025-12-04T17:50:53Z)
• BARD: budget-aware reasoning distillation [25.725960386304646]
  ロング・チェーン・オブ・ソート (Long Chain-of-Thought, CoT) 蒸留は推論能力をより小さな言語モデルに効果的に伝達する。 bftextBudget-Aware Reasoning Distillation (BARD) を提案する。
  論文  参考訳（メタデータ） (2025-11-03T11:30:18Z)
• Think or Not? Exploring Thinking Efficiency in Large Reasoning Models via an Information-Theoretic Lens [51.90059610606049]
  本稿では,情報理論レンズによる推論プロセスの効率を再考する。 本稿では,理想的な推論経路と段階的な情報提供から分岐を定量化するために,InfoBias と InfoGain という2つの指標を提案する。 これらの知見に触発されて,信頼度が十分に高ければ推論を動的に停止する,エントロピーに基づく適応的思考戦略を導入する。
  論文  参考訳（メタデータ） (2025-05-23T13:38:56Z)
• Optimizing Anytime Reasoning via Budget Relative Policy Optimization [70.32755424260336]
  我々は,任意の推論性能を最適化する新しいフレームワークであるAnytimeReasonerを提案する。 従来の分布からサンプルトークンの予算に適合するように、完全な思考プロセスを切り離します。 次に、累積報酬を最大化するために、分割された方法で思考と要約ポリシーを最適化する。
  論文  参考訳（メタデータ） (2025-05-19T17:58:44Z)
• SelfBudgeter: Adaptive Token Allocation for Efficient LLM Reasoning [43.91094438704087]
  SelfBudgeterは、アダプティブな制御可能な推論フレームワークで、推論の前に予算推定メカニズムを組み込む。 本稿では,問題複雑度に応じて予算を動的に割り当てることにより,平均応答長61%の圧縮が得られることを示す。
  論文  参考訳（メタデータ） (2025-05-16T14:08:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。