論文の概要: Thinking Economically: A Hierarchical Framework for Adaptive-Complexity Reasoning in LLMs

• arxiv url: http://arxiv.org/abs/2606.01168v1
• Date: Sun, 31 May 2026 11:20:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:29.293442
• Title: Thinking Economically: A Hierarchical Framework for Adaptive-Complexity Reasoning in LLMs
• Title（参考訳）: 経済的思考:LLMにおける適応複雑推論のための階層的枠組み
• Authors: Yubo Gao, Haotian Wu, Hong Chen, Junquan Huang, Yibo Yan, Jungang Li, Zihao Dongfang, Sicheng Tao, Puay Siew Tan, Jie Zhang, Xuming Hu,
• Abstract要約: HABは、PPL由来のステップ比較からステップ固有のトークン予算信号を学ぶ。 GSM8KとMATH500の実験では、HABが標準的なCoTを超えるだけでなく、トークンの使用量を減らすことが示されている。
• 参考スコア（独自算出の注目度）: 36.73612668202756
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chain-of-Thought (CoT) has significantly enhanced LLM reasoning, yet often incurs substantial computational overhead due to "overthinking": generating excessively long rationales without commensurate accuracy gains. Existing efficiency methods typically apply uniform compression, which overlooks a critical observation that reasoning complexity is heterogeneous at two distinct granularity: across different problems and within individual reasoning steps. This motivates our principle of Thinking Economically: intelligently allocating computational resources based on intrinsic task and step demands rather than pursuing uniform brevity. We propose Hierarchical Adaptive Budgeter (HAB), a training framework that operationalizes this principle through coarse-to-fine budgeting. At the inter-step level, HAB predicts the optimal reasoning depth for each problem. At the intra-step level, HAB learns step-specific token budgeting signals from PPL-derived step comparisons and an adaptive Pareto optimization objective that captures the local quality-efficiency trade-off, while a Fisher Information-based pruner further provides fine-grained training-time guidance, thereby encouraging the generator to internalize more economical reasoning patterns. Experiments on GSM8K and MATH500 show that HAB not only surpasses standard CoT in accuracy but also reduces token usage, achieving a stronger performance-efficiency trade-off than the compared baselines.
• Abstract（参考訳）: CoT (Chain-of-Thought) は LLM 推論を大幅に向上させたが、しばしば "overthinking" による計算上のオーバーヘッドが発生する。 既存の効率法は一般に一様圧縮を適用するが、これは推論の複雑さが2つの異なる粒度(異なる問題と個々の推論ステップ)で不均一であるという批判的な観察を見落としている。 これは、知的に計算資源を、一様の簡潔さを追求するのではなく、本質的なタスクとステップ要求に基づいて割り当てるという、経済的な思考の原則を動機付けます。 本稿では, 階層型適応予算(HAB, Hierarchical Adaptive Budgeter)を提案する。 ステップ間レベルでは、HABは各問題に対して最適な推論深さを予測する。 ステップ内レベルでは、PPL由来のステップ比較からステップ固有のトークン予算信号と、局所的な品質と効率のトレードオフを捉える適応的パレート最適化目標を学習し、さらにフィッシャー情報ベースのプルーナーは、詳細なトレーニングタイムガイダンスを提供し、より経済的な推論パターンを内部化するようジェネレータに促す。 GSM8KとMATH500の実験は、HABが標準的なCoTを超えるだけでなく、トークンの使用量を減らすことを示し、比較したベースラインよりも高い性能と効率のトレードオフを実現している。

関連論文リスト

• Avoiding Overthinking and Underthinking: Curriculum-Aware Budget Scheduling for LLMs [1.7499351967216341]
  BCAE(Budget-Adaptive Curriculum Reasoning)は、推論品質とトークン効率を共同で最適化する統合フレームワークである。 BCAEには、Emphbudget-conditioned unified policy、Emphcurriculum-aware budget scheduler、Emphtruncation-aware dense reward mechanismが含まれる。
  論文  参考訳（メタデータ） (2026-03-29T18:31:09Z)
• ROI-Reasoning: Rational Optimization for Inference via Pre-Computation Meta-Cognition [11.094392304740134]
  我々は,厳密なグローバルトークン制約の下で,複数のタスクに対する予算付き推論時間推論について検討した。 この視点はメタ認知的要件を強調し、タスクの難しさを予測し、投資よりもリターンを推定する。 2段階のフレームワークであるROI-Reasoningを提案する。
  論文  参考訳（メタデータ） (2026-01-07T11:30:55Z)
• BARD: budget-aware reasoning distillation [25.725960386304646]
  ロング・チェーン・オブ・ソート (Long Chain-of-Thought, CoT) 蒸留は推論能力をより小さな言語モデルに効果的に伝達する。 bftextBudget-Aware Reasoning Distillation (BARD) を提案する。
  論文  参考訳（メタデータ） (2025-11-03T11:30:18Z)
• Computational Economics in Large Language Models: Exploring Model Behavior and Incentive Design under Resource Constraints [1.00707850217229]
  大規模言語モデル(LLM)は計算コストによって制限される。 我々は, LLMを資源制約されたエージェントの内部経済として扱う「計算経済学」の枠組みを導入する。 計算が不十分な場合、標準LLMは精度を保ちながら高価値トークンに注意を向ける。
  論文  参考訳（メタデータ） (2025-08-14T07:55:45Z)
• Hierarchical Budget Policy Optimization for Adaptive Reasoning [49.621779447691665]
  階層的予算政策最適化(Hierarchical Budget Policy Optimization, HBPO)は、モデルが問題固有の推論深度を犠牲にすることなく学習できる強化学習フレームワークである。 HBPOは、探索空間を予算制約付き階層(512-2560トークン)に分割する。 大規模な実験により、HBPOは平均トークン使用量を最大60.6%削減し、4つの推論ベンチマークで精度を3.14%改善した。
  論文  参考訳（メタデータ） (2025-07-21T17:52:34Z)
• Steering LLM Thinking with Budget Guidance [48.65894557568655]
  予算指導は、微調整を必要とせず、目標予算に向けてLSMの推論プロセスを操る方法である。 提案手法では,ガンマ分布を残りの思考長にわたってモデル化する軽量な予測器を提案する。 この信号は、生成をソフトでトークンレベルの方法でガイドするために使用され、全体の推論トレースが指定された思考予算に従うことを保証する。
  論文  参考訳（メタデータ） (2025-06-16T17:57:05Z)
• Reinforced Latent Reasoning for LLM-based Recommendation [92.56166822197919]
  大きな言語モデル(LLM)は、複雑な問題解決タスクにおいて印象的な推論能力を示している。 既存の手法は通常、明示的なチェーン・オブ・シント(CoT)データによる微調整に依存している。 本研究では, 明示的なCoT推論から, コンパクトで情報密度の高い潜伏推論へ移行する代替手法について検討する。
  論文  参考訳（メタデータ） (2025-05-25T11:03:45Z)
• Optimizing Anytime Reasoning via Budget Relative Policy Optimization [70.32755424260336]
  我々は,任意の推論性能を最適化する新しいフレームワークであるAnytimeReasonerを提案する。 従来の分布からサンプルトークンの予算に適合するように、完全な思考プロセスを切り離します。 次に、累積報酬を最大化するために、分割された方法で思考と要約ポリシーを最適化する。
  論文  参考訳（メタデータ） (2025-05-19T17:58:44Z)
• Scalable Chain of Thoughts via Elastic Reasoning [61.75753924952059]
  Elastic Reasoningは、スケーラブルな思考の連鎖のための新しいフレームワークである。 推論は、独立して割り当てられた予算で、思考と解決の2つのフェーズに分けられる。 我々のアプローチは、制約のない設定でもより簡潔で効率的な推論をもたらす。
  論文  参考訳（メタデータ） (2025-05-08T15:01:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。