論文の概要: Think in Blocks: Adaptive Reasoning from Direct Response to Deep Reasoning
- arxiv url: http://arxiv.org/abs/2508.15507v1
- Date: Thu, 21 Aug 2025 12:32:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-22 16:26:46.324677
- Title: Think in Blocks: Adaptive Reasoning from Direct Response to Deep Reasoning
- Title(参考訳): ブロックの思考: 直接応答から深い推論への適応的推論
- Authors: Yekun Zhu, Guang Chen, Chengjun Mao,
- Abstract要約: 大型言語モデル (LLM) とチェーン・オブ・シントは,タスク範囲の増大に対して高いパフォーマンスを示している。
LLMはタスクの複雑さに基づいて推論プロセスの長さを動的に調整できますか?
本稿では,ゼロから深い推論への適応的推論を可能にするThink in Blocksフレームワークを提案する。
- 参考スコア(独自算出の注目度): 3.773711855945839
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) with chains-of-thought have demonstrated strong performance on an increasing range of tasks, particularly those involving complex logical reasoning. However, excessively long chains can lead to overthinking, causing computational waste and slower responses. This raises a question: can LLMs dynamically adjust the length of their reasoning processes based on task complexity? To address this, we propose the Think in Blocks framework, which enables adaptive reasoning-from zero to deep reasoning-by partitioning the reasoning process into a tunable number of blocks. Our main contributions are: (1) Establishing an explicit block-structured paradigm in which the model first predicts an integer reasoning budget-the number of blocks-and then partitions its reasoning accordingly; (2) Training an adaptive model through a three-stage pipeline-Supervised Fine-Tuning, reward-guided Direct Preference Optimization, and Reinforcement Learning-that adjusts its reasoning depth to problem difficulty; (3) Exploiting the explicit block count to dynamically control reasoning depth at inference time, allowing flexible adjustment of chain-of-thought length during deployment.
- Abstract(参考訳): 大きな言語モデル(LLM)とチェーン・オブ・シント(英語版)は、特に複雑な論理的推論を含むタスクの増加に対して強いパフォーマンスを示している。
しかし、過度に長い鎖は過度に考え直し、計算の無駄と反応の遅さを引き起こす。
LLMはタスクの複雑さに基づいて推論プロセスの長さを動的に調整できますか?
そこで我々はThink in Blocksフレームワークを提案し,ゼロから深い推論への適応的推論を可能にする。
主な貢献は,(1) モデルが最初に整数推論の予算を予測し,次にその推論を分割する明示的なブロック構造パラダイムを確立すること,(2) 適応モデルを3段階のパイプラインで訓練すること,(2) 改良されたファインチューニング,報酬誘導による直接選好最適化,および強化学習により,その推論深度を問題問題に適応させること,(3) 明示的なブロックカウントの展開により,推論時の推論深度を動的に制御し,展開中のチェーン・オブ・プリート長の柔軟な調整を可能にすること,である。
関連論文リスト
- Fractional Reasoning via Latent Steering Vectors Improves Inference Time Compute [57.16286134405821]
本稿では,推論時の推論強度を連続的に制御するフレームワークであるフラクショナル推論を提案する。
提案手法は, より深い推論を伴う潜在ステアリングベクトルを抽出し, 調整可能なスケーリング係数で再適用することによって機能する。
GSM8K、MATH500、GPQAの実験により、フラクショナル推論は様々な推論タスクやモデルのパフォーマンスを一貫して改善することを示した。
論文 参考訳(メタデータ) (2025-06-18T21:15:59Z) - PixelThink: Towards Efficient Chain-of-Pixel Reasoning [70.32510083790069]
PixelThinkは、外部から推定されるタスクの難しさと内部で測定されたモデルの不確実性を統合する、シンプルで効果的なスキームである。
シーンの複雑さと予測信頼度に応じて推論の長さを圧縮することを学ぶ。
実験により,提案手法は推論効率と全体セグメンテーション性能の両方を改善した。
論文 参考訳(メタデータ) (2025-05-29T17:55:49Z) - AutoL2S: Auto Long-Short Reasoning for Efficient Large Language Models [56.063571989395946]
推論可能な大規模言語モデル(LLM)は、複雑な推論タスクにおいて強力な性能を示す。
最近のアプローチでは、長い推論や短い推論をいつ適用すべきかを手動で決めることによって、この問題に対処しようとしている。
本稿では,LLMが生成した推論経路を動的に圧縮できる動的かつモデルに依存しないフレームワークであるAuto Long-Short Reasoning (AutoL2S)を提案する。
論文 参考訳(メタデータ) (2025-05-28T17:59:53Z) - Adaptive Deep Reasoning: Triggering Deep Thinking When Needed [28.575411507835973]
大規模言語モデル(LLM)は、ロングチェーン推論による複雑なタスクの処理において、優れた機能を示している。
本稿では,問題複雑性に基づいて,短鎖と長鎖の推論チェーンを自律的に切り替える手法を提案する。
この進歩は、現実世界の応用のための大規模言語モデルにおける推論の実践性を高める。
論文 参考訳(メタデータ) (2025-05-26T15:08:51Z) - Thinkless: LLM Learns When to Think [57.857534644932194]
推論モデル(Reasoning Language Models)は、複雑な論理的推論を必要とするタスクにおいて顕著な性能を示す。
我々は,LLMが短文推論と長文推論を適応的に選択できる学習可能なフレームワークであるThinklessを提案する。
Minerva Algebra、MATH-500、GSM8Kなどのベンチマークでは、Thinklessはロングチェーン思考の使用を50%から90%削減することができる。
論文 参考訳(メタデータ) (2025-05-19T17:24:16Z) - Aggregation of Reasoning: A Hierarchical Framework for Enhancing Answer Selection in Large Language Models [84.15513004135576]
最近の研究は、複数の推論チェーンをサンプリングし、応答周波数に基づいてアンサンブルすることで、Large Language Models(LLMs)の推論性能を向上させる。
このアプローチは、正しい答えが少数派である場合に失敗する。
階層的推論集約フレームワークAoRを導入し、推論連鎖の評価に基づいて回答を選択する。
論文 参考訳(メタデータ) (2024-05-21T17:12:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。