論文の概要: Focused Chain-of-Thought: Efficient LLM Reasoning via Structured Input Information
- arxiv url: http://arxiv.org/abs/2511.22176v1
- Date: Thu, 27 Nov 2025 07:31:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-01 19:47:55.441203
- Title: Focused Chain-of-Thought: Efficient LLM Reasoning via Structured Input Information
- Title（参考訳）: Focused Chain-of-Thought: 構造化入力情報による効率的なLLM推論
- Authors: Lukas Struppek, Dominik Hintersdorf, Hannah Struppek, Daniel Neider, Kristian Kersting,
- Abstract要約: Focused Chain-of-Thought (F-CoT) は、推論プロセスから情報抽出を分離する。
算術語問題では、F-CoTは標準ゼロショットCoTに匹敵する精度を維持しながら、生成されたトークンを2～3倍削減する。
- 参考スコア（独自算出の注目度）: 41.10866361182172
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent large language models achieve strong reasoning performance by generating detailed chain-of-thought traces, but this often leads to excessive token use and high inference latency. Existing efficiency approaches typically focus on model-centric interventions, such as reinforcement learning or supervised fine-tuning, to reduce verbosity. In contrast, we propose a training-free, input-centric approach. Inspired by cognitive psychology, we introduce Focused Chain-of-Thought (F-CoT), which separates information extraction from the reasoning process. F-CoT first organizes the essential information from a query into a concise, structured context and then guides the model to reason exclusively over this context. By preventing attention to irrelevant details, F-CoT naturally produces shorter reasoning paths. On arithmetic word problems, F-CoT reduces generated tokens by 2-3x while maintaining accuracy comparable to standard zero-shot CoT. These results highlight structured input as a simple yet effective lever for more efficient LLM reasoning.
- Abstract（参考訳）: 最近の大規模言語モデルは、詳細な連鎖トレースを生成することで強力な推論性能を得るが、これはしばしば過剰なトークンの使用と高い推論遅延をもたらす。
既存の効率性アプローチは、通常、冗長性を減らすために強化学習や教師付き微調整のようなモデル中心の介入に焦点を当てる。
対照的に、トレーニングなし、入力中心のアプローチを提案する。
認知心理学から着想を得たF-CoT(Focused Chain-of-Thought)を導入する。
F-CoTはまず、クエリから重要な情報を簡潔で構造化されたコンテキストに整理し、その後、モデルにこのコンテキストのみを推論するように誘導する。
無関係な詳細に注意を払わないようにすることで、F-CoTは自然により短い推論経路を生成する。
算術語問題では、F-CoTは標準ゼロショットCoTに匹敵する精度を維持しながら、生成されたトークンを2～3倍削減する。
これらの結果は、より効率的なLSM推論のための単純で効果的なレバーとして構造化された入力を強調している。
関連論文リスト
- Fast Thinking for Large Language Models [67.7238685892317]
我々は、訓練中にのみ簡潔なCoTスケッチを使用して個別戦略事前のコードブックを学習するフレームワークであるLatent Codebooks for Fast Thinkingを紹介した。
推論では、コードブックから抽出した少数の連続的思考スイッチのモデル条件を1パスにすることで、明確な推論トークンを生成することなく、戦略レベルのガイダンスを可能にする。
論文 参考訳（メタデータ） (2025-09-28T04:19:48Z) - R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。
CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。
トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
論文 参考訳（メタデータ） (2025-07-23T08:14:36Z) - Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models [49.61246073215651]
大規模言語モデル(LLM)は複雑なタスクにおいて顕著な機能を示した。
OpenAI o1とDeepSeek-R1の最近の進歩は、System-2推論ドメインのパフォーマンスをさらに改善した。
しかし、冗長な出力と冗長な出力による計算オーバーヘッドも大幅に発生する。
論文 参考訳（メタデータ） (2025-03-20T17:59:38Z) - The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。
UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。
実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
論文 参考訳（メタデータ） (2025-03-04T18:56:03Z) - Self-Training Elicits Concise Reasoning in Large Language Models [23.475414693530965]
チェーン・オブ・シント(CoT)推論により、中間トークンによるさらなる計算を大規模言語モデル(LLM)が利用できるようになった。
自己生成した簡潔な推論経路を利用する簡単な微調整法を提案する。
提案手法は,GSM8KおよびMATH上の5つのモデルファミリに対して,平均精度を維持しつつ,出力トークンの30%削減を実現する。
論文 参考訳（メタデータ） (2025-02-27T14:14:50Z) - Understanding Chain-of-Thought in LLMs through Information Theory [16.78730663293352]
我々は,情報理論レンズを用いて,大規模言語モデル(LLM)におけるChain-of-Thought(CoT)推論を定式化する。
具体的には、各推論ステップにおける「情報ゲイン」を定量化し、障害モードの識別を可能にする。
我々は,おもちゃの算術, GSM8K, PRM800kデータセットに関する広範な実験を通じて,本手法の有効性を実証する。
論文 参考訳（メタデータ） (2024-11-18T19:14:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。