論文の概要: Chain Of Thought Compression: A Theoritical Analysis

• arxiv url: http://arxiv.org/abs/2601.21576v1
• Date: Thu, 29 Jan 2026 11:42:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.773395
• Title: Chain Of Thought Compression: A Theoritical Analysis
• Title（参考訳）: 思考圧縮の連鎖:理論分析
• Authors: Juncai Li, Ru Li, Yuxiang Zhou, Boxiang Ma, Jeff Z. Pan,
• Abstract要約: Chain-of-Thought (CoT)は、大規模言語モデルの高度な推論能力を解放した。 CoTは、余分なトークンの生成によって計算コストが禁止される。 最近の研究では、潜在状態への推論ステップの圧縮(暗黙のCoT圧縮)がトークン効率の代替となることが示されている。
• 参考スコア（独自算出の注目度）: 24.613200477865572
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chain-of-Thought (CoT) has unlocked advanced reasoning abilities of Large Language Models (LLMs) with intermediate steps, yet incurs prohibitive computational costs due to generation of extra tokens. Recent studies empirically show that compressing reasoning steps into latent states, or implicit CoT compression, offers a token-efficient alternative. However, the mechanism behind CoT compression remains unclear. In this paper, we provide the first theoretical analysis of the difficulty of learning to internalize intermediate reasoning steps. By introducing Order-r Interaction, we prove that the learning signal for high-order logical dependencies exponentially decays to solve irreducible problem, where skipping intermediate steps inevitably leads to high-order interaction barriers. To empirically validate this, we introduce NatBool-DAG, a challenging benchmark designed to enforce irreducible logical reasoning and eliminate semantic shortcuts. Guided by our theoretical findings, we propose ALiCoT (Aligned Implicit CoT), a novel framework that overcomes the signal decay by aligning latent token distributions with intermediate reasoning states. Experimental results demonstrate that ALiCoT successfully unlocks efficient reasoning: it achieves a 54.4x speedup while maintaining performance comparable to explicit CoT.
• Abstract（参考訳）: CoT(Chain-of-Thought)は、中間ステップでLLM(Large Language Models)の高度な推論能力を解き放ったが、余分なトークンの生成によって計算コストが禁じられている。 近年の研究では、潜在状態への推論ステップの圧縮(暗黙のCoT圧縮)がトークン効率の代替となることが実証されている。 しかし、CoT圧縮のメカニズムはまだ不明である。 本稿では,中間的推論ステップを内部化する学習の難しさを理論的に解析する。 順序-r相互作用を導入することにより、高次論理的依存関係の学習信号が指数関数的に減衰して既約問題の解法となり、中間ステップのスキップが必然的に高次相互作用障壁につながることが証明される。 これを実証的に検証するために、既約論理的推論を強制し、意味的ショートカットを排除するために設計された挑戦的なベンチマークであるNatBool-DAGを紹介する。 ALiCoT(Aligned Implicit CoT, Aligned Implicit CoT, Aligned Implicit CoT)は, 遅延トークン分布を中間的推論状態に整列させることにより, 信号減衰を克服する新しいフレームワークである。 ALiCoTは54.4倍の高速化を実現し、明示的なCoTに匹敵する性能を維持している。

関連論文リスト

• SemCoT: Accelerating Chain-of-Thought Reasoning through Semantically-Aligned Implicit Tokens [43.78883511257627]
  CoT(Chain-of-Thought)の推論は、効率クリティカルなアプリケーションへの大量展開を妨げる。 本稿では,SemCoTと呼ばれる意味的に整合した暗黙的CoTフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-28T20:11:54Z)
• Pruning the Unsurprising: Efficient Code Reasoning via First-Token Surprisal [13.035073453917088]
  大規模推論モデル(LRM)は、Chain-of-Thought(CoT)の長さをスケールアップすることによって、コード推論において顕著な能力を示した。 我々は,CoT圧縮のための新しい粗大なフレームワークであるASAP(Anchor-guided, Surprisal-based Pruning)を提案する。 ASAPは、トレーニングと推論コストを大幅に削減しつつ、複数のコード生成ベンチマークで最先端の精度を実現している。
  論文  参考訳（メタデータ） (2025-08-08T03:46:21Z)
• Think Silently, Think Fast: Dynamic Latent Compression of LLM Reasoning Chains [24.805434364781306]
  潜在空間における推論過程を動的に圧縮する新しいフレームワークであるCompressed Latent Reasoning (CoLaR)を紹介する。 CoLaRは、同等の圧縮比で遅延ベースのベースライン法よりも14.1%高い精度を達成する。 我々のRL強化CoLaRは、最大5.4%の性能向上を示しながら、遅延推論チェーン長を82.8%劇的に減少させる。
  論文  参考訳（メタデータ） (2025-05-22T11:40:26Z)
• Fractured Chain-of-Thought Reasoning [61.647243580650446]
  完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。 フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-05-19T11:30:41Z)
• The Curse of CoT: On the Limitations of Chain-of-Thought in In-Context Learning [56.574829311863446]
  CoT(Chain-of-Thought)プロンプトは,大規模言語モデル(LLM)における推論能力の向上によって広く認識されている。 我々は、CoTとその推論変異が、様々なモデルスケールやベンチマークの複雑さに対して、直接応答を一貫して過小評価していることを実証する。 パターンベースICLにおけるCoTの性能を駆動する明示的単純推論の基本的なハイブリッド機構を明らかにする。
  論文  参考訳（メタデータ） (2025-04-07T13:51:06Z)
• Towards Understanding Chain-of-Thought Prompting: An Empirical Study of What Matters [82.84696222087396]
  CoT(Chain-of-Thought)の促進により,大規模言語モデル(LLM)の多段階推論能力が劇的に向上する 無効な実演でもCoT推論が可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-20T05:20:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。