Fugu-MT 論文翻訳(概要): When Chain-of-Thought Helps and When It Hurts: An Empirical Investigation of the Serial-Depth Bottleneck in LLM Reasoning

論文の概要: When Chain-of-Thought Helps and When It Hurts: An Empirical Investigation of the Serial-Depth Bottleneck in LLM Reasoning

arxiv url: http://arxiv.org/abs/2608.09942v1
Date: Tue, 23 Jun 2026 12:38:52 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-28 05:09:55.179753
Title: When Chain-of-Thought Helps and When It Hurts: An Empirical Investigation of the Serial-Depth Bottleneck in LLM Reasoning
Title（参考訳）: 耐火・耐火・耐火・耐火・耐火・耐火・耐火・耐水・耐火・耐火・耐火・耐火・耐火・耐火・耐火・耐火・耐火・耐火・耐火・耐火・耐火・耐火・耐火・耐火・耐火・耐火・耐火・耐火・耐火・耐火・耐火・耐火・耐火・耐火・耐火・耐火・耐火・耐火・耐火・耐火・耐火・耐火
Abstract要約: 思考の連鎖(CoT)はLSM推論を改善する。 CoTは、単一パス容量を歪ませるシリアル計算を支援し、すでに適合しているタスクに対して冗長である。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: It is widely assumed that chain-of-thought (CoT) prompting universally improves LLM reasoning. We investigate this through the conceptual framework of the H_dp bandwidth bound (Chen et al., 2024): although the formal bound binds only asymptotically (at astronomically large prompt lengths), it identifies a real architectural bottleneck -- serial computation exceeding a transformer's single-pass capacity must be externalised, which is what CoT does. Our central finding is a within-benchmark serial-depth gradient: single-pass (no-CoT) accuracy degrades monotonically with per-item serial depth, while CoT is approximately depth-invariant. We measure CoT effects across three instruction-tuned models (Qwen-2.5-7B/32B, Llama-3.1-8B) and five standard NLP benchmarks at practical context lengths. On high-depth P-complete tasks (GSM8K, MATH), CoT gives a +54 to +68 pp recovery gap across all models. On shallow TC^0 tasks (MMLU, ARC), CoT is structurally redundant (Delta in [0.0, +4.6] pp, no significant negative effect) -- though high no-CoT baselines (up to 95% on ARC) may reflect contamination, so this null is not a clean architectural test. The intermediate class L (HumanEval) shows a model-size-dependent transition: +23.2 pp (32B), +9.1 pp (8B), -28.7 pp (7B). The cross-benchmark depth-recovery correlation is Spearman rho = 0.661 (p = 0.007, n = 15); 9 of 15 benchmark-level McNemar tests are significant after Bonferroni correction. Pre-registered on OSF, our results indicate that CoT is not a universal reasoning enhancer but acts as a bandwidth bypass: it helps serial computation that strains single-pass capacity and is redundant for tasks that already fit.
Abstract（参考訳）: チェーン・オブ・シント(CoT)はLLM推論を普遍的に改善すると考えられている。我々は、H_dpバンド幅境界の概念的枠組み(Chen et al , 2024): 形式的バインドは漸近的に(天文学的に大きなプロンプト長で)しか持たないが、実際のアーキテクチャ上のボトルネックを識別する - 変換器の単一パス容量を超えるシリアル計算は外部化されなければならない。単パス(非CoT)の精度は単調に低下し,CoTはおよそ深度不変である。我々は,3つの命令調整モデル(Qwen-2.5-7B/32B,Llama-3.1-8B)と5つの標準NLPベンチマークにおけるCoT効果を実測した。高深度P完全タスク(GSM8K, MATH)では、CoTは全モデルに+54から+68ppのリカバリギャップを与える。浅いTC^0タスク(MMLU, ARC)では、CoTは構造的に冗長([0.0, +4.6] pp, no significant negative effect)である。中間類 L (HumanEval) はモデルサイズの依存的な遷移を示す: +23.2 pp (32B), +9.1 pp (8B), -28.7 pp (7B) である。スピアマンrho = 0.661 (p = 0.007, n = 15); 15ベンチマークレベルのマクネマール試験のうち9つはボンフェロニ補正後に有意である。 OSFで事前登録された結果から,CoTは普遍的な推論エンハンサではなく,帯域幅バイパスとして機能し,単一パス容量を歪ませるシリアル計算を支援し,すでに適合しているタスクに対して冗長であることがわかった。

関連論文リスト

Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。 Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
論文参考訳（メタデータ） (2026-07-08T05:48:57Z)
Evaluating Fine-Tuning and Metrics for Neural Decompilation of Dart AOT Binaries [0.0]
神経脱コンパイルにおける微調整の有効性と妥当性に関する系統的研究を行った。 CodeBLEU, compile@k, pass@k の3つの指標を用いて, 3つの基本アーキテクチャにまたがる細かなモデル変異を評価した。 Swiftトレーニングからのクロスリンガル干渉は、4B(-2.66 pp, p)で非常に重要である(ただし8Bでゼロと統計的に区別できないが、スケーリング仮説と一致している)。
論文参考訳（メタデータ） (2026-07-07T10:36:12Z)
OQMD: Single-Qubit Rotation Control Improves Low-CNOT Multiclass Quantum Classification [4.669017653337737]
本研究は、最適量子計測復号法(OQMD)の研究である。 OQMD: 測定前に読み出し層をトレーニングすることで、量子結果が古典的なラベルにどのようにマッピングされるかを最適化する。実験では、OQMDのハードウエアネイティブな1つの具体的実現として、トレーニング可能な3つの1量子ビット回転を用いる。
論文参考訳（メタデータ） (2026-06-12T04:05:48Z)
Reasoning Topology Matters: Network-of-Thought for Complex Reasoning Tasks [5.523132953818281]
CoT(Chain-of-Thought)は線形トレースを生成し、ToT(Tree-of-Thought)は分岐探索を実行する。タイプノードとエッジを持つ有向グラフとして推論をモデル化するフレームワークであるNetwork-of-Thought (NoT)を提案する。
論文参考訳（メタデータ） (2026-03-21T09:32:28Z)
DeepPrune: Parallel Scaling without Inter-trace Redundancy [53.62015294143274]
並列推論トレースの80%以上は、実質的な無駄な計算を代表して、同じ最終回答をもたらす。動的プルーニングによる効率的な並列スケーリングを実現する新しいフレームワークであるDeepPruneを提案する。我々の研究は並列推論のための新しい標準を確立し、高性能推論をより効率的にする。
論文参考訳（メタデータ） (2025-10-09T17:24:54Z)
Rethinking Thinking Tokens: LLMs as Improvement Operators [80.12087211785949]
推論トレーニングは、LLMに長い思考の連鎖(長いCoT)を生み出す動機を与え、自己チェックによるソリューション戦略を探索することを可能にする。これにより、精度が高くなりますが、コンテキストの長さ、トークン/計算コスト、応答レイテンシが膨らみます。現在のモデルはメタ認知を活用して、このParetoフロンティアで他の組み合わせを提供できるのでしょうか? i) 多様なドラフトを並列に生成し、(ii) それらを有界なテキストワークスペースに蒸留し、(iii) このワークスペース上に条件付き精製する。
論文参考訳（メタデータ） (2025-10-01T17:08:59Z)
SIM-CoT: Supervised Implicit Chain-of-Thought [108.30049193668083]
Implicit Chain-of-Thought(CoT)メソッドは、大規模言語モデルにおける明示的なCoT推論に代わるトークン効率の代替手段を提供する。暗黙的なCoTの計算予算をスケールする際の中核的な不安定性問題を特定する。そこで我々はSIM-CoTを提案する。SIM-CoTは,遅延推論空間を安定化・拡張するためのステップレベルの監視を実現するモジュールである。
論文参考訳（メタデータ） (2025-09-24T17:01:32Z)
How does Chain of Thought Think? Mechanistic Interpretability of Chain-of-Thought Reasoning with Sparse Autoencoding [3.8914132324834045]
CoT(Chain-of- Thought)は、多段階タスクにおけるLarge Language Modelsの精度を高める。しかし、生成された「考え」が真の内部推論過程を反映しているかどうかは未解決である。本研究は,CoT忠実度に関する最初の特徴レベル因果研究である。
論文参考訳（メタデータ） (2025-07-24T10:25:46Z)
Fractured Chain-of-Thought Reasoning [61.647243580650446]
完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
論文参考訳（メタデータ） (2025-05-19T11:30:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。