Fugu-MT 論文翻訳(概要): Valid $\ne$ Necessary: Diagnosing Latent Inefficiency in Chain-of-Thought

論文の概要: Valid $\ne$ Necessary: Diagnosing Latent Inefficiency in Chain-of-Thought

arxiv url: http://arxiv.org/abs/2607.11266v1
Date: Mon, 13 Jul 2026 08:50:26 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-14 17:47:21.400453
Title: Valid $\ne$ Necessary: Diagnosing Latent Inefficiency in Chain-of-Thought
Title（参考訳）: 必要額は$$$\ne$:Chain-of-Thoughtにおける潜在的非効率性の診断
Abstract要約: チェーン・オブ・ソート(Chain-of-Thought)は、過剰な推論によってかなりの計算コストを発生させる。情報理論に基づく学習自由度尺度であるCAIDを提案する。
参考スコア（独自算出の注目度）: 13.898770874357446
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Chain-of-Thought (CoT) prompting has significantly advanced the reasoning capabilities of Large Language Models (LLMs), yet it often incurs substantial computational costs due to over-reasoning: the generation of redundant, verbose, or irrelevant steps. While existing reasoning step evaluators effectively detect logical fallacies and factual errors, our analysis reveals a critical blind spot: they fail to penalize valid but inefficient reasoning steps that inflate token usage without contributing to the solution. To systematically diagnose this limitation, we introduce RIV-GSM8K, a diagnostic benchmark injected with five distinct types of inefficiencies, including circular reasoning and excessive decomposition. Diagnostic experiments reveal that state-of-the-art evaluators struggle to distinguish these inefficiencies from necessary reasoning. To address this gap, we propose CAID (Context-Aware Information Density), a training-free metric grounded in information theory that identifies low-utility steps. To validate the metric's practical utility, we apply it within PACE, a post-hoc compression strategy. Additional control experiments show that the gains of PACE are not explained by trivial pruning: compared with random step removal and PRM-based compression baselines, it preserves accuracy at substantially higher compression rates. Empirical results on GSM8K, StrategyQA, and ARC-Challenge demonstrate that PACE reduces token consumption by 31-53% while maintaining accuracy, confirming that CAID successfully distills informational froth from reasoning chains without compromising deductive validity.
Abstract（参考訳）: CoT(Chain-of-Thought)の促進により、LLM(Large Language Models)の推論能力は大幅に向上したが、過剰な推論(冗長性、冗長性、無関係性)によって計算コストが大幅に低下することがしばしばある。既存の推論ステップ評価器は、論理的誤りや事実的誤りを効果的に検出するが、我々の分析では重要な盲点が明らかになっている。この限界を体系的に診断するために、円形推論や過度分解を含む5種類の非効率性を注入した診断ベンチマークRIV-GSM8Kを導入する。診断実験により、最先端の評価者はこれらの非効率性と必要な推論を区別するのに苦労していることが明らかとなった。このギャップに対処するために,情報理論に基づく学習自由度指標であるCAID(Context-Aware Information Density)を提案する。本手法の実用性を検証するため,ポストホック圧縮戦略である PACE に適用する。追加の制御実験により、PACEの利得は自明なプルーニングによって説明されず、ランダムなステップ除去やPRMベースの圧縮ベースラインと比較すると、かなり高い圧縮速度で精度を保ちます。 GSM8K,StrategyQA,ARC-Challengeの実証実験の結果,PACEは正確性を維持しながらトークン消費量を31～53%削減し,CAIDが推論鎖から情報解凍液を蒸留することに成功した。

関連論文リスト

Reasoning as Compression: Unifying Budget Forcing via the Conditional Information Bottleneck [12.360124156284305]
既存の「予算強制」手法は、本質的な推論と冗長なフィラーの両方を抑える。 Information Bottleneck (IB) の原理により, 効率的な推論を損失のある圧縮問題として再放送する。単純トークンカウントに基づくアプローチとは対照的に,先行する言語モデルの下でトークンコストを代入的に測定するセマンティック・プリミティブを導入する。
論文参考訳（メタデータ） (2026-03-09T14:56:57Z)
Stepwise Penalization for Length-Efficient Chain-of-Thought Reasoning [66.22060690012512]
大規模な推論モデルは、より多くのテストタイム計算で改善されるが、しばしば過大評価され、正確さを向上することなくコストを上昇させる必要のない長い連鎖を生み出す。本研究は,本質的な貢献に基づいて,ステップ間の長さ短縮を割り当てる,きめ細かいフレームワークであるSWAPを提案する。
論文参考訳（メタデータ） (2026-02-27T20:23:59Z)
Constraint-Rectified Training for Efficient Chain-of-Thought [60.52883907721588]
CoT (Chain-of-Thought) は,Large Language Models (LLMs) の推論能力を大幅に向上させた。より長い推論トレースは、自己訂正のような回答の品質とアンロック能力を改善することができるが、高い推論コストを発生させ、過度に考えることとして知られる冗長なステップをしばしば導入する。近年の研究は、推論の長さと精度のバランスをとる効率的な推論戦略の開発を目指している。
論文参考訳（メタデータ） (2026-02-13T02:13:45Z)
EntroCut: Entropy-Guided Adaptive Truncation for Efficient Chain-of-Thought Reasoning in Small-scale Large Reasoning Models [42.49934375597466]
大規模推論モデル(LRM)は、拡張連鎖生成による複雑な推論タスクに優れる。初期の推論ステップにおけるモデル出力分布のエントロピーは、正しい推論と間違った推論とを確実に区別する。本研究では,高信頼状態を特定することによって推論を動的に切り離す訓練自由度手法であるEntroCutを提案する。
論文参考訳（メタデータ） (2026-01-30T06:19:16Z)
Chain Of Thought Compression: A Theoritical Analysis [24.613200477865572]
Chain-of-Thought (CoT)は、大規模言語モデルの高度な推論能力を解放した。 CoTは、余分なトークンの生成によって計算コストが禁止される。最近の研究では、潜在状態への推論ステップの圧縮(暗黙のCoT圧縮)がトークン効率の代替となることが示されている。
論文参考訳（メタデータ） (2026-01-29T11:42:03Z)
TokenSqueeze: Performance-Preserving Compression for Reasoning LLMs [57.217593337454026]
TokenSqueezeは、パフォーマンスを保ち、自己生成データにのみ依存しながら推論パスを凝縮する新しいLong2Shortメソッドである。 TokenSqueeze は MATH500 ベンチマークの精度を維持しながらトークンの使用量を削減できることを示す。
論文参考訳（メタデータ） (2025-11-17T10:38:56Z)
SIM-CoT: Supervised Implicit Chain-of-Thought [108.30049193668083]
Implicit Chain-of-Thought(CoT)メソッドは、大規模言語モデルにおける明示的なCoT推論に代わるトークン効率の代替手段を提供する。暗黙的なCoTの計算予算をスケールする際の中核的な不安定性問題を特定する。そこで我々はSIM-CoTを提案する。SIM-CoTは,遅延推論空間を安定化・拡張するためのステップレベルの監視を実現するモジュールである。
論文参考訳（メタデータ） (2025-09-24T17:01:32Z)
Pruning the Unsurprising: Efficient Code Reasoning via First-Token Surprisal [13.035073453917088]
大規模推論モデル(LRM)は、Chain-of-Thought(CoT)の長さをスケールアップすることによって、コード推論において顕著な能力を示した。我々は,CoT圧縮のための新しい粗大なフレームワークであるASAP(Anchor-guided, Surprisal-based Pruning)を提案する。 ASAPは、トレーニングと推論コストを大幅に削減しつつ、複数のコード生成ベンチマークで最先端の精度を実現している。
論文参考訳（メタデータ） (2025-08-08T03:46:21Z)
ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation [74.37307916314407]
提案するフレームワークはConciseHintと呼ばれ,推論モデルが簡潔に話すことを継続的に奨励する。 DeepSeek-R1 および Qwen-3 シリーズを含む最先端の LRM 実験により,本手法が簡潔な推論を効果的に生成できることが実証された。
論文参考訳（メタデータ） (2025-06-23T16:20:44Z)
Think or Not? Exploring Thinking Efficiency in Large Reasoning Models via an Information-Theoretic Lens [51.90059610606049]
本稿では,情報理論レンズによる推論プロセスの効率を再考する。本稿では,理想的な推論経路と段階的な情報提供から分岐を定量化するために,InfoBias と InfoGain という2つの指標を提案する。これらの知見に触発されて,信頼度が十分に高ければ推論を動的に停止する,エントロピーに基づく適応的思考戦略を導入する。
論文参考訳（メタデータ） (2025-05-23T13:38:56Z)
Fractured Chain-of-Thought Reasoning [61.647243580650446]
完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
論文参考訳（メタデータ） (2025-05-19T11:30:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。