論文の概要: When Chain-of-Thought Fails, the Solution Hides in the Hidden States

• arxiv url: http://arxiv.org/abs/2604.23351v1
• Date: Sat, 25 Apr 2026 15:33:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.290143
• Title: When Chain-of-Thought Fails, the Solution Hides in the Hidden States
• Title（参考訳）: チェーン・オブ・サトウトが崩壊すると、隠れた国で解が隠れる
• Authors: Houman Mehrafarin, Amit Parekh, Ioannis Konstas,
• Abstract要約: アクティベーションパッチを用いてトークンレベルの隠蔽状態をCoT生成からダイレクト・アンサー・ランに転送する。 元のトレースが正しくない場合でも,個々のCoTトークンが正しい回答を回復するのに十分な情報をエンコードできることがわかった。
• 参考スコア（独自算出の注目度）: 6.13796568285414
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Whether intermediate reasoning is computationally useful or merely explanatory depends on whether chain-of-thought (CoT) tokens contain task-relevant information. We present a mechanistic causal analysis of CoT on GSM8K using activation patching: transferring token-level hidden states from a CoT generation to a direct-answer run for the same question, then measuring the effect on final-answer accuracy. Across models, generating after patching yields substantially higher accuracy than both direct-answer prompting and the original CoT trace, revealing that individual CoT tokens can encode sufficient information to recover the correct answer, even when the original trace is incorrect. This task-relevant information is more prevalent in correct than incorrect CoT runs and is unevenly distributed across tokens, concentrating in mid-to-late layers and appearing earlier in the reasoning trace. Moreover, patching language tokens such as verbs and entities carry task-solving information that steers generation toward correct reasoning, whereas mathematical tokens encode answer-proximal content that rarely succeeds. Patched outputs are often shorter and yet exceed the accuracy of a full CoT trace, suggesting complete reasoning chains are not always necessary. Together, these findings demonstrate that CoT encodes recoverable, token-level problem-solving information, offering new insight into how reasoning is represented and where it breaks down.
• Abstract（参考訳）: 中間推論が計算上有用であるか、単に説明的であるかは、チェーン・オブ・シント(CoT)トークンがタスク関連情報を含んでいるかどうかに依存する。 本稿では, アクティベーションパッチを用いたGSM8K上でのCoTの機械的因果解析について述べる。 パッチ後の生成は、直接回答プロンプトと元のCoTトレースの両方よりもかなり精度が高く、元のトレースが正しくない場合でも、個々のCoTトークンが正しい回答を回復するのに十分な情報をエンコードできることを明らかにする。 このタスク関連情報は、不正なCoT実行よりも正確で、トークン間で不均一に分散され、中間層から後期層に集中し、推論トレースに早く現れる。 さらに、動詞やエンティティなどの言語トークンにパッチを当てると、正しい推論に向けて生成するタスク解決情報が保持されるのに対し、数学的トークンは、ほとんど成功しない回答-近性コンテンツをエンコードする。 パッチされた出力はしばしば短いが、完全なCoTトレースの精度を超えており、完全な推論チェーンは必ずしも必要ではないことを示唆している。 これらの結果は、CoTが回復可能でトークンレベルの問題解決情報をエンコードし、推論がどのように表現され、どこで分解されるかに関する新たな洞察を提供することを示している。

関連論文リスト

• ImgCoT: Compressing Long Chain of Thought into Compact Visual Tokens for Efficient Reasoning of Large Language Model [34.90582960625524]
  大規模言語モデル (LLM) を用いた効率的な推論には, コンパクトな潜在トークンへの思考(CoT)の長い連鎖が不可欠である。 テキストCoTから画像にCoTを描画して得られる視覚CoTに置き換えるImgCoTを提案する。 これにより、言語バイアスを空間的帰納バイアスに置き換え、潜在トークンがグローバルな推論構造をよりよく捉えることができる。
  論文  参考訳（メタデータ） (2026-01-30T09:06:45Z)
• CoT-Seg: Rethinking Segmentation with Chain-of-Thought Reasoning and Self-Correction [50.67483317563736]
  本稿では,段階的に考察し,必要な情報を検索し,結果を生成し,自己評価を行い,結果を洗練するシステムを提案する。 CoT-Segは、思考の連鎖推論と自己補正を組み合わせることで、推論セグメンテーションを再考する、トレーニング不要のフレームワークである。
  論文  参考訳（メタデータ） (2026-01-24T11:41:54Z)
• SIM-CoT: Supervised Implicit Chain-of-Thought [108.30049193668083]
  Implicit Chain-of-Thought(CoT)メソッドは、大規模言語モデルにおける明示的なCoT推論に代わるトークン効率の代替手段を提供する。 暗黙的なCoTの計算予算をスケールする際の中核的な不安定性問題を特定する。 そこで我々はSIM-CoTを提案する。SIM-CoTは,遅延推論空間を安定化・拡張するためのステップレベルの監視を実現するモジュールである。
  論文  参考訳（メタデータ） (2025-09-24T17:01:32Z)
• Knowing Before Saying: LLM Representations Encode Information About Chain-of-Thought Success Before Completion [34.582439587552656]
  ゼロショット・チェーン・オブ・サート・プロセスの成功を完了前に予測できるかどうかを検討する。 LLM表現に基づく探索分類器は,単一トークンが生成される前にも良好に動作することがわかった。
  論文  参考訳（メタデータ） (2025-05-30T08:54:28Z)
• Interpretable Traces, Unexpected Outcomes: Investigating the Disconnect in Trace-Based Knowledge Distillation [14.489157453882767]
  この研究は、推論トレースと最終的なパフォーマンスとの相関を評価することの課題に対処することを目的としている。 規則に基づく問題分解を利用して解釈可能なトレースを生成する。 具体的には、この問題を分類ステップと情報検索ステップに分解して、オープンブックQAにおけるこのアプローチを実証する。
  論文  参考訳（メタデータ） (2025-05-20T00:49:19Z)
• Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
  本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。 その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。 VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
  論文  参考訳（メタデータ） (2025-05-17T04:16:36Z)
• To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning [55.52872152909785]
  Chain-of-Thought (CoT) は,大規模言語モデル (LLM) から推論能力を引き出すデファクト手法である。 私たちは、CoTが主に数学や論理学を含むタスクに強いパフォーマンス上の利点をもたらし、他のタスクよりもはるかに少ない利益をもたらすことを示しています。
  論文  参考訳（メタデータ） (2024-09-18T17:55:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。