論文の概要: Causal Chain of Thought: Mitigating Attention Leakage via Context Isolation

• arxiv url: http://arxiv.org/abs/2610.31639v1
• Date: Thu, 22 Oct 2026 17:52:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.507001
• Title: Causal Chain of Thought: Mitigating Attention Leakage via Context Isolation
• Title（参考訳）: 思考の因果関係:文脈分離による注意漏れの軽減
• Abstract要約: チェーン・オブ・プリンティングは、モデル予測を説明するようなステップ・バイ・ステップの合理性を引き出すが、これらのステップが最終答を因果的に導く保証はない。 CausalCoTは、問題を原子サブクエストの有向非巡回グラフに分解することで因果透明性を強制する推論フレームワークである。 このマルコフ構造は、非親性コンテンツへの注意経路を除去し、グローバルなコンテキストリークではなく、局所的推論に敏感な下流予測を可能にする。
• 参考スコア（独自算出の注目度）: 14.695644456420053
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Chain-of-thought (CoT) prompting elicits step-by-step rationales that appear to explain model predictions, but there is no guarantee these steps causally drive the final answer. In standard autoregressive generation, dense attention allows each reasoning step to attend to the full context, enabling the model to derive answers through direct lookup while generating plausible-sounding but post-hoc justifications. We introduce CausalCoT, an inference framework that enforces causal transparency by decomposing problems into a directed acyclic graph of atomic sub-questions, evaluating each node in an isolated context containing only its direct causal parents. This Markovian structure removes attention pathways to non-parent content, making downstream predictions sensitive to local reasoning rather than global context leakage. Across a diverse suite of reasoning benchmarks, CausalCoT preserves competitive predictive performance while improving explanation faithfulness, increasing causal sensitivity of intermediate reasoning steps by an average of 12 and up to 21 percentage points over the strongest baseline. The structured dependency graph additionally enables test-time interventions in which local corrections propagate predictably through downstream reasoning.
• Abstract（参考訳）: チェーン・オブ・シント(CoT)は、モデル予測を説明するためのステップ・バイ・ステップの合理性を誘発するが、これらのステップが最終回答を因果的に駆動する保証はない。 標準的な自己回帰生成では、密集した注意は、各推論ステップが完全な文脈に従属することを可能にし、モデルがプラプシブル・ソウディングとポストホックの正当化を生成しながら、直接的なルックアップを通じて回答を導出することを可能にする。 因果関係の親のみを含む孤立した文脈で各ノードを評価し、問題を原子サブクエストの有向非巡回グラフに分解することで因果関係の透明性を強制する推論フレームワークCausalCoTを紹介する。 このマルコフ構造は、非親性コンテンツへの注意経路を除去し、グローバルなコンテキストリークではなく、局所的推論に敏感な下流予測を可能にする。 CausalCoTは多種多様な推論ベンチマークで競争予測性能を保ちながら、説明の忠実さを改善し、中間推論ステップの因果感度を平均12点、最強ベースラインを最大21ポイント引き上げている。 構造化された依存性グラフは、下流の推論を通じて局所的な補正が予測可能となるテスト時間介入を可能にする。

関連論文リスト

• CALR: Continuous Anchored Latent Reasoning via Render-of-Thought Compression [25.786168938213063]
  視覚的潜在推論は、レンダリングの導出をコンパクトな中間状態に圧縮し、テキスト推論のオーバーヘッドを減らした。 既存のアプローチはこれらの状態を表現する方法が異なるが、離散的な手法は有限のコードブックへの量子化によって精度を向上させる。 我々の連続的および離散的なシステムの解析は、2つの機能的要件を識別する: 答えは潜在状態に依存し、それらの状態は有効な問題固有の推論をしなければならない。 機能的アンカーを通した応答利用と潜時生成を繋ぐ連続アンコレッド潜時推論(CALR)を提案する。
  論文  参考訳（メタデータ） (2026-10-05T18:00:56Z)
• When Confidence Rises Too Early: Detecting Shortcut Reasoning via Premature Answer Commitment [76.62469105933384]
  大規模言語モデル (LLM) は、ある答えにたどり着くためのショートカットを頼りにし、その決定を合理化する。 ConfLensは、推論を通じて最終的な回答における信頼の進化を追跡するフレームワークです。 本稿では,解答コミットメントに対する確率分布のエントロピーを測定するために,DACS(Distributal Answer Commitment Score)を提案する。
  論文  参考訳（メタデータ） (2026-09-28T13:00:25Z)
• Beyond the Commitment Boundary: Probing Epiphenomenal Chain-of-Thought in Large Reasoning Models [16.372524974789492]
  思考の連鎖(CoT)推論は、言語モデルにおける推論時間スケーリングの主要なパラダイムである。 本研究は,複数のモデルファミリーの推理トレースにまたがって,回答がどのように形成されるのかを考察する。
  論文  参考訳（メタデータ） (2026-06-11T17:21:16Z)
• Causal-Audit: Explicit and Auditable Graph-based Reasoning via Target-Aware Causal Chain Construction [14.96995835279229]
  因果的および介入に基づく質問応答は、大規模言語モデルの進化に不可欠である。 文脈自由な介入に基づく質問応答のための明示的で監査可能な因果推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-22T23:24:18Z)
• CausalFlip: A Benchmark for LLM Causal Judgment Beyond Semantic Matching [50.65932158912512]
  そこで我々は,新しい大言語モデルの開発を促進するために,因果推論ベンチマークCausalFlipを提案する。 CaulFlipは、イベントトリプル上に構築された因果判断の質問で構成されており、共同創設者、チェーン、コライダーの関係が異なっている。 回答のみのトレーニング,明示的なチェーン・オブ・ソート監視,そして内在型因果推論アプローチなどを含む,複数の訓練パラダイムによるLCMの評価を行った。
  論文  参考訳（メタデータ） (2026-02-23T18:06:15Z)
• Think Locally, Explain Globally: Graph-Guided LLM Investigations via Local Reasoning and Belief Propagation [5.191980417814362]
  LLMエージェントは、ほとんどの環境が静的で、必要な情報がモデルのコンテキストウインドウに適合する場合、排他的になる。 直腸型薬剤は、この体制では特に脆い。 本稿では,LLMが限定的な局所的エビデンスマイニングとラベリングを行うためのフレームワークであるEoGを提案する。
  論文  参考訳（メタデータ） (2026-01-25T17:27:19Z)
• Efficient Thought Space Exploration through Strategic Intervention [54.35208611253168]
  本稿では,この知見を2つの相乗的コンポーネントを通して操作するHint-Practice Reasoning(HPR)フレームワークを提案する。 フレームワークの中核となる革新は、動的に介入点を識別する分散不整合低減(DIR)である。 算術的および常識的推論ベンチマークによる実験は、HPRの最先端の効率-精度トレードオフを実証している。
  論文  参考訳（メタデータ） (2025-11-13T07:26:01Z)
• A Survey on Latent Reasoning [100.54120559169735]
  大きな言語モデル(LLM)は印象的な推論機能を示している。 中間ステップを言語化するCoT推論は、モデルの表現帯域幅を制限する。 潜在的推論は、モデルの連続的な隠れ状態に完全にマルチステップの推論を実行することで、このボトルネックに対処する。
  論文  参考訳（メタデータ） (2025-07-08T17:29:07Z)
• Identifiable Latent Neural Causal Models [82.14087963690561]
  因果表現学習は、低レベルの観測データから潜伏した高レベルの因果表現を明らかにすることを目指している。 因果表現の識別可能性に寄与する分布シフトのタイプを決定する。 本稿では,本研究の成果を実用的なアルゴリズムに翻訳し,信頼性の高い潜在因果表現の取得を可能にする。
  論文  参考訳（メタデータ） (2024-03-23T04:13:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。