論文の概要: CASE: Causal Alignment and Structural Enforcement for Improving Chain-of-Thought Faithfulness
- arxiv url: http://arxiv.org/abs/2607.18820v1
- Date: Tue, 21 Jul 2026 07:56:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.353433
- Title: CASE: Causal Alignment and Structural Enforcement for Improving Chain-of-Thought Faithfulness
- Title（参考訳）: 因果性アライメントと構造強化による親和性改善の1例
- Abstract要約: CoT推論は、大規模言語モデル(LLM)の性能と解釈性の両方を改善するために広く用いられている。
我々はこの問題を因果的観点から研究し、忠実なCoTプロセスはZrightarrow Xrightarrow Y$、$Z$、$X$、$Y$のチェーンに従わなければならない。
トレーニング時因果アライメントと推論時構造強制を組み合わせたフレームワークであるCASEを提案する。
- 参考スコア（独自算出の注目度）: 25.486054658242693
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Chain-of-thought (CoT) reasoning is widely used to improve both the performance and interpretability of large language models (LLMs), yet the generated reasoning may not faithfully support the final answer. We study this problem from a causal perspective, where a faithful CoT process should follow the chain $Z\rightarrow X\rightarrow Y$, with $Z$, $X$, and $Y$ denoting the instruction, reasoning chain, and final answer, respectively. In this process, the instruction should affect the answer only through the reasoning chain. However, conventional autoregressive LLMs condition answer generation on both the instruction and the CoT, which still allows a direct instruction-to-answer shortcut. To address this issue, we propose CASE, a framework that combines training-time causal alignment and inference-time structural enforcement. During training, CASE builds counterfactual-CoT, biased-instruction, and empty-instruction datasets, and applies selective-loss fine-tuning to strengthen CoT-to-answer dependence while suppressing instruction shortcuts. During inference, CASE masks direct attention from instruction tokens to answer tokens, preventing the model from bypassing the generated CoT. We provide an information-theoretic analysis showing how these components promote faithful chains. Experiments on three models and four benchmarks show that CASE achieves a 37\% average per-setting relative improvement in overall CoT faithfulness over the strongest baselines, exhibits stronger cross-dataset faithfulness transfer, and maintains competitive average accuracy. Code is available at https://github.com/oddwang/CASE.
- Abstract（参考訳）: CoT推論は、大規模言語モデル(LLM)の性能と解釈可能性の両方を改善するために広く使われているが、生成された推論は最終的な答えを忠実にサポートしていない。
我々は、この問題を因果的観点から研究し、忠実なCoTプロセスは、それぞれ、指示、推論チェーン、最終回答を示す$Z$、$X$、$Y$のチェーンに従わなければならない。
このプロセスでは、命令は推論チェーンを通してのみ答えに影響を与えるべきである。
しかし、命令とCoTの両方で従来の自己回帰型LCMの条件応答を生成するため、直接命令から応答へのショートカットが可能である。
この問題に対処するために,トレーニング時因果的アライメントと推論時構造強制を組み合わせたCASEを提案する。
トレーニング中、CASEは反ファクトアルCoT、バイアスドインストラクション、空のインストラクションデータセットを構築し、命令ショートカットを抑えながら、CoT-問合せ依存性を強化するために選択的ロス微調整を適用する。
推論中、CASEマスクは命令トークンから注意を向けてトークンに応答し、生成されたCoTをバイパスすることを防ぐ。
これらの要素がどのように忠実な連鎖を促進するかを示す情報理論解析を提供する。
3つのモデルと4つのベンチマーク実験により、CASEは最強のベースラインに対するCoT忠実度全体の平均37倍の相対的な改善を達成し、より強力なクロスデータセット忠実度移動を示し、競争平均精度を維持することが示された。
コードはhttps://github.com/oddwang/CASE.comで入手できる。
関連論文リスト
- WhisperRec: Latent Reasoning for Efficient Foundation Recommendation Models [51.88075626243057]
基礎推薦モデル(FRM)のための効率的な潜在推論フレームワークであるWhisperRecを提案する。
WhisperRecは教師生成のChain-of-Thought(CoT)を学習可能な潜在推論トークンに圧縮する。
WhisperRecは明示的なCoT法と従来のベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-07-29T08:48:35Z) - Revisiting Chain-of-Thought Reasoning under Limited Supervision: Semi-supervised Chain-of-Thought Learning [17.893249958828218]
疑似推論監視を構築するために,ラベルのない質問を用いたフレームワークを提案する。
Semi-CoTは、ラベルのない質問ごとに複数の擬似CoTをサンプリングし、回答レベルのセマンティックエントロピーを推定し、信頼性の高い擬似CoTデモとして低エントロピー推論チェーンを選択する。
AQuA、SVAMP、GSM8K、MultiArithの試験実験では、エントロピーゲートが高い精度の擬似CoTを選択し、擬似応答精度は911.36%$から100%$である。
論文 参考訳（メタデータ） (2026-07-01T22:17:39Z) - Faithfulness as Information Flow: Evaluating and Training Faithful Chain-of-Thought Reasoning [10.87972575497941]
思考の連鎖(CoT)推論は言語モデルを監視するのに有用である。
モデルはCoTをバイパスするプロンプト・ツー・アンサー・ショートカットに依存することができる。
構造的情報フローの観点からCoTの忠実性を考察する。
論文 参考訳（メタデータ） (2026-05-22T23:37:29Z) - Structural Anchors and Reasoning Fragility:Understanding CoT Robustness in LLM4Code [13.598118096561775]
Chain-of-Thought (CoT) プロンプトは、コードのための大きな言語モデル (LLM4Code) から明示的な推論を引き出すために広く使われている。
我々は、CoTが内部の不確実性ダイナミクスをどのように再認識し、なぜコード生成を助けるのではなく、時に悪影響を及ぼすのかを研究する。
論文 参考訳（メタデータ） (2026-04-14T02:48:29Z) - FACT-E: Causality-Inspired Evaluation for Trustworthy Chain-of-Thought Reasoning [49.65751420291115]
CoT(Chain-of-Thought)プロンプトはLSM推論を改善したが、モデルはしばしば不誠実な中間ステップを含むコヒーレントな説明を生成する。
我々は、CoTの品質を評価するための因果性に着想を得たフレームワークであるFACT-Eを提案する。
FACT-Eは推論・軌道選択を改善し、文脈内学習を強くすることを示す。
論文 参考訳（メタデータ） (2026-04-12T15:35:08Z) - Hierarchical Chain-of-Thought Prompting: Enhancing LLM Reasoning Performance and Efficiency [4.139013391483979]
CoT(Chain-of-Thought)のプロンプトにより,大規模言語モデル(LLM)の推論能力が大幅に向上した。
本稿では階層的連鎖(Hi-CoT)プロンプトを導入する。
Hi-CoTは、推論プロセスを命令計画とステップバイステップ実行の交互に階層的なサブステップに分解する。
論文 参考訳（メタデータ） (2026-03-31T18:35:22Z) - Balancing Faithfulness and Performance in Reasoning via Multi-Listener Soft Execution [79.98699884805636]
Reasoning Execution by Multiple Listeners (REMUL) は多人数の強化学習手法である。
REMULは、推論が他の当事者に従えるかがより忠実になるという仮説に基づいている。
スピーカーは、リスナーにとって明らかな推論を生み出すことで報われます。
論文 参考訳（メタデータ） (2026-02-18T02:55:55Z) - SIM-CoT: Supervised Implicit Chain-of-Thought [108.30049193668083]
Implicit Chain-of-Thought(CoT)メソッドは、大規模言語モデルにおける明示的なCoT推論に代わるトークン効率の代替手段を提供する。
暗黙的なCoTの計算予算をスケールする際の中核的な不安定性問題を特定する。
そこで我々はSIM-CoTを提案する。SIM-CoTは,遅延推論空間を安定化・拡張するためのステップレベルの監視を実現するモジュールである。
論文 参考訳（メタデータ） (2025-09-24T17:01:32Z) - Fractured Chain-of-Thought Reasoning [61.647243580650446]
完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。
フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
論文 参考訳（メタデータ） (2025-05-19T11:30:41Z) - To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning [55.52872152909785]
Chain-of-Thought (CoT) は,大規模言語モデル (LLM) から推論能力を引き出すデファクト手法である。
私たちは、CoTが主に数学や論理学を含むタスクに強いパフォーマンス上の利点をもたらし、他のタスクよりもはるかに少ない利益をもたらすことを示しています。
論文 参考訳（メタデータ） (2024-09-18T17:55:00Z) - Stress Testing Chain-of-Thought Prompting for Large Language Models [0.16317061277456998]
本報告では,大規模言語モデル(LLM)の多段階推論能力を向上する上で,CoT(Chain-of-Thought)の有効性について検討する。
各種タスクにおけるGPT-3の性能に及ぼすCoT次数,CoT値,CoT演算子の影響を解析した。
論文 参考訳（メタデータ） (2023-09-28T17:21:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。