論文の概要: Making LLMs Say What They Think: Measuring and Improving CoT-Interpretability Alignment

• arxiv url: http://arxiv.org/abs/2609.38972v1
• Date: Wed, 30 Sep 2026 04:44:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.188006
• Title: Making LLMs Say What They Think: Measuring and Improving CoT-Interpretability Alignment
• Title（参考訳）: LLMが考えること - CoT-解釈可能性アライメントの測定と改善
• Abstract要約: CoT(Chain-of- Thought)トレースは、大言語モデルがその答えにどのように到達するかのプロキシとして機能することが多い。 モデルのCoTはしばしば内部の計算を反映せず、最終的な答えに影響を与えずに変更できることを示す証拠が大きくなる。 我々は,モデルのCoTトレースと内部推論戦略との一致を測定する指標であるCoT-Interpretability Alignment(CIA)を提案する。
• 参考スコア（独自算出の注目度）: 50.1119670192387
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chain-of-thought (CoT) traces often serve as a proxy for how Large Language Models (LLMs) arrive at their answers. However, growing evidence shows that models' CoT often fails to reflect their internal computations and can be changed without affecting their final answers. In this work, we measure and improve the alignment between the reasoning described in an LLM's CoT and what it computes internally. We propose CoT-Interpretability Alignment (CIA), a metric that measures the agreement between a model's CoT traces and its internal reasoning strategies as detected by interpretability tools. We evaluate CIA on three tasks (two-hop question answering, hint intervention, and integer multiplication) across three LLMs, finding that LLMs exhibit limited alignment across all tasks (44.8-75.9%). We then experiment with improving CIA via post-training, setting both the task accuracy and parametric faithfulness signals as a reward. Experiments show that we can substantially improve CoT parametric faithfulness while maintaining or improving the task accuracy. We provide rich analysis, such as their generalization patterns. Our work provides both a framework for auditing CoT parametric faithfulness and a pathway toward making models' explicit reasoning more trustworthy. Code and data are available at https://github.com/yihuaihong/CIA-minimal-repro.
• Abstract（参考訳）: CoT(Chain-of- Thought)トレースは、多くの場合、LLM(Large Language Models)がどのようにして回答を得るかのプロキシとして機能する。 しかし、モデルのCoTはしばしば内部の計算を反映せず、最終的な答えに影響を与えずに変更できることを示す証拠が増えている。 本研究では, LLM の CoT に記述された推論と, 内部で計算する処理とのアライメントを計測し, 改善する。 我々は,モデルのCoTトレースと内部的推論戦略との一致を解釈可能性ツールで検出する指標であるCoT-Interpretability Alignment(CIA)を提案する。 LLMの3つのタスク(2ホップ質問応答、ヒント介入、整数乗算)に対してCIAを評価し、LLMが全タスク(44.8-75.9%)に対して限定的なアライメントを示すことを発見した。 次に、ポストトレーニングを通じてCIAを改善する実験を行い、タスク精度とパラメトリック忠実度の両方を報奨として設定する。 実験の結果,タスクの正確性を維持したり改善したりしながら,CoTパラメトリック忠実度を大幅に改善できることがわかった。 一般化パターンのようなリッチな分析を提供する。 私たちの研究は、CoTパラメトリックの忠実さを監査するためのフレームワークと、モデルの明確な推論をより信頼できるものにするための経路の両方を提供します。 コードとデータはhttps://github.com/yihuaihong/CIA-minimal-repro.comで公開されている。

関連論文リスト

• Faithfulness as Information Flow: Evaluating and Training Faithful Chain-of-Thought Reasoning [10.87972575497941]
  思考の連鎖(CoT)推論は言語モデルを監視するのに有用である。 モデルはCoTをバイパスするプロンプト・ツー・アンサー・ショートカットに依存することができる。 構造的情報フローの観点からCoTの忠実性を考察する。
  論文  参考訳（メタデータ） (2026-05-22T23:37:29Z)
• S3-CoT: Self-Sampled Succinct Reasoning Enables Efficient Chain-of-Thought LLMs [48.80914119283909]
  チェーン・オブ・シークレット(CoT)を備えた大規模言語モデルは、強力なパフォーマンスを実現し、振る舞いの窓を提供する。 最近の証拠は、CoT能力の改善には冗長な推論プロセスが伴うことを示唆している。 本研究では,効率的なCoT学習のためのアクティベーションステアリングに基づく自己サンプリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-02T11:37:36Z)
• Measuring Chain-of-Thought Monitorability Through Faithfulness and Verbosity [3.117948413097524]
  CoT(Chain-of- Thought)出力によって、モデルのステップバイステップ推論を読み取ることができます。 BBH,GPQA,MMLUの命令調整モデルと推論モデルについて検討した。
  論文  参考訳（メタデータ） (2025-10-31T11:14:39Z)
• Can Aha Moments Be Fake? Identifying True and Decorative Thinking Steps in Chain-of-Thought [72.45900226435289]
  大きな言語モデル(LLM)は、テスト時に長いチェーン・オブ・ソート(CoT)を生成することができ、複雑なタスクを解決できる。 提案したTrue Thinking Score (TTS) を用いて、各推論ステップの段階的因果関係がモデルの最終予測に与える影響を測定する。 我々は、LLMの潜在空間におけるTrueThinking方向を同定し、モデルに特定のCoTステップの実行や無視を強制することができる。
  論文  参考訳（メタデータ） (2025-10-28T20:14:02Z)
• Can Confidence Estimates Decide When Chain-of-Thought Is Necessary for LLMs? [32.02698064940949]
  CoT(Chain-of- Thought)プロンプトは、大規模言語モデルの推論能力を高めるための一般的な手法として登場した。 本研究は,CoTゲーティングのためのトレーニング不要信頼度推定手法に関する最初の体系的研究である。
  論文  参考訳（メタデータ） (2025-10-23T21:33:28Z)
• Rethinking Thinking Tokens: LLMs as Improvement Operators [80.12087211785949]
  推論トレーニングは、LLMに長い思考の連鎖(長いCoT)を生み出す動機を与え、自己チェックによるソリューション戦略を探索することを可能にする。 これにより、精度が高くなりますが、コンテキストの長さ、トークン/計算コスト、応答レイテンシが膨らみます。 現在のモデルはメタ認知を活用して、このParetoフロンティアで他の組み合わせを提供できるのでしょうか? i) 多様なドラフトを並列に生成し、(ii) それらを有界なテキストワークスペースに蒸留し、(iii) このワークスペース上に条件付き精製する。
  論文  参考訳（メタデータ） (2025-10-01T17:08:59Z)
• To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning [55.52872152909785]
  Chain-of-Thought (CoT) は,大規模言語モデル (LLM) から推論能力を引き出すデファクト手法である。 私たちは、CoTが主に数学や論理学を含むタスクに強いパフォーマンス上の利点をもたらし、他のタスクよりもはるかに少ない利益をもたらすことを示しています。
  論文  参考訳（メタデータ） (2024-09-18T17:55:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。