論文の概要: Verbalising Model's Computation for Chain-of-Thought Faithfulness Detection

• arxiv url: http://arxiv.org/abs/2610.23275v1
• Date: Fri, 16 Oct 2026 10:44:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.880287
• Title: Verbalising Model's Computation for Chain-of-Thought Faithfulness Detection
• Title（参考訳）: 重み検出のためのバーバリジングモデルの計算法
• Abstract要約: CoT(Chain-of-Thought)検証手法は、モデル出力や静的アクティベーションからの忠実性の推論を検出する。 モデルの計算を言語化するためにVERITASを導入します。 VERITAS は LLM-as-Judge よりも大きな性能向上を実現していることを示す。
• 参考スコア（独自算出の注目度）: 38.84830479777414
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current Chain-of-Thought (CoT) verification methods detect reasoning faithfulness from model outputs or static activations, but are limited in explaining how unfaithfulness develops during generation. We introduce VERITAS to verbalise the model's computation: how different reasoning anchors emerge, transfer across layers, and surface in the output. VERITAS adopts the layer-wise Jacobian projection to produce a verbalised account of the model's internal reasoning evolution at each generated CoT token. By training a classifier on the extracted features along the traces, we show that these structured features provide insightful perspectives on how and where reasoning diverges toward unfaithfulness. Experiments on four datasets from FaithCoT-Bench and BonaFide show that VERITAS achieves a significant performance gain over LLM-as-Judge, with a 28.4% gain in balanced accuracy, and an average improvement of 16.0% over activation probing. Further analysis shows VERITAS can be generalised to different datasets and model architectures. Our work shows that verbalising model computation provides a richer and more interpretable lens on CoT faithfulness, moving beyond detection toward a mechanistic understanding of how reasoning fails.
• Abstract（参考訳）: 現在、CoT(Chain-of-Thought)検証手法は、モデル出力や静的アクティベーションからの信頼の推論を検知するが、生成時に不信感がどのように発達するかを説明するには限界がある。 モデルの計算を言葉化するために、VERITASを導入します。 VERITASはレイヤワイドジャコビアンプロジェクションを採用して、生成されたCoTトークンごとにモデルの内部推論の進化を口頭で説明する。 トラストに沿って抽出された特徴の分類器を訓練することにより、これらの構造的特徴が、どのように、どのように、そして、推論が不誠実な方向に分岐するかについての洞察に富んだ視点を提供することを示す。 FaithCoT-Bench と BonaFide の4つのデータセットによる実験では、VERITAS は LLM-as-Judge よりも大きなパフォーマンス向上を実現しており、バランスの取れた精度は28.4%、アクティベーションの確率よりも平均16.0%向上している。 さらに分析すると、VERITASは異なるデータセットやモデルアーキテクチャに一般化できることを示している。 我々の研究は、冗長化モデル計算がCoT忠実度をより豊かに解釈可能なレンズを提供し、推論がどのように失敗するかの機械的理解に向かっていることを示している。

関連論文リスト

• Latent Fact-Checking: Detecting Misinformation through Activation Engineering [1.3299946892361476]
  本稿では,アクティベーションエンジニアリングを基盤とした誤情報検出フレームワークを提案する。 提案手法は,ペアの真理文と偽文のアクティベーションを対比することにより,残流の誤情報方向を導出する。 本手法は,AVeriTeC,LIAR,FACTorsの3つのファクトチェックベンチマークを用いて,11モデルにまたがって評価する。
  論文  参考訳（メタデータ） (2026-08-05T18:00:14Z)
• Evaluating the Representation Space of Diffusion Models via Self-Supervised Principles [35.85907484884706]
  拡散モデルの表現と生成能力を評価するためのフレームワークを提案する。 拡散モデルの識別的および生成的挙動を解析する。 この結果から,自己監督的視点から拡散モデルを監視することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2026-06-08T16:44:18Z)
• Monitoring the Internal Monologue: Probe Trajectories Reveal Reasoning Dynamics [42.27928681606673]
  大規模推論モデル (LRM) は, 思考の連鎖 (CoT) 推論を通じて, 安全監視のための新たな機会を導入する。 本研究では,LRMの隠れ表現について検討し,今後の挙動をプロンプトおよびCoT表現から予測できるかどうかを検証した。 将来のモデル行動は, 単一の静的予測より, 完全な軌道上での検証において, より区別し易いことが判明した。
  論文  参考訳（メタデータ） (2026-05-18T15:29:04Z)
• Deep Hidden Cognition Facilitates Reliable Chain-of-Thought Reasoning [33.30315111732609]
  Chain of Thought (CoT)推論は驚くほど深い推論能力を示している。 しかし、その信頼性はしばしば中間段階のエラーの蓄積によって損なわれる。 本稿では,本モデルの固有精度符号化を利用したCoT推論精度の校正手法を提案する。
  論文  参考訳（メタデータ） (2025-07-14T07:41:35Z)
• Token Signature: Predicting Chain-of-Thought Gains with Token Decoding Feature in Large Language Models [9.282278040339138]
  CoT(Chain-of-Thought)技術は、複雑な推論タスクにおける大規模言語モデル(LLM)の性能向上に有効であることが証明されている。 トークン確率分布の単調性はCoT推論により得られる利得と相関する可能性があることを予備観測する。 トークン確率分布に基づく2つの指標を提案し,異なるタスク間でCoTの有効性を評価する。
  論文  参考訳（メタデータ） (2025-06-06T11:53:27Z)
• A Closer Look at Bias and Chain-of-Thought Faithfulness of Large (Vision) Language Models [58.32070787537946]
  思考の連鎖(CoT)推論は、大きな言語モデルの性能を高める。 大規模視覚言語モデルにおけるCoT忠実度に関する最初の総合的研究について述べる。
  論文  参考訳（メタデータ） (2025-05-29T18:55:05Z)
• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)
• Generalization Properties of Optimal Transport GANs with Latent Distribution Learning [52.25145141639159]
  本研究では,潜伏分布とプッシュフォワードマップの複雑さの相互作用が性能に与える影響について検討する。 我々の分析に感銘を受けて、我々はGANパラダイム内での潜伏分布とプッシュフォワードマップの学習を提唱した。
  論文  参考訳（メタデータ） (2020-07-29T07:31:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。