論文の概要: Chain-of-Thought Oversight Requires Separate Evidence for Faithfulness and Monitorability

• arxiv url: http://arxiv.org/abs/2611.01620v1
• Date: Sun, 01 Nov 2026 06:16:34 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:24:50.804619
• Title: Chain-of-Thought Oversight Requires Separate Evidence for Faithfulness and Monitorability
• Title（参考訳）: チェーン・オブ・ソート監視は、信頼と監視性に異なる証拠を必要とする
• Abstract要約: チェーンオブ思考の監視における一般的な仮定は、可視的推論トレースはモデルの振る舞いを監視しやすくする、というものである。 この仮定は、モデルの内部計算をリンクし、アーティファクトを推論し、アウトプットを出力し、判断をモニターする連鎖に沿って、異なる性質を説明できると主張している。 この連鎖に沿った4つの特性は、推論可視性、機械的忠実性、機械的ローカライズビリティ、行動監視性である。
• 参考スコア（独自算出の注目度）: 47.59866831149984
• License:
• Abstract: A common assumption in chain-of-thought (CoT) oversight is that a visible reasoning trace makes model behavior easier to monitor. We argue that this assumption can conflate distinct properties along a chain linking a model's internal computation, reasoning artifacts, outputs, and monitor judgments. We identify four properties along this chain: reasoning visibility (whether a trace is accessible), mechanistic faithfulness (whether a trace reflects internal computation), mechanistic localizability (whether a compact causal mechanism can be isolated), and behavioral monitorability (whether a monitor can detect the target behavior). Two complementary case studies across three open-weight reasoning models show why these distinctions matter. In the security vulnerability reasoning study, probes and activation ablations provide evidence of internal representation and causal influence, but a monitor with access to the reference answer does not outperform the majority-class baseline in a held-out test. In authority-hint factual reasoning study, a monitor correctly distinguishes changed from unchanged answers, but seven mechanistic analyses do not isolate a compact causal mechanism. These results show that evidence for one claim does not establish the others. We therefore propose an evidential-chain reporting standard. Each claim carries a licensing statement that specifies its target property, access tier, and artifact, and labels each required link as supported, unsupported, or assumed. These assessments determine whether the conclusion is licensed, conditionally licensed, or not licensed.
• Abstract（参考訳）: チェーン・オブ・ソート(CoT)の監視における一般的な仮定は、可視的推論トレースはモデルの振る舞いを監視しやすくする、というものである。 この仮定は、モデルの内部計算をリンクし、アーティファクトを推論し、アウトプットを出力し、判断をモニターする連鎖に沿って、異なる性質を説明できると主張している。 この連鎖に沿った4つの特性は、推理可視性(トレースがアクセス可能かどうか)、機械的忠実性(トレースが内部計算を反映するかどうか)、機械的局所化性(コンパクト因果機構を分離できるかどうか)、行動監視性(モニターが対象の動作を検出することができるかどうか)である。 3つのオープンウェイト推論モデルにまたがる2つの補完的なケーススタディは、これらの区別が重要である理由を示している。 セキュリティ脆弱性推論研究において、プローブとアクティベーションの短縮は内部表現と因果影響の証拠を提供するが、基準応答にアクセス可能なモニターは、ホールドアウトテストにおいて多数派ベースラインを上回っない。 権威に隠れた事実推論研究では、モニターは変化した回答と変化した回答を正しく区別するが、7つの力学解析はコンパクトな因果メカニズムを分離しない。 これらの結果は、ある主張の証拠が他の主張を立証していないことを示している。 そこで我々は,明らかな連鎖報告標準を提案する。 各クレームには、そのターゲットプロパティ、アクセス層、アーティファクトを指定するライセンスステートメントと、サポートされた、サポートされていない、または仮定された各必要なリンクのラベルがある。 これらの評価は、結論がライセンスされているか、条件付きライセンスされているか、あるいはライセンスされていないかを判断する。

関連論文リスト

• Reasoning-Token Spikes Under Prompted Untruthful Responses in Large Language Models [0.0]
  セマンティック・チェーン・オブ・シント・モニタリングは、モデルの振る舞いを生み出す基礎となる計算に正確で忠実に依存します。 本稿では,低帯域幅の信号,すなわち推論トレースの内容にアクセスする必要のない推論トークンの数について検討する。 以上の結果から,本研究は,真理モデル行動と非本質モデル行動とを区別するための,単純かつ内容に依存しないブラックボックス候補信号として機能することの証明である。
  論文  参考訳（メタデータ） (2026-10-07T16:53:11Z)
• Does Out-of-Sight Equal Out-of-Mind in CoT Monitorability? [18.08925355421489]
  思考の連鎖(CoT)推論は、大きな言語モデルの意思決定の窓口を提供する。 Latent CoTアプローチは、明示的なトークンを少数の連続状態に置き換え、推論コストを下げるが、この監視が依存する読みやすいトレースを削除する。 本稿では,モデルが入力キューのバイアスを悪用する動作のプロキシであるヒントベースの介入設定を用いて,この問題を考察する。
  論文  参考訳（メタデータ） (2026-08-05T14:55:23Z)
• Evading Chain-of-Thought Monitoring Through Model Poisoning [1.6951239729573633]
  チェーンオブ思想(CoT)監視は、AI安全スタックの重要なコンポーネントとしてますます重要になっている。 本研究は, モデル毒のレンズによるCoTモニタリングの限界について検討した。 バックドアを推論モデルに埋め込むことで、攻撃的・攻撃的動作を誘発し、CoTトレースは完全に良さそうに見えます。
  論文  参考訳（メタデータ） (2026-08-03T19:32:13Z)
• Causality is Key for Interpretability Claims to Generalise [35.833847356014154]
  大規模言語モデル(LLM)の解釈可能性の研究は、モデル行動に関する重要な洞察をもたらした。 繰り返し発生する落とし穴: 一般化しない発見と、証拠を突破する因果解釈。 パールの因果的階層は、解釈可能性の研究が正当化できることを明確にする。
  論文  参考訳（メタデータ） (2026-02-18T18:45:04Z)
• MM-CoT:A Benchmark for Probing Visual Chain-of-Thought Reasoning in Multimodal Models [49.32415342913976]
  マルチモーダルモデルにおけるCoT推論の視覚的グラウンドリングと論理的コヒーレンスを探索するための診断ベンチマークであるMM-CoTを紹介する。 MM-CoT上での先進的な視覚言語モデルの評価を行い,最も先進的なシステムでさえも苦戦し,生成頻度と真の推論忠実さの相違が明らかとなった。
  論文  参考訳（メタデータ） (2025-12-09T04:13:31Z)
• Critical or Compliant? The Double-Edged Sword of Reasoning in Chain-of-Thought Explanations [60.27156500679296]
  系統的な推論連鎖の摂動とデリバリートーンの操作による道徳シナリオにおけるCoT(Chain-of-Thought)の説明の役割について検討した。 1) 利用者は, 根拠に欠陥がある場合でも, 信頼感を保ち, 結果合意を信頼する傾向がみられた。 これらの結果は、CoTの説明が同時に明確化と誤解を招き、視覚的信頼よりも精査と批判的思考を奨励する説明を提供するNLPシステムの必要性を強調している。
  論文  参考訳（メタデータ） (2025-11-15T02:38:49Z)
• Nonparametric Identifiability of Causal Representations from Unknown Interventions [63.1354734978244]
  本研究では, 因果表現学習, 潜伏因果変数を推定するタスク, およびそれらの変数の混合から因果関係を考察する。 我々のゴールは、根底にある真理潜入者とその因果グラフの両方を、介入データから解決不可能なあいまいさの集合まで識別することである。
  論文  参考訳（メタデータ） (2023-06-01T10:51:58Z)
• Nested Counterfactual Identification from Arbitrary Surrogate Experiments [95.48089725859298]
  観測と実験の任意の組み合わせからネスト反事実の同定について検討した。 具体的には、任意のネストされた反事実を非ネストされたものへ写像できる反ファクト的非ネスト定理(英語版)(CUT)を証明する。
  論文  参考訳（メタデータ） (2021-07-07T12:51:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。