論文の概要: Chain of Thought Monitoring Can Fail Even When CoT Is Necessary

• arxiv url: http://arxiv.org/abs/2610.18105v1
• Date: Tue, 13 Oct 2026 10:22:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.589945
• Title: Chain of Thought Monitoring Can Fail Even When CoT Is Necessary
• Title（参考訳）: CoTが必要だったとしても、思考モニタリングのチェーンは機能しない
• Abstract要約: Chain of Thought (CoT)モニタリングは、フロンティア研究所がAIシステムの誤動作を検出するために使用している。 最近の作業は、CoTが応答に必要のない障害を監視しているためであり、CoTは必要であれば監視可能である、と論じている。 このバイナリの必要/必要ではない組織原則は,CoTが応答に必要な場合でも,障害の監視が継続することを示すことで,あまりにも粗いものであることを示す。
• 参考スコア（独自算出の注目度）: 20.729259168892437
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chain of Thought (CoT) monitoring is used by frontier labs to detect misbehaviour of AI systems. Yet, its reliability remains poorly understood. We attribute this to the lack of a successful organizing principle that leads to generalizable conclusions about monitoring reliability in different regimes. Recent work attributes monitoring failures to the CoT not being necessary for the answer, and argues that CoT becomes monitorable when it is necessary. We show that this binary necessary/not-necessary organizing principle is too coarse by demonstrating that monitoring failures persist even if the CoT is necessary for the answer. In response, we introduce a more fine-grained organizing principle based on a hierarchy of four CoT necessity levels. Building on this hierarchy, we develop a framework for measuring CoT monitorability at the three lowest levels via intervention experiments. We demonstrate monitoring failures at all three of these levels on realistic, hard prediction tasks. On a difficult medical-diagnosis task, patient sex and a clinical attribute influence the answer in at least 19% and 24% of correct responses with a necessary CoT, respectively, yet their influence is almost never articulated. These results show that even when CoT is necessary, it is not guaranteed to be monitorable.
• Abstract（参考訳）: Chain of Thought (CoT)モニタリングは、フロンティア研究所がAIシステムの誤動作を検出するために使用している。 しかし、その信頼性はよく分かっていない。 これは、異なる体制における信頼性の監視に関する一般的な結論につながる組織原則の欠如によるものである。 最近の作業は、CoTが応答に必要のない障害を監視しているためであり、CoTは必要であれば監視可能である、と論じている。 このバイナリの必要/必要ではない組織原則は,CoTが応答に必要な場合でも,障害の監視が継続することを示すことで,あまりにも粗いものであることを示す。 これに対し,4つのCoT要求レベルの階層構造に基づいて,よりきめ細かな構成原理を導入する。 この階層に基づいて,介入実験により,CoT監視可能性を最低3レベルまで測定するフレームワークを開発した。 現実的でハードな予測タスクにおいて、これらの3つのレベルで障害を監視します。 難しい医療診断タスクでは、患者セックスと臨床属性がそれぞれ、必要なCoTによる正しい反応の少なくとも19%と24%に答えに影響を与えるが、その影響はほとんど明確になっていない。 これらの結果は、CoTが必要な場合でも監視可能であることを保証していないことを示している。

関連論文リスト

• Taming CoT Obfuscation in VLMs: From Mechanistic Evidence to Activation Enforcement [74.92755267784983]
  強化学習は、視覚言語モデルにおける推論を改善するが、チェーン・オブ・オファシケーションを誘発することができる。 本稿では, 行動フィードバックとテンプレート関連アクティベーションの標的抑制を組み合わせ, メカニスティック・エンハンスメント(TAME)を用いた標的的アンチ・オブファシケーションを提案する。 VIRL-39k、SPA-VL、および2つのモデルファミリの中で、TAMEはグループ相対政策最適化よりも最大30.9および16.7%のCoT監視性を改善している。
  論文  参考訳（メタデータ） (2026-09-21T08:08:56Z)
• Complex Problem Solving in Large Language Models: A Statistical Control Survey and Diagnostic Framework [52.886947585847594]
  大規模言語モデル(LLM)による複雑な問題解決は、しばしばより強い推論やより長い生成の問題としてフレーム化される。 しかし、早期のエラー増幅、迅速な脆さ、誤ったコミットメントを修正する失敗を説明するのは難しい。 本調査はCPSを潜在解状態上の逐次推定・決定問題と解釈する。
  論文  参考訳（メタデータ） (2026-09-17T18:28:45Z)
• MonitorBench: A Comprehensive Benchmark for Chain-of-Thought Monitorability in Large Language Models [17.655317708526603]
  大規模言語モデル(LLM)は、最終的な出力に対して必ずしも因果的ではない思考の連鎖(CoT)を生成することができる。 本研究では,LCMのCoT監視性を評価するためのベンチマークである MonitorBench を提案する。
  論文  参考訳（メタデータ） (2026-03-30T15:37:42Z)
• Analyzing and Improving Chain-of-Thought Monitorability Through Information Theory [11.144603446849674]
  CoT(Chain-of- Thought)モニターは、出力が興味のある属性を示す可能性があることを検知する推論トレースを分析するシステムである。 本稿では,CoTと出力の非ゼロな相互情報が必要であるが,CoT監視には不十分であることを示す。
  論文  参考訳（メタデータ） (2026-02-20T15:50:30Z)
• Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety [85.79426562762656]
  CoTモニタリングは不完全であり、一部の誤った行動に気づかないままにすることができる。 我々は、既存の安全手法とともに、CoT監視可能性とCoT監視への投資についてさらなる研究を推奨する。 CoTの監視性は脆弱である可能性があるので、フロンティアモデル開発者がCoTの監視性に対する開発決定の影響を考慮することを推奨します。
  論文  参考訳（メタデータ） (2025-07-15T16:43:41Z)
• When Chain of Thought is Necessary, Language Models Struggle to Evade Monitors [10.705880888253501]
  CoT(Chain-of- Thought)モニタリングは、AIの安全性を擁護するものだ。 この「不信」に関する最近の研究は、その信頼性に疑問を呈している。 重要な特性は忠実さではなく監視性である、と我々は主張する。
  論文  参考訳（メタデータ） (2025-07-07T17:54:52Z)
• CoT Red-Handed: Stress Testing Chain-of-Thought Monitoring [3.6284577335311563]
  CoT(Chain-of-Thought)モニタリングは、アクションのみの監視がサボタージュを確実に識別できないシナリオにおいて、最大27ポイントの検出を改善する。 CoTトレースはまた、モニターを欺く誤解を招く合理化も含み、より明白なサボタージュケースのパフォーマンスを低下させる。 このハイブリッドモニターは、テストされたすべてのモデルとタスクにわたってCoTとアクションオンリーのモニターを一貫して上回り、微妙な詐欺シナリオに対するアクションオンリーのモニタリングよりも4倍高い速度で検出する。
  論文  参考訳（メタデータ） (2025-05-29T15:47:36Z)
• Reasoning Models Don't Always Say What They Think [48.05987314492555]
  CoT(Chain-of-Thought)は、モデルの意図と推論プロセスの監視を可能にする。 提案する6つの推論ヒントにまたがる最先端推論モデルのCoT忠実度を評価した。
  論文  参考訳（メタデータ） (2025-05-08T16:51:43Z)
• Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation [56.102976602468615]
  エージェントコーディング環境における報酬ハッキングのために,OpenAI o3-miniのようなフロンティア推論モデルを監視することができることを示す。 最適化が多すぎると、エージェントは難解な報酬のハッキングを学び、その意図を思考の連鎖の中に隠してしまう。
  論文  参考訳（メタデータ） (2025-03-14T23:50:34Z)
• Digging into Uncertainty in Self-supervised Multi-view Stereo [57.04768354383339]
  自己教師型学習のための新しいuncertainty reduction Multi-view Stereo(UMVS)フレームワークを提案する。 我々のフレームワークは、教師なしのMVSメソッドの中で最高のパフォーマンスを達成し、教師なしの対戦相手と競合する性能を実現している。
  論文  参考訳（メタデータ） (2021-08-30T02:53:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。