論文の概要: Monitorability Is Trainable: Post-Training for Chain-of-Thought Monitorability

• arxiv url: http://arxiv.org/abs/2610.29734v1
• Date: Wed, 21 Oct 2026 13:35:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.374214
• Title: Monitorability Is Trainable: Post-Training for Chain-of-Thought Monitorability
• Title（参考訳）: 監視性はトレーニング可能な - チェーン・オブ・ソート・オブ・ソート・モニタリングのためのポスト・トレーニング
• Abstract要約: CoT(Chain-of- Thought)モニタリングは、有能なAIシステムを監視するための数少ない実用的なツールの1つである。 本研究では,CoTと出力間の相互情報の最大化に基づく教師なし後学習目標を提案する。
• 参考スコア（独自算出の注目度）: 17.385525482677437
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chain-of-thought (CoT) monitoring is one of the few practical tools available for overseeing capable AI systems, but it is fragile: a model's reasoning is only useful to a monitor if it remains coupled to what the model actually does. This coupling can be degraded during training through, for example, CoT compression, optimization against a monitor, and out-of-context generalization from synthetic documents. In this work, we propose an unsupervised post-training objective based on maximizing mutual information between CoT and the output for improving CoT monitorability. Across three model organisms with degraded CoT, it recovers most or all of the lost monitorability. Applied to undegraded policies, it further improves judged monitorability, improves prediction of unsafe behavior by CoT monitors and activation probes, and increases the prevalence of consequential reasoning. These results suggest that monitorability should be treated as a trainable attribute of the policy. A dedicated monitorability post-training stage can extend current practices that protect CoT from direct optimization pressure.
• Abstract（参考訳）: CoT(Chain-of- Thought)モニタリングは、有能なAIシステムの監視に利用可能な数少ない実用的なツールの1つだが、脆弱である。 この結合は、CoT圧縮、モニターに対する最適化、合成文書からのアウト・オブ・コンテクストの一般化などを通じて、トレーニング中に劣化させることができる。 本研究では,CoTと出力間の相互情報の最大化に基づく教師なし後学習目標を提案する。 劣化したCoTを持つ3つのモデル生物の中で、失われた監視能力のほとんどまたは全てを回復する。 非劣化ポリシーの適用により、判定された監視性をさらに向上し、CoTモニタとアクティベーションプローブによる安全でない振る舞いの予測を改善し、逐次推論の頻度を高める。 これらの結果は、監視性はポリシーのトレーニング可能な属性として扱うべきであることを示唆している。 トレーニング後の専用の監視性は、CoTを直接的な最適化圧力から保護する現在のプラクティスを拡張することができる。

関連論文リスト

• Improving scalable oversight with co-trained monitors [6.970298371962309]
  Worker-Monitorセットアップは、AI監視のための有望なアプローチだが、固定されたモニターに対するトレーニングワーカーは、監視の回避にインセンティブを与えることができる。 作業者と一緒にモニターを協調訓練することで,この障害モードを回避できるかどうかを検証し,教師付きアプローチと自己監督型アプローチの両方について検討する。 この結果から,適応モニタは作業戦略の進化に追随し,固定モニタは回避に弱いことが示唆された。
  論文  参考訳（メタデータ） (2026-09-28T18:10:36Z)
• Taming CoT Obfuscation in VLMs: From Mechanistic Evidence to Activation Enforcement [74.92755267784983]
  強化学習は、視覚言語モデルにおける推論を改善するが、チェーン・オブ・オファシケーションを誘発することができる。 本稿では, 行動フィードバックとテンプレート関連アクティベーションの標的抑制を組み合わせ, メカニスティック・エンハンスメント(TAME)を用いた標的的アンチ・オブファシケーションを提案する。 VIRL-39k、SPA-VL、および2つのモデルファミリの中で、TAMEはグループ相対政策最適化よりも最大30.9および16.7%のCoT監視性を改善している。
  論文  参考訳（メタデータ） (2026-09-21T08:08:56Z)
• Monitoring Data-aware Temporal Properties (Extended Version) [56.386411908764494]
  有限トレース上の任意のSMT理論に富む線形時間特性の予測モニタリングについて考察する。 この設定での予測モニタリングは非常に困難であり、監視状態はこれまでのトレースプレフィックスと可能な有限継続の両方に依存している。 本研究は,表現的フラグメントオフMTにおける特性モニタリングのための新しい基礎的枠組みの正しさを提示し,正式に証明するものである。
  論文  参考訳（メタデータ） (2026-05-14T10:23:11Z)
• Analyzing and Improving Chain-of-Thought Monitorability Through Information Theory [11.144603446849674]
  CoT(Chain-of- Thought)モニターは、出力が興味のある属性を示す可能性があることを検知する推論トレースを分析するシステムである。 本稿では,CoTと出力の非ゼロな相互情報が必要であるが,CoT監視には不十分であることを示す。
  論文  参考訳（メタデータ） (2026-02-20T15:50:30Z)
• Monitoring Monitorability [7.993120960324396]
  本稿では,3つの評価アーチタイプ(介入,プロセス,結果整合性)と新しい監視可能性指標を提案する。 我々は、様々なフロンティアモデルの監視可能性を比較し、ほとんどのモデルが公平だが、完全には監視できないことを発見した。 モデルにフォローアップ質問をし、フォローアップCoTをモニターに付与することで、監視性を向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-12-20T10:46:04Z)
• Beyond Linear Probes: Dynamic Safety Monitoring for Language Models [67.15793594651609]
  従来の安全モニタは、クエリ毎に同じ量の計算を必要とする。 動的アクティベーションモニタリングのための線形プローブの自然な拡張であるTrncated Polynomials (TPCs)を紹介する。 我々の重要な洞察は、TPCを段階的に、短期的に訓練し、評価できるということです。
  論文  参考訳（メタデータ） (2025-09-30T13:32:59Z)
• Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety [85.79426562762656]
  CoTモニタリングは不完全であり、一部の誤った行動に気づかないままにすることができる。 我々は、既存の安全手法とともに、CoT監視可能性とCoT監視への投資についてさらなる研究を推奨する。 CoTの監視性は脆弱である可能性があるので、フロンティアモデル開発者がCoTの監視性に対する開発決定の影響を考慮することを推奨します。
  論文  参考訳（メタデータ） (2025-07-15T16:43:41Z)
• When Chain of Thought is Necessary, Language Models Struggle to Evade Monitors [10.705880888253501]
  CoT(Chain-of- Thought)モニタリングは、AIの安全性を擁護するものだ。 この「不信」に関する最近の研究は、その信頼性に疑問を呈している。 重要な特性は忠実さではなく監視性である、と我々は主張する。
  論文  参考訳（メタデータ） (2025-07-07T17:54:52Z)
• CoT Red-Handed: Stress Testing Chain-of-Thought Monitoring [3.6284577335311563]
  CoT(Chain-of-Thought)モニタリングは、アクションのみの監視がサボタージュを確実に識別できないシナリオにおいて、最大27ポイントの検出を改善する。 CoTトレースはまた、モニターを欺く誤解を招く合理化も含み、より明白なサボタージュケースのパフォーマンスを低下させる。 このハイブリッドモニターは、テストされたすべてのモデルとタスクにわたってCoTとアクションオンリーのモニターを一貫して上回り、微妙な詐欺シナリオに対するアクションオンリーのモニタリングよりも4倍高い速度で検出する。
  論文  参考訳（メタデータ） (2025-05-29T15:47:36Z)
• Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation [56.102976602468615]
  エージェントコーディング環境における報酬ハッキングのために,OpenAI o3-miniのようなフロンティア推論モデルを監視することができることを示す。 最適化が多すぎると、エージェントは難解な報酬のハッキングを学び、その意図を思考の連鎖の中に隠してしまう。
  論文  参考訳（メタデータ） (2025-03-14T23:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。