Fugu-MT 論文翻訳(概要): Learning to Be Monitored: Causal Bounds and Intervention-Aware Post-Training Recipes for Chain-of-Thought Monitorability

論文の概要: Learning to Be Monitored: Causal Bounds and Intervention-Aware Post-Training Recipes for Chain-of-Thought Monitorability

arxiv url: http://arxiv.org/abs/2610.31733v1
Date: Thu, 22 Oct 2026 16:00:17 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-27 01:38:06.255638
Title: Learning to Be Monitored: Causal Bounds and Intervention-Aware Post-Training Recipes for Chain-of-Thought Monitorability
Title（参考訳）: モニタリングを受けるための学習:チェーン・オブ・フォールト・モニタービリティのための因果境界とインターベンション・アウェア・ポスト・トレーニング・レシピ
Abstract要約: CoT(Chain-of- Thought)モニタリングは、大規模言語モデル(LLM)における潜在的有害な振る舞いをCoTから検出することを目的としている。介入に基づく評価は、モニタがターゲットの動作が発生したときにCoTからの介入を検知できるかどうかを問うことで、この特性を測定する。この測定基準は、モニタが実際に介入によって引き起こされた標的行動を検出する頻度を過大評価できることを示す。
参考スコア（独自算出の注目度）: 53.622648532543344
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Chain-of-thought (CoT) monitoring aims to detect potentially harmful behaviors in large language models (LLMs) from their CoTs. Intervention-based evaluations measure this property by asking whether a monitor can detect the role of an intervention from the CoT when the targeted behavior occurs, typically using minimal-criterion sensitivity ($\mathsf{TPR_{mc}}$) proposed by~\citep{guan2025monitoring}. However, a target behavior observed under intervention is not necessarily caused by it, and we show that this metric can overestimate how often a monitor detects target behaviors actually caused by the intervention. Specifically, we establish $\mathsf{TPR_{mc}}$ as an upper bound on this causal detection rate and derive a complementary lower bound, which provides a tighter evaluation framework for CoT monitorability. With this framework, we study whether LLMs can be trained to make their CoTs easier to monitor. We first construct a training dataset of paired control--intervention tasks spanning multiple intervention types. Using the dataset, we design and apply three intervention-specific training methods based on off-policy self-distillation, reinforcement learning, and on-policy self-distillation to train separate variants of each base model. Across various model-monitor configurations, all three methods generally improve CoT monitorability over the corresponding base models under our extended evaluation framework. Our code is available at https://github.com/xinyue-lxy/learning-to-be-monitored.
Abstract（参考訳）: CoT(Chain-of- Thought)モニタリングは、大規模言語モデル(LLM)における潜在的有害な振る舞いをCoTから検出することを目的としている。インターベンションベースの評価は、モニターがターゲットの動作が発生したときにCoTからの介入を検知できるかどうかを尋ねることでこの特性を測定し、通常、~\citep{guan2025monitoring} によって提案された最小限の基準感度($\mathsf{TPR_{mc}}$)を用いて測定する。しかし, 介入によって観測される対象行動は必ずしも原因ではないため, 監視者が実際に介入によって発生する対象行動を検出する頻度を過大評価できることを示す。具体的には、この因果検出率の上限として$\mathsf{TPR_{mc}}$を確立し、CoT監視性のためのより厳密な評価フレームワークを提供する補完的な下限を導出する。本フレームワークでは,COTの監視を容易にするためにLCMをトレーニングできるかどうかを検討する。まず、複数の介入タイプにまたがるペア制御-介入タスクのトレーニングデータセットを構築する。本データセットを用いて, 外部の自己蒸留, 強化学習, および外部の自己蒸留に基づく3つの介入特化訓練手法を設計, 適用し, それぞれの基本モデルの異なる変種を訓練する。様々なモデル・モニタ構成に対して、3つの手法はすべて、拡張された評価フレームワークの下で、対応するベースモデルよりもCoT監視性が向上する。私たちのコードはhttps://github.com/xinyue-lxy/learning-to-be-monitored.comで公開されています。

関連論文リスト

Monitorability Is Trainable: Post-Training for Chain-of-Thought Monitorability [17.385525482677437]
CoT(Chain-of- Thought)モニタリングは、有能なAIシステムを監視するための数少ない実用的なツールの1つである。本研究では,CoTと出力間の相互情報の最大化に基づく教師なし後学習目標を提案する。
論文参考訳（メタデータ） (2026-10-21T13:35:57Z)
OwlSight: A Panoramic Monitor for Chain-of-Thought Reasoning [25.761642850518083]
Chain-of-Thought(CoT)モニタリングは、監視可能なAIシステムの実用的な証拠を提供する。我々は、プロンプト内の監視要求をカスタマイズする戦略である、CoTモニタリングのためのFacterを導入する。我々はOwlSightという名前のCoTモニタを開発し、複数の次元に関連する挙動をモニタする要因のみに依存している。
論文参考訳（メタデータ） (2026-10-16T16:01:49Z)
Taming CoT Obfuscation in VLMs: From Mechanistic Evidence to Activation Enforcement [74.92755267784983]
強化学習は、視覚言語モデルにおける推論を改善するが、チェーン・オブ・オファシケーションを誘発することができる。本稿では, 行動フィードバックとテンプレート関連アクティベーションの標的抑制を組み合わせ, メカニスティック・エンハンスメント(TAME)を用いた標的的アンチ・オブファシケーションを提案する。 VIRL-39k、SPA-VL、および2つのモデルファミリの中で、TAMEはグループ相対政策最適化よりも最大30.9および16.7%のCoT監視性を改善している。
論文参考訳（メタデータ） (2026-09-21T08:08:56Z)
Does Out-of-Sight Equal Out-of-Mind in CoT Monitorability? [18.08925355421489]
思考の連鎖(CoT)推論は、大きな言語モデルの意思決定の窓口を提供する。 Latent CoTアプローチは、明示的なトークンを少数の連続状態に置き換え、推論コストを下げるが、この監視が依存する読みやすいトレースを削除する。本稿では,モデルが入力キューのバイアスを悪用する動作のプロキシであるヒントベースの介入設定を用いて,この問題を考察する。
論文参考訳（メタデータ） (2026-08-05T14:55:23Z)
Monitoring Data-aware Temporal Properties (Extended Version) [56.386411908764494]
有限トレース上の任意のSMT理論に富む線形時間特性の予測モニタリングについて考察する。この設定での予測モニタリングは非常に困難であり、監視状態はこれまでのトレースプレフィックスと可能な有限継続の両方に依存している。本研究は,表現的フラグメントオフMTにおける特性モニタリングのための新しい基礎的枠組みの正しさを提示し,正式に証明するものである。
論文参考訳（メタデータ） (2026-05-14T10:23:11Z)
Analyzing and Improving Chain-of-Thought Monitorability Through Information Theory [11.144603446849674]
CoT(Chain-of- Thought)モニターは、出力が興味のある属性を示す可能性があることを検知する推論トレースを分析するシステムである。本稿では,CoTと出力の非ゼロな相互情報が必要であるが,CoT監視には不十分であることを示す。
論文参考訳（メタデータ） (2026-02-20T15:50:30Z)
On the Paradoxical Interference between Instruction-Following and Task Solving [50.75960598434753]
次の命令は、大規模言語モデル(LLM)を、タスクの実行方法に関する明示的な制約を指定することで、人間の意図と整合させることを目的としている。我々は,LLMのタスク解決能力にパラドックス的に干渉する命令に従うという,直感に反する現象を明らかにした。本稿では,タスク解決に追従する命令の干渉を定量化する指標として,SUSTAINSCOREを提案する。
論文参考訳（メタデータ） (2026-01-29T17:48:56Z)
Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation [56.102976602468615]
エージェントコーディング環境における報酬ハッキングのために,OpenAI o3-miniのようなフロンティア推論モデルを監視することができることを示す。最適化が多すぎると、エージェントは難解な報酬のハッキングを学び、その意図を思考の連鎖の中に隠してしまう。
論文参考訳（メタデータ） (2025-03-14T23:50:34Z)
Unsupervised Continual Anomaly Detection with Contrastively-learned Prompt [80.43623986759691]
UCADと呼ばれる新しい非教師付き連続異常検出フレームワークを提案する。このフレームワークは、対照的に学習したプロンプトを通じて、UDAに継続的な学習能力を持たせる。我々は総合的な実験を行い、教師なし連続異常検出とセグメンテーションのベンチマークを設定した。
論文参考訳（メタデータ） (2024-01-02T03:37:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。