論文の概要: Stress Testing Chain-of-Thought Monitoring Against Covert Misalignment

• arxiv url: http://arxiv.org/abs/2611.07586v1
• Date: Thu, 05 Nov 2026 07:39:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.583459
• Title: Stress Testing Chain-of-Thought Monitoring Against Covert Misalignment
• Title（参考訳）: 表層ミスアライメントに対するストレス試験チェーンモニタリング
• Abstract要約: Chainof-Thought(CoT)モニタリングは、エージェントの推論を読み、それが行動を起こす前に誤った調整をフラグする、キーコントロールメカニズムを提供する。 既存のレッドチームの取り組みは、サイドタスクを前提条件としてキャストするなど、共有テンプレートに依存しています。 TraceMRTは、トレースレベルの自動レッドチームフレームワークである。
• 参考スコア（独自算出の注目度）: 39.70999239913764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As LLM agents advance rapidly in autonomy, the risk of hidden objectives that bypass safety constraints becomes increasingly plausible. Chain-of-thought (CoT) monitoring offers a key control mechanism by reading the agent's reasoning and flagging misalignment before it materializes into action, yet its reliability depends on the realism of the red-team it is stress-tested against. Existing red-teaming efforts rely on shared templates, such as casting a side task as a prerequisite, which treat the side objective as an exogenous insertion and leave task-specific, contextually grounded evasions underexplored. We therefore ask: How robust is CoT monitoring against agents that strategically conceal misalignment? To answer this, we introduce TraceMRT, an automated Trace-level Monitor Red-Teaming framework that reframes the side task as a coherent sub-goal of the primary task and searches trace-shaping strategies whose induced trajectories complete the misaligned objective while reading as natural execution. Through black-box attacks on state-of-the-art monitors such as GPT-5.2 and Claude-4.5, we reveal substantial vulnerabilities even in top models. To counter these vulnerabilities, we propose a Bayesian Trajectory Monitoring framework, integrating global context and local segment evidence to detect covert misalignment. Empirically, our method significantly consolidates monitor robustness with 0.91 AUC and 0.74 TPR@FPR=0.05.
• Abstract（参考訳）: LLMエージェントが自律的に急速に進歩するにつれて、安全上の制約を回避できる隠された目的のリスクはますます高まっていく。 チェーン・オブ・シント(CoT)モニタリングは、エージェントの推論を読み、動作を開始する前にミスアライメントをフラグ付けすることで、重要な制御メカニズムを提供するが、その信頼性は、ストレステスト対象のレッドチームのリアリズムに依存する。 既存のレッドチームの取り組みは、サイドタスクを前提条件としてキャストするなど、共有テンプレートに依存している。 CoTは、過失を戦略的に隠蔽するエージェントに対して、どれほど堅牢か? これに対応するために、TraceMRTという自動化されたトレースレベル監視レッド・チーム・フレームワークを紹介します。これは、サイドタスクをメインタスクのコヒーレントなサブゴールとして再編成し、誘導された軌道が自然な実行として読みながら、不整合した目標を完了したトレース形状戦略を検索します。 GPT-5.2やClaude-4.5のような最先端のモニターに対するブラックボックス攻撃によって、トップモデルにおいても重大な脆弱性が明らかになった。 これらの脆弱性に対処するために,グローバルコンテキストと局所セグメント証拠を統合したベイズ軌道監視フレームワークを提案する。 実験により, 測定精度は0.91 AUCと0.74 TPR@FPR=0.05で有意に高められた。

関連論文リスト

• Learning to Be Monitored: Causal Bounds and Intervention-Aware Post-Training Recipes for Chain-of-Thought Monitorability [53.622648532543344]
  CoT(Chain-of- Thought)モニタリングは、大規模言語モデル(LLM)における潜在的有害な振る舞いをCoTから検出することを目的としている。 介入に基づく評価は、モニタがターゲットの動作が発生したときにCoTからの介入を検知できるかどうかを問うことで、この特性を測定する。 この測定基準は、モニタが実際に介入によって引き起こされた標的行動を検出する頻度を過大評価できることを示す。
  論文  参考訳（メタデータ） (2026-10-22T16:00:17Z)
• Taming CoT Obfuscation in VLMs: From Mechanistic Evidence to Activation Enforcement [74.92755267784983]
  強化学習は、視覚言語モデルにおける推論を改善するが、チェーン・オブ・オファシケーションを誘発することができる。 本稿では, 行動フィードバックとテンプレート関連アクティベーションの標的抑制を組み合わせ, メカニスティック・エンハンスメント(TAME)を用いた標的的アンチ・オブファシケーションを提案する。 VIRL-39k、SPA-VL、および2つのモデルファミリの中で、TAMEはグループ相対政策最適化よりも最大30.9および16.7%のCoT監視性を改善している。
  論文  参考訳（メタデータ） (2026-09-21T08:08:56Z)
• DeceptGuard :A Constitutional Oversight Framework For Detecting Deception in LLM Agents [0.0]
  3つの監視体制を体系的に比較する統合フレームワークであるDECEPTGUARDを紹介する。 提案するDECEPTSYNTHは,偽陽性および偽陰性なエージェントトラジェクトリを生成する,スケーラブルな合成パイプラインである。 モニタは4,800個の合成軌道に最適化され、DeceptArenaの9,200個のホールドアウトサンプルで評価された。
  論文  参考訳（メタデータ） (2026-03-14T06:45:43Z)
• Noticing the Watcher: LLM Agents Can Infer CoT Monitoring from Blocking Feedback [48.40096834514452]
  言語モデルエージェントの内部推論を監督する手法として,Chain-of-Thought(CoT)モニタリングを提案する。 我々は、推論エージェントが彼らのプライベートなCoTが監視下にあると自律的に推測できるかどうかを尋ねる。 フェデラーモデルでは、フィードバックをブロックすることで、このモニターの存在を純粋に推測することができる。
  論文  参考訳（メタデータ） (2026-03-14T00:12:14Z)
• TraceGuard: Process-Guided Firewall against Reasoning Backdoors in Large Language Models [19.148124494194317]
  我々は,小規模モデルを堅牢な推論ファイアウォールに変換するプロセス誘導型セキュリティフレームワークであるTraceGuardを提案する。 提案手法は,推理トレースを信頼できないペイロードとして扱い,詳細な防衛戦略を確立する。 グレーボックス設定における適応的敵に対する堅牢性を実証し、TraceGuardを実用的で低レイテンシなセキュリティプリミティブとして確立する。
  論文  参考訳（メタデータ） (2026-03-02T22:19:13Z)
• DRAFT: Task Decoupled Latent Reasoning for Agent Safety [59.46137757545185]
  DRAFT(Task Decoupled Latent Reasoning for Agent Safety)を提案する。 エクストラクターは、完全な軌跡をコンパクトな連続的な潜伏ドラフトに蒸留し、リゾナーはドラフトと元の軌跡に共同で参加して安全性を予測する。 DRAFTの精度は63.27%(LoRA)から91.18%に向上した。
  論文  参考訳（メタデータ） (2026-02-11T07:45:14Z)
• When Chain of Thought is Necessary, Language Models Struggle to Evade Monitors [10.705880888253501]
  CoT(Chain-of- Thought)モニタリングは、AIの安全性を擁護するものだ。 この「不信」に関する最近の研究は、その信頼性に疑問を呈している。 重要な特性は忠実さではなく監視性である、と我々は主張する。
  論文  参考訳（メタデータ） (2025-07-07T17:54:52Z)
• CoT Red-Handed: Stress Testing Chain-of-Thought Monitoring [3.6284577335311563]
  CoT(Chain-of-Thought)モニタリングは、アクションのみの監視がサボタージュを確実に識別できないシナリオにおいて、最大27ポイントの検出を改善する。 CoTトレースはまた、モニターを欺く誤解を招く合理化も含み、より明白なサボタージュケースのパフォーマンスを低下させる。 このハイブリッドモニターは、テストされたすべてのモデルとタスクにわたってCoTとアクションオンリーのモニターを一貫して上回り、微妙な詐欺シナリオに対するアクションオンリーのモニタリングよりも4倍高い速度で検出する。
  論文  参考訳（メタデータ） (2025-05-29T15:47:36Z)
• Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation [56.102976602468615]
  エージェントコーディング環境における報酬ハッキングのために,OpenAI o3-miniのようなフロンティア推論モデルを監視することができることを示す。 最適化が多すぎると、エージェントは難解な報酬のハッキングを学び、その意図を思考の連鎖の中に隠してしまう。
  論文  参考訳（メタデータ） (2025-03-14T23:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。