論文の概要: Training on Documents About Monitoring Leads to CoT Obfuscation

• arxiv url: http://arxiv.org/abs/2605.15257v1
• Date: Thu, 14 May 2026 17:59:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 03:45:13.12318
• Title: Training on Documents About Monitoring Leads to CoT Obfuscation
• Title（参考訳）: CoTの難読化に関するモニタリング資料の学習
• Authors: Reilly Haskins, Bilal Chughtai, Joshua Engels,
• Abstract要約: CoT(Chain-of- Thought)モニタリングは、モデル動作を検知する最も有望なツールの1つである。 本研究では,モニタ対応モデルが検出を回避できるかどうかを考察する。
• 参考スコア（独自算出の注目度）: 4.971619873738039
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chain-of-thought (CoT) monitoring is one of the most promising tools we have for detecting model misbehavior, but its effectiveness depends on models faithfully externalizing their reasoning. Motivated by this vulnerability, we study whether monitor-aware models are capable of obfuscating their reasoning to evade detection. We use synthetic document finetuning to expose eight models to realistic pre-training-style documents describing a CoT monitor and find that monitor-aware models consistently achieve higher rates of undetected misbehavior compared to unaware controls. This effect is weaker but still present on a harder agentic task. We also show that CoT controllability, a model's ability to reshape its own reasoning trace under an imposed constraint, is closely correlated with obfuscation success across the eight models studied ($r=0.800$, $p=0.017$). Monitor-aware models placed under equal reinforcement learning optimization pressure also learn to reward-hack without triggering a CoT monitor substantially faster than unaware controls. Together, these results suggest that knowledge of monitoring combined with high CoT controllability poses a risk to CoT-based monitoring.
• Abstract（参考訳）: CoT(Chain-of- Thought)モニタリングは、モデル動作の検出に最も有望なツールの1つですが、その有効性は、モデルの推論を忠実に外部化するモデルに依存します。 この脆弱性に触発され、モニタ対応モデルが検出を回避できるかどうかを調査する。 我々は,CoTモニタを記述した現実的な事前学習スタイルの文書に8つのモデルを公開するために,合成文書ファインタニングを用いて,監視対象のモデルが無意識の制御よりも検出不能な誤動作率を常に高い速度で達成することを発見した。 この効果は弱いが、それでもより難しいエージェント的タスクに存在している。 また,モデルが制約の下で自身の推論トレースを再構成する能力であるCoT制御性は,研究対象8モデル(r=0.800$,$p=0.017$)の難読化の成功と密接に相関していることを示す。 同等の強化学習最適化圧力下に置かれたモニタ対応モデルは、CoTモニターを無知の制御よりもかなり高速にトリガーすることなく、報酬ハックを学習する。 これらの結果から,CoT制御性の高いモニタリングの知識がCoTベースの監視にリスクをもたらすことが示唆された。

関連論文リスト

• Noticing the Watcher: LLM Agents Can Infer CoT Monitoring from Blocking Feedback [48.40096834514452]
  言語モデルエージェントの内部推論を監督する手法として,Chain-of-Thought(CoT)モニタリングを提案する。 我々は、推論エージェントが彼らのプライベートなCoTが監視下にあると自律的に推測できるかどうかを尋ねる。 フェデラーモデルでは、フィードバックをブロックすることで、このモニターの存在を純粋に推測することができる。
  論文  参考訳（メタデータ） (2026-03-14T00:12:14Z)
• Reasoning Models Struggle to Control their Chains of Thought [15.734991559303921]
  推理モデルは出力制御可能性よりもCoT制御性が著しく低いことを示す。 また,より大規模なモデルではCoT制御性が向上し,RLトレーニングやテスト時間計算,問題問題の増加などにより低下することがわかった。
  論文  参考訳（メタデータ） (2026-03-05T22:03:48Z)
• Detecting Object Tracking Failure via Sequential Hypothesis Testing [80.7891291021747]
  ビデオにおけるリアルタイムのオンラインオブジェクト追跡は、コンピュータビジョンにおける中核的なタスクである。 本稿では,物体追跡を逐次的仮説テストとして解釈することを提案する。 本研究では,地中追跡情報と内部追跡情報の両方を活用することにより,教師なしと教師なしの両方の変種を提案する。
  論文  参考訳（メタデータ） (2026-02-13T14:57:15Z)
• Can Reasoning Models Obfuscate Reasoning? Stress-Testing Chain-of-Thought Monitorability [35.180361462848516]
  Chain-of-Thought(CoT)は、アライメント監視のための有望なツールである。 モデルは検出を回避しながら隠れた敵の目標を追求するためにCoTを難読化できるのか? 我々は,CoT難燃化を誘発するプロンプトの,構成可能で定量化可能な分類法を開発した。
  論文  参考訳（メタデータ） (2025-10-21T18:07:10Z)
• Beyond Linear Probes: Dynamic Safety Monitoring for Language Models [67.15793594651609]
  従来の安全モニタは、クエリ毎に同じ量の計算を必要とする。 動的アクティベーションモニタリングのための線形プローブの自然な拡張であるTrncated Polynomials (TPCs)を紹介する。 我々の重要な洞察は、TPCを段階的に、短期的に訓練し、評価できるということです。
  論文  参考訳（メタデータ） (2025-09-30T13:32:59Z)
• AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety Alignment of Large Reasoning Models [62.70575022567081]
  本稿では,逆CoTチューニングによる動的自己補正をモデルに教えるアライメントパラダイムであるAdvChainを提案する。 私たちの仕事は、より堅牢で信頼性の高い推論モデルを構築するための新しい方向性を確立します。
  論文  参考訳（メタデータ） (2025-09-29T04:27:23Z)
• CoT Red-Handed: Stress Testing Chain-of-Thought Monitoring [3.6284577335311563]
  CoT(Chain-of-Thought)モニタリングは、アクションのみの監視がサボタージュを確実に識別できないシナリオにおいて、最大27ポイントの検出を改善する。 CoTトレースはまた、モニターを欺く誤解を招く合理化も含み、より明白なサボタージュケースのパフォーマンスを低下させる。 このハイブリッドモニターは、テストされたすべてのモデルとタスクにわたってCoTとアクションオンリーのモニターを一貫して上回り、微妙な詐欺シナリオに対するアクションオンリーのモニタリングよりも4倍高い速度で検出する。
  論文  参考訳（メタデータ） (2025-05-29T15:47:36Z)
• Reasoning Models Don't Always Say What They Think [48.05987314492555]
  CoT(Chain-of-Thought)は、モデルの意図と推論プロセスの監視を可能にする。 提案する6つの推論ヒントにまたがる最先端推論モデルのCoT忠実度を評価した。
  論文  参考訳（メタデータ） (2025-05-08T16:51:43Z)
• Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation [56.102976602468615]
  エージェントコーディング環境における報酬ハッキングのために,OpenAI o3-miniのようなフロンティア推論モデルを監視することができることを示す。 最適化が多すぎると、エージェントは難解な報酬のハッキングを学び、その意図を思考の連鎖の中に隠してしまう。
  論文  参考訳（メタデータ） (2025-03-14T23:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。