論文の概要: Opening the Box Changes the Cat: LLMs Detect Chain-of-Thought Monitoring - What now?

• arxiv url: http://arxiv.org/abs/2610.40946v1
• Date: Thu, 29 Oct 2026 20:23:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.48853
• Title: Opening the Box Changes the Cat: LLMs Detect Chain-of-Thought Monitoring - What now?
• Title（参考訳）: 箱を開けると猫が変わる: LLMs Detect Chain-of-Thought Monitoring - What Now?
• Abstract要約: チェーン・オブ・シークレット(CoT)推論は、大きな言語モデルが自然言語の中間的推論トレースを生成することを可能にする。 直接的および間接的な環境条件から,LLMがCoTモニタリングの存在を推定する条件について検討した。 タイムアウトからのタイミング関連信号や運用期間など,微妙な環境条件さえも,監視やトリガーモデルによる行動適応の存在を明らかにすることができることを示す。
• 参考スコア（独自算出の注目度）: 4.544514927356739
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chain-of-thought (CoT) reasoning allows large language models (LLMs) to generate intermediate reasoning traces in natural language while solving complex tasks. These traces can support safety monitoring by exposing potentially harmful plans before actions are executed. In this work, we investigate the conditions under which LLMs infer the presence of CoT monitoring from direct and indirect environmental cues and examine how this inference affects their subsequent behavior. Our observations suggest that oversight is an interactive process: while a monitor inspects a model's reasoning, traces left by monitoring interventions can allow the model to infer that its thoughts are being observed and to adapt its behavior accordingly. We show that even subtle environmental cues, such as timing-related signals from timeouts and operation durations, can reveal the presence of monitoring and trigger models to adapt their behavior. Across repeated episodes and interaction loops, we further observe that models can form statistical estimates of the monitor's effectiveness and use these estimates to guide attempts to evade detection. These findings highlight the need to evaluate CoT-based oversight under adaptive conditions, where the monitoring process itself may influence the behavior it seeks to observe.
• Abstract（参考訳）: CoT(Chain-of- Thought)推論は、複雑なタスクを解きながら、自然言語の中間的推論トレースを生成する大きな言語モデル(LLM)を可能にする。 これらのトレースは、アクションが実行される前に潜在的に有害な計画を公開することによって、安全監視をサポートすることができる。 本研究では, LLMが直接的および間接的な環境手がかりからCOTモニタリングの存在を推定する条件について検討し, この推測がその後の行動に与える影響について検討する。 モニターがモデルの推論を検査している間、監視介入によって残されている痕跡は、モデルがその思考が観察されていることを推測し、それに応じてその振る舞いを適応させることができる。 タイムアウトからのタイミング関連信号や運用期間など,微妙な環境条件さえも,監視やトリガーモデルによる行動適応の存在を明らかにすることができることを示す。 さらに、繰り返し発生するエピソードや相互作用ループを通じて、モデルがモニタの有効性の統計的推定を形成し、これらの推定を用いて検出を回避しようとする試みを導出することができることを観察する。 これらの知見は、監視プロセス自体が観察しようとする行動に影響を与える可能性がある適応条件下で、CoTベースの監視を評価する必要性を強調している。

関連論文リスト

• Learning to Be Monitored: Causal Bounds and Intervention-Aware Post-Training Recipes for Chain-of-Thought Monitorability [53.622648532543344]
  CoT(Chain-of- Thought)モニタリングは、大規模言語モデル(LLM)における潜在的有害な振る舞いをCoTから検出することを目的としている。 介入に基づく評価は、モニタがターゲットの動作が発生したときにCoTからの介入を検知できるかどうかを問うことで、この特性を測定する。 この測定基準は、モニタが実際に介入によって引き起こされた標的行動を検出する頻度を過大評価できることを示す。
  論文  参考訳（メタデータ） (2026-10-22T16:00:17Z)
• Behavioural self-monitoring for autonomous earth observation agents: The attribute reliability monitor (ARM) [51.56484100374058]
  この研究は、個々のセマンティック属性を評価するために時間をかけて疑念の証拠を蓄積するフレームワークである属性信頼性モニター(ARM)を導入している。 ARMは異なる検出器と時間モニタリング方法に対応し、介入ポリシーを消費システムに残す。 衛星熱赤外画像のための特殊な視覚言語モデルを用いて初期実装を評価した。
  論文  参考訳（メタデータ） (2026-10-13T15:25:41Z)
• Taming CoT Obfuscation in VLMs: From Mechanistic Evidence to Activation Enforcement [74.92755267784983]
  強化学習は、視覚言語モデルにおける推論を改善するが、チェーン・オブ・オファシケーションを誘発することができる。 本稿では, 行動フィードバックとテンプレート関連アクティベーションの標的抑制を組み合わせ, メカニスティック・エンハンスメント(TAME)を用いた標的的アンチ・オブファシケーションを提案する。 VIRL-39k、SPA-VL、および2つのモデルファミリの中で、TAMEはグループ相対政策最適化よりも最大30.9および16.7%のCoT監視性を改善している。
  論文  参考訳（メタデータ） (2026-09-21T08:08:56Z)
• Does Out-of-Sight Equal Out-of-Mind in CoT Monitorability? [18.08925355421489]
  思考の連鎖(CoT)推論は、大きな言語モデルの意思決定の窓口を提供する。 Latent CoTアプローチは、明示的なトークンを少数の連続状態に置き換え、推論コストを下げるが、この監視が依存する読みやすいトレースを削除する。 本稿では,モデルが入力キューのバイアスを悪用する動作のプロキシであるヒントベースの介入設定を用いて,この問題を考察する。
  論文  参考訳（メタデータ） (2026-08-05T14:55:23Z)
• Monitoring the Internal Monologue: Probe Trajectories Reveal Reasoning Dynamics [42.27928681606673]
  大規模推論モデル (LRM) は, 思考の連鎖 (CoT) 推論を通じて, 安全監視のための新たな機会を導入する。 本研究では,LRMの隠れ表現について検討し,今後の挙動をプロンプトおよびCoT表現から予測できるかどうかを検証した。 将来のモデル行動は, 単一の静的予測より, 完全な軌道上での検証において, より区別し易いことが判明した。
  論文  参考訳（メタデータ） (2026-05-18T15:29:04Z)
• Monitoring Data-aware Temporal Properties (Extended Version) [56.386411908764494]
  有限トレース上の任意のSMT理論に富む線形時間特性の予測モニタリングについて考察する。 この設定での予測モニタリングは非常に困難であり、監視状態はこれまでのトレースプレフィックスと可能な有限継続の両方に依存している。 本研究は,表現的フラグメントオフMTにおける特性モニタリングのための新しい基礎的枠組みの正しさを提示し,正式に証明するものである。
  論文  参考訳（メタデータ） (2026-05-14T10:23:11Z)
• Noticing the Watcher: LLM Agents Can Infer CoT Monitoring from Blocking Feedback [48.40096834514452]
  言語モデルエージェントの内部推論を監督する手法として,Chain-of-Thought(CoT)モニタリングを提案する。 我々は、推論エージェントが彼らのプライベートなCoTが監視下にあると自律的に推測できるかどうかを尋ねる。 フェデラーモデルでは、フィードバックをブロックすることで、このモニターの存在を純粋に推測することができる。
  論文  参考訳（メタデータ） (2026-03-14T00:12:14Z)
• Analyzing and Improving Chain-of-Thought Monitorability Through Information Theory [11.144603446849674]
  CoT(Chain-of- Thought)モニターは、出力が興味のある属性を示す可能性があることを検知する推論トレースを分析するシステムである。 本稿では,CoTと出力の非ゼロな相互情報が必要であるが,CoT監視には不十分であることを示す。
  論文  参考訳（メタデータ） (2026-02-20T15:50:30Z)
• Fantastic Reasoning Behaviors and Where to Find Them: Unsupervised Discovery of the Reasoning Process [66.38541693477181]
  本稿では, アクティベーション空間の方向として, 異なる推論挙動を符号化する, 推論ベクトルの発見のための教師なしフレームワークを提案する。 思考の連鎖トレースを文レベルの「ステップ」にセグメント化することで、リフレクションやバックトラックのような解釈可能な振る舞いに対応する歪んだ特徴を明らかにする。 本研究では,SAEデコーダ空間における信頼性関連ベクトルを同定し,応答信頼性を制御する能力を示す。
  論文  参考訳（メタデータ） (2025-12-30T05:09:11Z)
• Investigating CoT Monitorability in Large Reasoning Models [10.511177985572333]
  大規模推論モデル (LRM) は、最終解を出す前に拡張推論をすることで複雑なタスクにおいて顕著な性能を示す。 これらの詳細な推論トレースは、AI安全性、CoT Monitorabilityの新しい機会も生み出す。 しかし、CoT分析によってより効率的なモニターを構築しようとすると、2つの根本的な課題が生じる。
  論文  参考訳（メタデータ） (2025-11-11T18:06:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。