論文の概要: LLMs Learn to Evade Latent Monitors from Prior Feedback Alone

• arxiv url: http://arxiv.org/abs/2609.36490v1
• Date: Tue, 29 Sep 2026 01:47:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.09858
• Title: LLMs Learn to Evade Latent Monitors from Prior Feedback Alone
• Title（参考訳）: LLMが先行フィードバックアローンから遅延モニタを回避
• Abstract要約: インタラクティブな監視はフィードバックチャネルを生成し、各検証がモデルにリーク情報を配信する。 エージェントがこのフィードバックからモニタの決定ルールを推測し、そのアクティベーションを選択的に編集して検出を回避できるかどうかを問う。
• 参考スコア（独自算出の注目度）: 6.1937472685875
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Latent space monitors aim to detect undesired behaviors in LLM agents by inspecting an agent's internal activations rather than its outputs. However, interactive monitoring creates a feedback channel where each verdict the monitor delivers leaks information to the model about how its internal states are being evaluated. We ask whether an agent can infer the monitor's decision rule from this feedback and then selectively edit its activations to evade detection. Unlike prior evasion attacks, the model is never explicitly told what the monitor detects. Surprisingly, off-the-shelf models already produce activation edits aligned with the monitored direction, but at insufficient magnitude for evasion. Simply scaling up these edits by a factor of 8 reduces the monitor's TPR from 100% to 27%. A rank-1 LoRA amplifies this behavior into effective evasion within the forward pass, reducing TPR further to 4% on held-out concept monitors while leaving other concepts at their normal detection rates. Capabilities on standard benchmarks are retained under this finetuning, and the evasion skill survives retraining the monitors on the new activations. Mechanistically, we find evidence that the model computes its activation edit from the prior in-context turns, and show that the edit becomes more aligned with the monitored direction as more examples are provided. These results demonstrate feedback-conditioned control over activations and suggest that latent monitoring should be treated as an interactive process in which agents can observe and respond to oversight measures.
• Abstract（参考訳）: 潜時空間モニターは、出力ではなくエージェントの内部活性化を検査することで、LLMエージェントの望ましくない動作を検出することを目的としている。 しかし、インタラクティブなモニタリングは、各検証が内部状態がどのように評価されているかのモデルにリーク情報を配信するフィードバックチャネルを生成する。 エージェントがこのフィードバックからモニタの決定ルールを推測し、そのアクティベーションを選択的に編集して検出を回避できるかどうかを問う。 以前の回避攻撃とは異なり、モデルはモニターが検出したものを明示的に知らせることはない。 驚くべきことに、市販のモデルはすでに、監視された方向に合わせてアクティベーション編集を生成するが、回避には不十分である。 これらの編集を8倍にスケールアップするだけで、モニタのTPRを100%から27%に削減できる。 rank-1 LoRAは、この動作をフォワードパス内の効果的な回避に増幅し、TPRを通常の検出速度で他の概念を残しながら、ホールドアウトされたコンセプトモニターでさらに4%に削減する。 標準ベンチマークの能力はこの微調整の下で維持され、回避スキルは新しいアクティベーションのモニターの再トレーニングを継続する。 メカニカルには、モデルが以前のインコンテキスト・ターンからアクティベーション編集を演算する証拠が見つかり、より多くの例が提供されるにつれて、その編集が監視方向とより整合していることが示される。 これらの結果は,アクティベーションに対するフィードバック条件による制御を実証し,エージェントが監視の監視と対応を行うインタラクティブなプロセスとして,潜時モニタリングを取り扱うべきであることを示唆している。

関連論文リスト

• Taming CoT Obfuscation in VLMs: From Mechanistic Evidence to Activation Enforcement [74.92755267784983]
  強化学習は、視覚言語モデルにおける推論を改善するが、チェーン・オブ・オファシケーションを誘発することができる。 本稿では, 行動フィードバックとテンプレート関連アクティベーションの標的抑制を組み合わせ, メカニスティック・エンハンスメント(TAME)を用いた標的的アンチ・オブファシケーションを提案する。 VIRL-39k、SPA-VL、および2つのモデルファミリの中で、TAMEはグループ相対政策最適化よりも最大30.9および16.7%のCoT監視性を改善している。
  論文  参考訳（メタデータ） (2026-09-21T08:08:56Z)
• TrustVLA: Mechanism-Guided Inference-Time Defense Against Vision-Language-Action Backdoors [54.12833308568015]
  VLA(Vision-Language-Action)モデルは、エンドユーザが監査できないパイプラインを通じてデプロイされる。 小さな視覚トリガーは、障害が観測可能である前に、長い水平ロボットポリシーをリダイレクトする。 個別に提案した2つのVLA攻撃を通してこのギャップについて検討した。
  論文  参考訳（メタデータ） (2026-07-14T09:43:52Z)
• Noticing the Watcher: LLM Agents Can Infer CoT Monitoring from Blocking Feedback [48.40096834514452]
  言語モデルエージェントの内部推論を監督する手法として,Chain-of-Thought(CoT)モニタリングを提案する。 我々は、推論エージェントが彼らのプライベートなCoTが監視下にあると自律的に推測できるかどうかを尋ねる。 フェデラーモデルでは、フィードバックをブロックすることで、このモニターの存在を純粋に推測することができる。
  論文  参考訳（メタデータ） (2026-03-14T00:12:14Z)
• Detecting Object Tracking Failure via Sequential Hypothesis Testing [80.7891291021747]
  ビデオにおけるリアルタイムのオンラインオブジェクト追跡は、コンピュータビジョンにおける中核的なタスクである。 本稿では,物体追跡を逐次的仮説テストとして解釈することを提案する。 本研究では,地中追跡情報と内部追跡情報の両方を活用することにより,教師なしと教師なしの両方の変種を提案する。
  論文  参考訳（メタデータ） (2026-02-13T14:57:15Z)
• How does information access affect LLM monitors' ability to detect sabotage? [5.941142438950269]
  情報アクセスがLCMモニタの性能に与える影響について検討する。 現代のシステムでは、情報が少ないと性能が良くなることがよく示される。 監視されていることを知らないエージェントが、より簡単に捕まえられることがわかりました。
  論文  参考訳（メタデータ） (2026-01-28T23:01:31Z)
• Towards mitigating information leakage when evaluating safety monitors [0.11069528768209996]
  本稿では,実際のモデル動作を検出する能力の観点から,モニタの性能を評価するためのフレームワークを提案する。 本報告では,本モニタの評価方法として, コンテントろ過, スコアろ過, 微調整モデル生物の蒸留促進の3つの方法を提案する。
  論文  参考訳（メタデータ） (2025-09-16T19:09:27Z)
• CoT Red-Handed: Stress Testing Chain-of-Thought Monitoring [3.6284577335311563]
  CoT(Chain-of-Thought)モニタリングは、アクションのみの監視がサボタージュを確実に識別できないシナリオにおいて、最大27ポイントの検出を改善する。 CoTトレースはまた、モニターを欺く誤解を招く合理化も含み、より明白なサボタージュケースのパフォーマンスを低下させる。 このハイブリッドモニターは、テストされたすべてのモデルとタスクにわたってCoTとアクションオンリーのモニターを一貫して上回り、微妙な詐欺シナリオに対するアクションオンリーのモニタリングよりも4倍高い速度で検出する。
  論文  参考訳（メタデータ） (2025-05-29T15:47:36Z)
• Preemptive Detection and Correction of Misaligned Actions in LLM Agents [58.39520480675366]
  InferActは、実行前に不整合アクションを検出する新しいアプローチである。 タイムリーな修正をユーザーに警告し、有害な結果を防ぐ。 InferActは、ミスアライメントされたアクション検出におけるベースラインに対するMarco-F1の最大20%の改善を実現している。
  論文  参考訳（メタデータ） (2024-07-16T15:24:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。