論文の概要: Instrumental Monitor Evasion Emerges Under Ordinary Task Pressure

• arxiv url: http://arxiv.org/abs/2609.30217v1
• Date: Thu, 24 Sep 2026 17:46:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:10.184568
• Title: Instrumental Monitor Evasion Emerges Under Ordinary Task Pressure
• Title（参考訳）: 通常の作業圧下での計器的モニターの伝播
• Abstract要約: 本研究では,通常のタスクを完了させる手段として,LCMエージェントがランタイム監視を回避するための妥当性について検討する。 EvasionBenchは50種類のタスクポリシーペアのベンチマークで、実行時モニタによって禁止された操作を必要とする。 評価全体を通じて、ベスト・オブ・3の回避試行率は最大98%、成功率は最大88%に達し、モデル間ではかなりのばらつきがある。
• 参考スコア（独自算出の注目度）: 25.53613256351612
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A central concern in AI safety is that agents may treat oversight as an obstacle when it conflicts with completing their goals. We study instrumental evasion, the propensity of LLM agents to circumvent runtime monitoring as a means of completing ordinary tasks. We introduce EvasionBench, a benchmark of 50 diverse task-policy pairs in which completing the task requires an operation prohibited by a runtime monitor. Agents know that their tool calls are monitored and are prompted to continue working when they pause. Across our evaluations, best-of-3 evasion attempt rates reach up to 98% and success rates up to 88%, with substantial variance across models. Claude Fable 5.1 succeeds less often, but frequently makes creative attempts to circumvent the monitor. Evasion generally increases with test-time compute, with higher evasion rates at greater reasoning effort and token use. Traces show that agents encode prohibited commands, decompose operations across tool calls, and retry until relevant context leaves the monitor's history. We also find that GPT-6 Astra's low evasion rate comes with overrefusal, as it frequently abandons otherwise solvable tasks under a denial-of-service prompt injection. Our findings show that ordinary task pressure can lead to adaptive attempts to evade runtime monitors without an explicit adversarial objective. Effective oversight must therefore remain robust against repeated attempts, as the persistence that helps agents solve difficult tasks can also drive them to circumvent their guardrails.
• Abstract（参考訳）: AIの安全性の中心的な懸念は、エージェントが目標達成と矛盾する場合、監視を障害として扱う可能性があることである。 本研究では,通常のタスクを完了させる手段として,LCMエージェントがランタイム監視を回避するための妥当性について検討する。 EvasionBenchは50種類のタスクポリシーペアのベンチマークで、実行時モニタによって禁止された操作を必要とする。 エージェントは、ツールコールが監視されていることを知り、一時停止時に作業を続けるように促される。 評価全体では、ベスト・オブ・3の回避試行率は最大98%、成功率は最大88%に達し、モデル間ではかなりのばらつきがある。 Claude Fable 5.1は、あまり成功しないが、しばしばモニターを回避しようとする創造的な試みを行う。 エベイジョンは一般にテスト時間計算によって増加し、より高い推論とトークンの使用で回避率が高くなる。 トレースは、エージェントが禁止されたコマンドをエンコードし、ツールコールをまたいで操作を分解し、関連するコンテキストがモニタの履歴を残すまで再試行することを示している。 また, GPT-6 Astra の低回避率には過剰な拒絶が伴うことが判明した。 以上の結果から,通常のタスクプレッシャは,明示的な対向目的を伴わずに,ランタイムモニタを回避しようとする適応的試みにつながる可能性が示唆された。 したがって、エージェントが困難なタスクを解くのを助ける永続性は、彼らのガードレールを回避させる可能性があるため、効果的な監視は繰り返しの試みに対して堅牢でなければならない。

関連論文リスト

• Taming CoT Obfuscation in VLMs: From Mechanistic Evidence to Activation Enforcement [74.92755267784983]
  強化学習は、視覚言語モデルにおける推論を改善するが、チェーン・オブ・オファシケーションを誘発することができる。 本稿では, 行動フィードバックとテンプレート関連アクティベーションの標的抑制を組み合わせ, メカニスティック・エンハンスメント(TAME)を用いた標的的アンチ・オブファシケーションを提案する。 VIRL-39k、SPA-VL、および2つのモデルファミリの中で、TAMEはグループ相対政策最適化よりも最大30.9および16.7%のCoT監視性を改善している。
  論文  参考訳（メタデータ） (2026-09-21T08:08:56Z)
• SLEIGHT-Bench: A Benchmark of Evasion Attacks Against Agent Monitors [3.989565392866092]
  SLEIGHT-Bench (Subtle Low-itEration Insight-Guided Harmful Transcripts) は、11カテゴリにわたる40の攻撃を含む合成写本のベンチマークである。 40件中20件はOpus 4.6モニターで捕捉されず、10回の試験で1%の偽陽性率で思考を延長し、全体のキャッチレートは32%である。
  論文  参考訳（メタデータ） (2026-05-15T20:46:46Z)
• On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
  既存の安全アライメント信号は、主に応答レベルまたは政治外である。 FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。 FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
  論文  参考訳（メタデータ） (2026-05-12T09:56:28Z)
• Noticing the Watcher: LLM Agents Can Infer CoT Monitoring from Blocking Feedback [48.40096834514452]
  言語モデルエージェントの内部推論を監督する手法として,Chain-of-Thought(CoT)モニタリングを提案する。 我々は、推論エージェントが彼らのプライベートなCoTが監視下にあると自律的に推測できるかどうかを尋ねる。 フェデラーモデルでは、フィードバックをブロックすることで、このモニターの存在を純粋に推測することができる。
  論文  参考訳（メタデータ） (2026-03-14T00:12:14Z)
• Detecting Object Tracking Failure via Sequential Hypothesis Testing [80.7891291021747]
  ビデオにおけるリアルタイムのオンラインオブジェクト追跡は、コンピュータビジョンにおける中核的なタスクである。 本稿では,物体追跡を逐次的仮説テストとして解釈することを提案する。 本研究では,地中追跡情報と内部追跡情報の両方を活用することにより,教師なしと教師なしの両方の変種を提案する。
  論文  参考訳（メタデータ） (2026-02-13T14:57:15Z)
• DRAFT: Task Decoupled Latent Reasoning for Agent Safety [59.46137757545185]
  DRAFT(Task Decoupled Latent Reasoning for Agent Safety)を提案する。 エクストラクターは、完全な軌跡をコンパクトな連続的な潜伏ドラフトに蒸留し、リゾナーはドラフトと元の軌跡に共同で参加して安全性を予測する。 DRAFTの精度は63.27%(LoRA)から91.18%に向上した。
  論文  参考訳（メタデータ） (2026-02-11T07:45:14Z)
• ToolSafe: Enhancing Tool Invocation Safety of LLM-based agents via Proactive Step-level Guardrail and Feedback [53.2744585868162]
  エージェントのデプロイには、ステップレベルのツールの実行動作をリアルタイムで監視することが不可欠だ。 LLMエージェントにおけるステップレベルツール起動安全検出のための新しいベンチマークであるTS-Benchを構築した。 次に,マルチタスク強化学習を用いたガードレールモデルTS-Guardを開発した。
  論文  参考訳（メタデータ） (2026-01-15T07:54:32Z)
• SHADE-Arena: Evaluating Sabotage and Monitoring in LLM Agents [8.02267424051267]
  大規模言語モデル(LLM)は、複雑で長い地平線設定において、自律的なエージェントとしてますます多くデプロイされている。 本研究では,フロンティアLSMの監視を回避し,有害な隠れた目標を達成する能力について検討する。 SHADE(Subtle Harmful Agent Detection & Evaluation)-Arenaを用いて,広い範囲のフロンティアLSMを評価した。
  論文  参考訳（メタデータ） (2025-06-17T15:46:15Z)
• Monitoring Decomposition Attacks in LLMs with Lightweight Sequential Monitors [27.976136688947093]
  現在のLLMの安全防衛は分解攻撃で失敗し、悪意のあるゴールは拒否を回避する良質なサブタスクに分解される。 より粒度の高い会話を観察する外部モニタの追加を提案する。 念入りに設計した軽量モニタは93%の防衛成功率を達成し、モニタとしてo3 miniのような推論モデルを上回る結果となった。
  論文  参考訳（メタデータ） (2025-06-12T17:50:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。