論文の概要: Towards a Unified Misuse Monitoring Benchmark

• arxiv url: http://arxiv.org/abs/2610.07089v1
• Date: Mon, 05 Oct 2026 12:57:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.547603
• Title: Towards a Unified Misuse Monitoring Benchmark
• Title（参考訳）: 統一された誤用モニタリングベンチマークに向けて
• Abstract要約: LLMエージェントはますますマルチアクター環境で働き、複数のソースからの誤用を露呈する。 既存の評価はこれらの脅威を別々に扱い、いつ有害になるかではなく、軌道が有害になるかどうかを問うものである。 本稿では,エージェントの応答の監視,その動作の外部化,および監視者が害箇所を識別する第1のポイントが害箇所内にあるかどうかを問う。
• 参考スコア（独自算出の注目度）: 25.152990233533163
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM agents increasingly act in multi-actor environments, exposing them to misuse from multiple sources: decomposition attacks, where a harmful request is split into innocuous sub-requests, and prompt injection attacks, where a compromised tool delivers a malicious instruction. Existing evaluations treat these threats separately and ask whether a trajectory is harmful, rather than when it becomes harmful. We propose monitoring the agent's responses, where its actions are externalised, and ask whether the first point where monitors identify harm lands within a harm window (from the agent's first harmful commitment to goal execution). We develop a unified formalism for trace-level misuse monitoring and use it to construct a benchmark of ~6,200 conversation transcripts between a user, an LLM agent, and the external environment, spanning both threats in a shared schema, with a labelled harm window, corresponding benign controls, and matched instances of refusals to these requests. Across 17 monitor configurations, we find that our proposed action-framed monitors perform well on both threats under classical metrics (AUC: 0.95 and 0.99 respectively), while content-framed monitors collapse on injection attacks (AUC: 0.52). We also show that classical position-blind metrics paint an optimistic picture of monitor performance, since all monitors localise decomposition attacks poorly under the interval metric, which measures the ability to localise harm. Broadly, we illustrate the need for a unified study of misuse monitoring.
• Abstract（参考訳）: 分解攻撃、有害な要求を無害なサブ要求に分割し、侵入されたツールが悪意のある命令を配信するインジェクション攻撃を誘導する。 既存の評価はこれらの脅威を別々に扱い、いつ有害になるかではなく、軌道が有害になるかどうかを問うものである。 本研究では,エージェントの行動が外部化されている場合の応答を監視することを提案し,監視対象が害窓内(目標実行に対するエージェントの最初の有害なコミットメントから)に害地を識別する最初のポイントを問う。 我々は、トレースレベルの誤用監視のための統一的なフォーマリズムを開発し、ユーザとLLMエージェント、および外部環境間の約6,200の会話書き起こしのベンチマークを構築する。 提案したアクションフレームモニタは,従来の計測値(AUC:0.95と0.99)と,コンテンツフレームモニタはインジェクションアタック(AUC:0.52)の両方の脅威に対して良好に動作することがわかった。 また,従来の測位基準では,すべての測位器がローカライズ分解攻撃を測定できないため,測位性能の楽観的な図形を描いていることも示している。 広義には、誤用監視の統一的な研究の必要性について説明する。

関連論文リスト

• Taming CoT Obfuscation in VLMs: From Mechanistic Evidence to Activation Enforcement [74.92755267784983]
  強化学習は、視覚言語モデルにおける推論を改善するが、チェーン・オブ・オファシケーションを誘発することができる。 本稿では, 行動フィードバックとテンプレート関連アクティベーションの標的抑制を組み合わせ, メカニスティック・エンハンスメント(TAME)を用いた標的的アンチ・オブファシケーションを提案する。 VIRL-39k、SPA-VL、および2つのモデルファミリの中で、TAMEはグループ相対政策最適化よりも最大30.9および16.7%のCoT監視性を改善している。
  論文  参考訳（メタデータ） (2026-09-21T08:08:56Z)
• Corrupt Plans, Clean Traces: Evading Chain-of-Thought Monitoring with Plan Injection [21.905085829126666]
  チェーン・オブ・シント(CoT)モニタリングは、大規模言語モデル「アクター」の推論を「モニター」によって検査する安全戦略である。 アクターのコンテキストに有害だが良心的な推論を植えることによって、モニターを回避しながら敵の行動を起こせることが判明した。
  論文  参考訳（メタデータ） (2026-09-14T18:33:27Z)
• Stateful Online Monitoring Catches Distributed Agent Attacks [63.00394432922707]
  我々は、リアルタイムクラスタリングを用いて、多くのエージェントの転写にまたがる弱い疑わしい信号を収集するオンラインステートフルモニターを開発した。 本研究の結果は,孤立したテキストではなく,ユーザグループを優先する,新たな安全モニタのクラスに向けられたものである。
  論文  参考訳（メタデータ） (2026-05-29T17:57:00Z)
• Plant, Persist, Trigger: Sleeper Attack on Large Language Model Agents [64.80318459073526]
  敵のコンテンツは、同一のエージェントによって提供される相互作用にまたがって持続できることを示し、そのような脅威を検知し緩和することを困難にしている。 具体的には、敵対的コンテンツはエージェント状態に留まり、相互作用をまたいだ休眠状態に留まり、その後、良心的なユーザクエリによって活性化される。 我々は、このタイプの安全脅威をスリーパー攻撃として形式化し、評価するために、現実世界の有害な結果6つ、攻撃戦略3つ、エージェント状態の目標3つをカバーする1,896件のベンチマークを構築した。
  論文  参考訳（メタデータ） (2026-05-27T09:25:37Z)
• SLEIGHT-Bench: A Benchmark of Evasion Attacks Against Agent Monitors [3.989565392866092]
  SLEIGHT-Bench (Subtle Low-itEration Insight-Guided Harmful Transcripts) は、11カテゴリにわたる40の攻撃を含む合成写本のベンチマークである。 40件中20件はOpus 4.6モニターで捕捉されず、10回の試験で1%の偽陽性率で思考を延長し、全体のキャッチレートは32%である。
  論文  参考訳（メタデータ） (2026-05-15T20:46:46Z)
• Bypassing AI Control Protocols via Agent-as-a-Proxy Attacks [12.356708678431183]
  現在の防御は、エージェントのChain-of-Thought(CoT)とツール使用アクションを共同で評価し、ユーザの意図との整合性を保証する監視プロトコルに依存している。 これらの監視ベースの防御は、新しいエージェント・アズ・ア・プロキシ・ア・プロキシ・アタックによってバイパス可能であることを実証する。 以上の結果から,現在の監視型エージェント防御は,モデルスケールによらず根本的に脆弱であることが示唆された。
  論文  参考訳（メタデータ） (2026-02-04T21:38:38Z)
• Adaptive Attacks on Trusted Monitors Subvert AI Control Protocols [80.68060125494645]
  プロトコルとモニタモデルを知っている信頼できないモデルによるアダプティブアタックについて検討する。 我々は、攻撃者がモデル出力に公知またはゼロショットプロンプトインジェクションを埋め込む単純な適応攻撃ベクトルをインスタンス化する。
  論文  参考訳（メタデータ） (2025-10-10T15:12:44Z)
• BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks [58.959622170433725]
  BlindGuardは、攻撃固有のラベルや悪意のある振る舞いに関する事前の知識を必要とせずに学習する、教師なしの防御方法である。 BlindGuardはマルチエージェントシステムにまたがる多様な攻撃タイプ(即時注入、メモリ中毒、ツール攻撃)を効果的に検出する。
  論文  参考訳（メタデータ） (2025-08-11T16:04:47Z)
• OS-Harm: A Benchmark for Measuring Safety of Computer Use Agents [60.78202583483591]
  コンピュータ使用エージェントの安全性を計測する新しいベンチマークであるOS-Harmを紹介する。 OS-HarmはOSWorld環境上に構築されており、故意のユーザ誤用、インジェクション攻撃、モデル誤動作の3つのカテゴリでモデルをテストすることを目指している。 我々は、フロンティアモデルに基づいてコンピュータ利用エージェントを評価し、その安全性に関する洞察を提供する。
  論文  参考訳（メタデータ） (2025-06-17T17:59:31Z)
• SafetyNet: Detecting Harmful Outputs in LLMs by Modeling and Monitoring Deceptive Behaviors [2.07180164747172]
  原子力や航空などのリスクの高い産業は、危険なシステム状態を検出するためにリアルタイムモニタリングを使用している。 教師なしアプローチを用いることで、有害なAI出力が発生する前に予測するリアルタイムフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-20T12:49:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。