論文の概要: Stateful Online Monitoring Catches Distributed Agent Attacks

• arxiv url: http://arxiv.org/abs/2605.31593v1
• Date: Fri, 29 May 2026 17:57:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.78534
• Title: Stateful Online Monitoring Catches Distributed Agent Attacks
• Title（参考訳）: Stateful Online Monitoringが分散エージェント攻撃に対応
• Abstract要約: 我々は、リアルタイムクラスタリングを用いて、多くのエージェントの転写にまたがる弱い疑わしい信号を収集するオンラインステートフルモニターを開発した。 本研究の結果は,孤立したテキストではなく,ユーザグループを優先する,新たな安全モニタのクラスに向けられたものである。
• 参考スコア（独自算出の注目度）: 63.00394432922707
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models can find thousands of severe software vulnerabilities, and agents are increasingly being misused for cyberattacks. To avoid detection, attackers frequently distribute their misuse, splitting a harmful task across many user accounts so each individual transcript looks benign. Because safety monitors score only one agent context at a time, they are structurally blind to misuse that is only visible in aggregate, across many accounts. We show this gap is real by building, to our knowledge, the first distributed agent attack, a multi-agent scaffold that completes hard cybersecurity tasks while hiding the harmful objective across subagents with limited contexts, evading a standard monitor that catches it only a fifth as often as prior agent attacks. Towards a defense, we develop an online stateful monitor that uses real-time clustering to collect weak suspiciousness signals across many agent transcripts, and escalates only rarely to a language model that flags misuse across user accounts. In evaluations with large-scale simulated datacenter traffic, our monitor Pareto dominates standard monitors, catching distributed attacks 30% earlier and flagging cyber misuse before it reaches the most harmful stages. Crucially, this comes at negligible additional latency for ~99% of user traffic. This detection advantage persists but narrows as the benign background traffic grows very large. After an extensive red-teaming exercise, we improve the defense and surprisingly also find that it catches standard jailbreaks, since adaptive attackers reuse attack variants across accounts. Our results point toward a new class of safety monitors which reason over groups of users rather than isolated transcripts.
• Abstract（参考訳）: 言語モデルは何千もの深刻なソフトウェア脆弱性を見つけることができ、エージェントはサイバー攻撃に誤用されることが増えている。 検出を避けるために、攻撃者は頻繁に誤用を分散し、有害なタスクを多くのユーザーアカウントに分割し、個々の文字が良さそうに見えるようにする。 安全モニターは一度に1つのエージェントコンテキストしかスコアしないため、多くのアカウントにまたがって、集合的にのみ見える誤用に対して構造的に盲目である。 このギャップは、私たちの知る限り、最初の分散エージェント攻撃、ハードサイバーセキュリティタスクを完遂するマルチエージェントの足場を構築しながら、限られたコンテキストでサブエージェント間の有害な目標を隠蔽し、前回のエージェント攻撃の5分の1しかキャッチできない標準モニターを回避することで実現されている。 防衛に向けて,リアルタイムクラスタリングを用いたオンラインステートフルモニタを開発し,多くのエージェント記述書にまたがる弱い不審な信号を収集し,ユーザアカウントに誤用を通知する言語モデルにエスカレートすることは稀である。 大規模なシミュレートされたデータセンタートラフィックによる評価では、モニターのParetoが標準モニターを支配し、分散攻撃を30%早くキャッチし、最も有害なステージに到達する前にサイバー誤用を警告します。 重要なのは、これはユーザトラフィックの約99%のレイテンシが無視できる。 この検出の利点は持続するが、良質なバックグラウンドトラフィックが大きくなるにつれて狭まる。 また、アダプティブアタッカーはアカウント全体にわたる攻撃のバリエーションを再利用しているため、通常のジェイルブレイクをキャッチしていることもわかりました。 本研究の結果は,孤立したテキストではなく,ユーザグループを優先する,新たな安全モニタのクラスに向けられたものである。

関連論文リスト

• Multi-Agent AI Control: Distributed Attacks Hamper Per-Instance Monitors [4.246803713067298]
  我々は、複数のエージェントが悪質な目標を共同で狙う分散攻撃を形式化したマルチエージェントAI制御について研究する。 合成AIラボFakeLab(9つのサービス、86の良質なタスク、4つの攻撃目標)を開発した。 攻撃に協力するエージェントが増えるにつれて、エージェントごとの監視が攻撃者を捕まえる可能性が低下します。
  論文  参考訳（メタデータ） (2026-07-08T13:03:25Z)
• SLEIGHT-Bench: A Benchmark of Evasion Attacks Against Agent Monitors [3.989565392866092]
  SLEIGHT-Bench (Subtle Low-itEration Insight-Guided Harmful Transcripts) は、11カテゴリにわたる40の攻撃を含む合成写本のベンチマークである。 40件中20件はOpus 4.6モニターで捕捉されず、10回の試験で1%の偽陽性率で思考を延長し、全体のキャッチレートは32%である。
  論文  参考訳（メタデータ） (2026-05-15T20:46:46Z)
• OMNI-LEAK: Orchestrator Multi-Agent Network Induced Data Leakage [59.3826294523924]
  オーケストレータ設定として知られる,一般的なマルチエージェントパターンのセキュリティ脆弱性について検討する。 本報告では,フロンティアモデルの攻撃カテゴリに対する感受性を報告し,推論モデルと非推論モデルの両方が脆弱であることが確認された。
  論文  参考訳（メタデータ） (2026-02-13T21:32:32Z)
• Bypassing AI Control Protocols via Agent-as-a-Proxy Attacks [12.356708678431183]
  現在の防御は、エージェントのChain-of-Thought(CoT)とツール使用アクションを共同で評価し、ユーザの意図との整合性を保証する監視プロトコルに依存している。 これらの監視ベースの防御は、新しいエージェント・アズ・ア・プロキシ・ア・プロキシ・アタックによってバイパス可能であることを実証する。 以上の結果から,現在の監視型エージェント防御は,モデルスケールによらず根本的に脆弱であることが示唆された。
  論文  参考訳（メタデータ） (2026-02-04T21:38:38Z)
• Async Control: Stress-testing Asynchronous Control Measures for LLM Agents [2.7146936326590425]
  非同期モニタリングにおいて,モニタリングシステムがエージェントの動作を後回しにレビューする手法について検討する。 同期監視とは異なり、このアプローチは実行時のレイテンシを課すことなく、不可逆的な害が起こる前に攻撃を妨害しようとする。 私たちは、モニター開発を、ブルーチーム(モニターを設計する)とレッドチーム(破壊エージェントを作成する)の敵対的なゲームとして扱う。
  論文  参考訳（メタデータ） (2025-12-15T16:56:28Z)
• BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks [58.959622170433725]
  BlindGuardは、攻撃固有のラベルや悪意のある振る舞いに関する事前の知識を必要とせずに学習する、教師なしの防御方法である。 BlindGuardはマルチエージェントシステムにまたがる多様な攻撃タイプ(即時注入、メモリ中毒、ツール攻撃)を効果的に検出する。
  論文  参考訳（メタデータ） (2025-08-11T16:04:47Z)
• Poison Once, Control Anywhere: Clean-Text Visual Backdoors in VLM-based Mobile Agents [54.35629963816521]
  この研究は、VLMベースのモバイルエージェントをターゲットにした最初のクリーンテキストバックドアアタックであるVIBMAを紹介する。 この攻撃は、視覚的な入力だけを変更することによって、悪意ある振る舞いをモデルに注入する。 クリーンタスクの動作を保ちながら高い成功率を達成できることを示す。
  論文  参考訳（メタデータ） (2025-06-16T08:09:32Z)
• Malicious Agent Detection for Robust Multi-Agent Collaborative Perception [52.261231738242266]
  多エージェント協調(MAC)知覚は、単エージェント認識よりも敵攻撃に対して脆弱である。 MAC知覚に特異的な反応防御であるMADE(Malicious Agent Detection)を提案する。 我々は、ベンチマーク3DデータセットV2X-simとリアルタイムデータセットDAIR-V2Xで包括的な評価を行う。
  論文  参考訳（メタデータ） (2023-10-18T11:36:42Z)
• Backdoor Attack against Speaker Verification [86.43395230456339]
  学習データを汚染することにより,話者検証モデルに隠れたバックドアを注入できることを示す。 また,既存のバックドア攻撃が話者認証攻撃に直接適用できないことも実証した。
  論文  参考訳（メタデータ） (2020-10-22T11:10:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。