論文の概要: When Agents Go Rogue: Activation-Based Detection of Malicious Behaviors in Multi-Agent Systems

• arxiv url: http://arxiv.org/abs/2607.06807v1
• Date: Tue, 07 Jul 2026 21:12:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.225989
• Title: When Agents Go Rogue: Activation-Based Detection of Malicious Behaviors in Multi-Agent Systems
• Title（参考訳）: エージェントがローグに行くとき:マルチエージェントシステムにおけるアクティベーションに基づく悪意行動の検出
• Abstract要約: LLMベースのMulti-Agent Systems (MAS) はエージェントとインタラクションのレベルでの脆弱性のため、重大なセキュリティ上の課題に直面している。 既存のMASセキュリティディフェンスは、意味論的に明示的な悪意のある攻撃と、MASトポロジの明示的なグラフベースのモデリングとエージェントレベルの相互作用という、2つのコア前提に基づいて構築されている。 我々は,MASにおける悪意行動検出のためのアクティベーションベースのフレームワークであるAcMASを提案する。
• 参考スコア（独自算出の注目度）: 14.51256195199332
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While enabling effective collaboration on complex tasks, LLM-based Multi-Agent Systems (MAS) face critical security challenges due to vulnerabilities at the agent and interaction levels. Most existing MAS security defenses are built upon two core assumptions: semantically-explicit malicious attacks and explicit graph-based modeling of the MAS topology and agent-level interactions. In practice, real-world attacks are becoming more semantically stealthy, while MAS execution is typically asynchronous without the temporal alignment assumed by graph-based propagation models. To address these limitations, we propose AcMAS, an activation-based framework for malicious-behavior detection in MAS. By analyzing internal reasoning states in the activation space of local agents, AcMAS detects even stealthy attacks in a synchronization-robust fashion, without relying on explicit interaction graphs. Moreover, our activation analysis provides critical signals to guide AcMAS in restoring the functionality of compromised agents, rather than the disruptive agent isolation commonly used by the state-of-the-art methods. Comprehensive evaluation demonstrates that AcMAS significantly outperforms graph-based baselines against stealthy attacks, by +0.22 F1 in synchronous settings (0.94 vs. 0.72) and by +0.55 F1 in asynchronous settings (0.93 vs. 0.38), with generalization across diverse open-source LLM backbones, attack intensity, and MAS scale.
• Abstract（参考訳）: 複雑なタスクにおいて効果的なコラボレーションを実現する一方で、LLMベースのマルチエージェントシステム(MAS)は、エージェントとインタラクションのレベルでの脆弱性によって、重要なセキュリティ上の課題に直面している。 既存のMASセキュリティディフェンスは、意味論的に明示的な悪意のある攻撃と、MASトポロジの明示的なグラフベースのモデリングとエージェントレベルの相互作用という、2つのコア前提に基づいて構築されている。 実際には、現実世界の攻撃はよりセマンティックなステルス化が進んでいるが、MASの実行は通常、グラフベースの伝播モデルによって仮定される時間的アライメントなしで非同期である。 これらの制約に対処するため,MASにおける悪意行動検出のためのアクティベーションベースのフレームワークであるAcMASを提案する。 ローカルエージェントの活性化空間における内部推論状態を分析することで、AcMASは明示的な相互作用グラフに頼ることなく、シンクロロバストな方法でステルス攻撃も検出する。 さらに、我々のアクティベーション分析は、最先端の手法で一般的に使用される破壊的エージェント分離ではなく、妥協されたエージェントの機能の復元において、AcMASを誘導する重要な信号を提供する。 総合的な評価は、AcMASがグラフベースのベースラインをステルス攻撃に対して著しく上回り、同期設定では+0.22 F1(0.94 vs. 0.72)、非同期設定では+0.55 F1(0.93 vs. 0.38)、様々なオープンソースのLCMバックボーン、攻撃強度、MASスケールで一般化していることを示している。

関連論文リスト

• Who Pays the Price? Stakeholder-Centric Prompt Injection Benchmarking for Real-world Web Agents [93.19140872946842]
  大規模言語モデル(LLM)によって駆動されるWebエージェントは、現実の環境にますますデプロイされる。 これにより、一見良質なコンテンツがエージェントの振る舞いを操作する敵の命令を埋め込む、プロンプト・インジェクション・アタックに対して脆弱になる。 実世界のWebエージェントシステムにおいて,損害を体系的に分類し,属性付けするベンチマークである textbfsysname を導入する。
  論文  参考訳（メタデータ） (2026-06-11T14:12:43Z)
• Benchmarking Autonomous Agents against Temporal, Spatial, and Semantic Evasions [15.535628544812326]
  LLMをベースとしたエージェントシステムを対象とした,新しい多次元回避フレームワークを提案する。 これらの脅威を定量化するために,2,254個の実世界のエージェント実行軌跡からなる総合ベンチマークであるA3S-Benchを構築した。 我々の回避フレームワークは平均リスクトリガー率を28.3%から52.6%に引き上げる。
  論文  参考訳（メタデータ） (2026-05-21T11:07:51Z)
• A Low-Latency Fraud Detection Layer for Detecting Adversarial Interaction Patterns in LLM-Powered Agents [18.524016493711386]
  大規模言語モデル(LLM)を利用したエージェントは、自律的なタスク実行、ツールの使用、多段階推論において強力な能力を示す。 敵対的相互作用は、直接的プロンプトインジェクション、間接的コンテンツアタック、マルチターンエスカレーション戦略を通じてエージェントの動作を操作できる。 LLMエージェントの逆相互作用パターンを検出するために,低レイテンシな不正検出層を提案する。
  論文  参考訳（メタデータ） (2026-05-01T22:35:59Z)
• GAMMAF: A Common Framework for Graph-Based Anomaly Monitoring Benchmarking in LLM Multi-Agent Systems [0.42970700836450487]
  本稿では,オープンソースのベンチマークプラットフォームであるGammaf(LLM Multi-Agent System Framework用のグラフベースの異常モニタリング)を紹介する。 Gammafは、新しい防御機構ではなく、合成マルチエージェントインタラクションデータセットを生成するために設計された包括的な評価アーキテクチャである。
  論文  参考訳（メタデータ） (2026-04-27T13:45:14Z)
• Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
  セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。 アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。 ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
  論文  参考訳（メタデータ） (2026-04-21T15:05:58Z)
• CIBER: A Comprehensive Benchmark for Security Evaluation of Code Interpreter Agents [27.35968236632966]
  LLMベースのコードインタプリタエージェントは、ますます重要な状況にデプロイされている。 既存のベンチマークでは、動的コード実行、ツールインタラクション、マルチターンコンテキストから生じるセキュリティリスクをキャプチャできない。 動的アタック生成、分離されたセキュアサンドボックス、状態認識評価を組み合わせた自動ベンチマークであるCIBERを紹介する。
  論文  参考訳（メタデータ） (2026-02-23T06:41:41Z)
• Explainable and Fine-Grained Safeguarding of LLM Multi-Agent Systems via Bi-Level Graph Anomaly Detection [76.91230292971115]
  大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は複雑なタスクを解く上で強力な能力を示している。 XG-Guardは、MAS内の悪意のあるエージェントを検出するための、説明可能な、きめ細かい保護フレームワークである。
  論文  参考訳（メタデータ） (2025-12-21T13:46:36Z)
• BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks [58.959622170433725]
  BlindGuardは、攻撃固有のラベルや悪意のある振る舞いに関する事前の知識を必要とせずに学習する、教師なしの防御方法である。 BlindGuardはマルチエージェントシステムにまたがる多様な攻撃タイプ(即時注入、メモリ中毒、ツール攻撃)を効果的に検出する。
  論文  参考訳（メタデータ） (2025-08-11T16:04:47Z)
• AgentSight: System-Level Observability for AI Agents Using eBPF [10.37440633887049]
  既存のツールは、エージェントの高レベルな意図(LSMプロンプトを介して)または低レベルな行動(例えば、システムコール)を観察するが、これら2つのビューを関連付けることはできない。 AgentOpsはハイブリッドアプローチを使用して,このセマンティックギャップをブリッジする,AgentOpsオブザーバビリティフレームワークです。 AgentSightはTLS暗号化されたLLMトラフィックをインターセプトしてセマンティックインテントを抽出し、カーネルイベントを監視してシステム全体の効果を観察し、これら2つのストリームをプロセス境界を越えて因果的に関連付ける。
  論文  参考訳（メタデータ） (2025-08-02T01:43:39Z)
• AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
  本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。 我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。 攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
  論文  参考訳（メタデータ） (2025-05-09T07:40:17Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)
• Malicious Agent Detection for Robust Multi-Agent Collaborative Perception [52.261231738242266]
  多エージェント協調(MAC)知覚は、単エージェント認識よりも敵攻撃に対して脆弱である。 MAC知覚に特異的な反応防御であるMADE(Malicious Agent Detection)を提案する。 我々は、ベンチマーク3DデータセットV2X-simとリアルタイムデータセットDAIR-V2Xで包括的な評価を行う。
  論文  参考訳（メタデータ） (2023-10-18T11:36:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。