論文の概要: Who's the Mole? Modeling and Detecting Intention-Hiding Malicious Agents in LLM-Based Multi-Agent Systems

• arxiv url: http://arxiv.org/abs/2507.04724v2
• Date: Mon, 06 Oct 2025 04:38:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:58.440104
• Title: Who's the Mole? Modeling and Detecting Intention-Hiding Malicious Agents in LLM-Based Multi-Agent Systems
• Title（参考訳）: LLMをベースとした多エージェントシステムにおける意図にかかわる悪性エージェントのモデリングと検出
• Authors: Yizhe Xie, Congcong Zhu, Xinyue Zhang, Tianqing Zhu, Dayong Ye, Minghao Wang, Chi Liu,
• Abstract要約: 大規模言語モデル(LLM-MAS)を用いたマルチエージェントシステムにおける意図隠蔽脅威について検討する。 高いステルス性を維持しながらタスク完了を微妙に妨害する4つの代表的な攻撃パラダイムを設計する。 これらの脅威に対処するために,心理学に着想を得た検出フレームワークであるAgentXposedを提案する。
• 参考スコア（独自算出の注目度）: 25.6233463223145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-agent systems powered by Large Language Models (LLM-MAS) have demonstrated remarkable capabilities in collaborative problem-solving. However, their deployment also introduces new security risks. Existing research on LLM-based agents has primarily examined single-agent scenarios, while the security of multi-agent systems remains largely unexplored. To address this gap, we present a systematic study of intention-hiding threats in LLM-MAS. We design four representative attack paradigms that subtly disrupt task completion while maintaining a high degree of stealth, and evaluate them under centralized, decentralized, and layered communication structures. Experimental results show that these attacks are highly disruptive and can easily evade existing defense mechanisms. To counter these threats, we propose AgentXposed, a psychology-inspired detection framework. AgentXposed draws on the HEXACO personality model, which characterizes agents through psychological trait dimensions, and the Reid interrogation technique, a structured method for eliciting concealed intentions. By combining progressive questionnaire probing with behavior-based inter-agent monitoring, the framework enables the proactive identification of malicious agents before harmful actions are carried out. Extensive experiments across six datasets against both our proposed attacks and two baseline threats demonstrate that AgentXposed effectively detects diverse forms of malicious behavior, achieving strong robustness across multiple communication settings.
• Abstract（参考訳）: LLM-MAS(Large Language Models)を用いたマルチエージェントシステムは,協調的問題解決において顕著な能力を示した。 しかし、そのデプロイには新たなセキュリティリスクも伴う。 LLMをベースとしたエージェントに関する既存の研究は、主に単一エージェントのシナリオを検討したが、マルチエージェントシステムのセキュリティは、まだほとんど探索されていない。 このギャップに対処するため,LLM-MASにおける意図を隠蔽する脅威の系統的研究を行った。 我々は、高いステルスを維持しながらタスク完了を微妙に破壊する4つの代表的な攻撃パラダイムを設計し、それらを集中的、分散的、階層化された通信構造下で評価する。 実験の結果,これらの攻撃は非常に破壊的であり,既存の防御機構を回避できることが示唆された。 これらの脅威に対処するために,心理学に着想を得た検出フレームワークであるAgentXposedを提案する。 AgentXposedは、心理的特徴次元を通じてエージェントを特徴づけるHEXACOパーソナリティモデルと、隠された意図を抽出する構造化された方法であるReidの尋問技術に基づいている。 プログレッシブアンケートと行動に基づくエージェント間モニタリングを組み合わせることで、有害な行為を行う前に悪意のあるエージェントを積極的に識別することができる。 提案した攻撃と2つのベースラインの脅威に対する6つのデータセットにわたる大規模な実験により、AgentXposedは、複数の通信設定で強い堅牢性を達成し、多様な悪意のある振る舞いを効果的に検出することを示した。

関連論文リスト

• Evo-MARL: Co-Evolutionary Multi-Agent Reinforcement Learning for Internalized Safety [52.12899798062852]
  マルチモーダルな大規模言語モデル上に構築されたマルチエージェントシステム(MAS)は、強力な協調と性能を示す。 Evo-MARLは、新しいマルチエージェント強化学習フレームワークで、全てのタスクエージェントが防御能力を共同で取得できる。 Evo-MARLは攻撃成功率を最大22%削減し、推論タスクの精度を最大5%向上させる。
  論文  参考訳（メタデータ） (2025-08-05T19:26:55Z)
• Bridging AI and Software Security: A Comparative Vulnerability Assessment of LLM Agent Deployment Paradigms [1.03121181235382]
  大規模言語モデル(LLM)エージェントは、AI固有の旧来のソフトウェアドメインにまたがるセキュリティ上の脆弱性に直面している。 本研究では,Function Calling アーキテクチャと Model Context Protocol (MCP) デプロイメントパラダイムの比較評価を通じて,このギャップを埋める。 私たちは7つの言語モデルにわたる3,250の攻撃シナリオをテストし、AI固有の脅威とソフトウェア脆弱性の両方を対象として、シンプルで、構成され、連鎖した攻撃を評価しました。
  論文  参考訳（メタデータ） (2025-07-08T18:24:28Z)
• SafeMobile: Chain-level Jailbreak Detection and Automated Evaluation for Multimodal Mobile Agents [58.21223208538351]
  本研究は,モバイルマルチモーダルエージェントを取り巻くセキュリティ問題について考察する。 行動シーケンス情報を組み込んだリスク識別機構の構築を試みる。 また、大規模言語モデルに基づく自動アセスメントスキームも設計している。
  論文  参考訳（メタデータ） (2025-07-01T15:10:00Z)
• SentinelAgent: Graph-based Anomaly Detection in Multi-Agent Systems [11.497269773189254]
  大規模言語モデル(LLM)に基づくマルチエージェントシステム(MAS)に適したシステムレベルの異常検出フレームワークを提案する。 本稿では,エージェント間相互作用を動的実行グラフとしてモデル化し,ノード,エッジ,パスレベルでの意味的異常検出を可能にするグラフベースのフレームワークを提案する。 第2に,セキュリティポリシとコンテキスト推論に基づくMAS実行の監視,解析,介入を行うLLMによる監視エージェントである,プラグイン可能なSentinelAgentを導入する。
  論文  参考訳（メタデータ） (2025-05-30T04:25:19Z)
• MultiPhishGuard: An LLM-based Multi-Agent System for Phishing Email Detection [3.187381965457262]
  MultiPhishGuardは動的マルチエージェント検出システムである。 本フレームワークでは, 政策最適化強化学習アルゴリズムを用いて, 自動決定重み付けを行う5つの協調エージェントを用いる。 実験により、MultiPhishGuardは偽陽性(2.73%)と偽陰性率(0.20%)で高い精度(97.89%)を達成することが示された。
  論文  参考訳（メタデータ） (2025-05-26T23:27:15Z)
• AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
  本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。 我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。 攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
  論文  参考訳（メタデータ） (2025-05-09T07:40:17Z)
• Poisoned-MRAG: Knowledge Poisoning Attacks to Multimodal Retrieval Augmented Generation [71.32665836294103]
  マルチモーダル検索強化世代(RAG)は視覚言語モデル(VLM)の視覚的推論能力を向上させる 本研究では,マルチモーダルRAGシステムに対する最初の知識中毒攻撃であるtextitPoisoned-MRAGを紹介する。
  論文  参考訳（メタデータ） (2025-03-08T15:46:38Z)
• MELON: Provable Defense Against Indirect Prompt Injection Attacks in AI Agents [60.30753230776882]
  LLMエージェントは間接的プロンプトインジェクション(IPI)攻撃に対して脆弱であり、ツール検索情報に埋め込まれた悪意のあるタスクはエージェントをリダイレクトして不正なアクションを取ることができる。 マスク機能によって修正されたマスク付きユーザでエージェントの軌道を再実行することで攻撃を検知する新しいIPIディフェンスであるMELONを提案する。
  論文  参考訳（メタデータ） (2025-02-07T18:57:49Z)
• Flooding Spread of Manipulated Knowledge in LLM-Based Multi-Agent Communities [28.244283407749265]
  マルチエージェントシステムにおける大規模言語モデル(LLM)のセキュリティへの影響について検討する。 本稿では,説得力注入と操作的知識注入を含む2段階攻撃手法を提案する。 本手法は, LLMをベースとしたエージェントを誘導し, 有害な知識の拡散に有効であることを示す。
  論文  参考訳（メタデータ） (2024-07-10T16:08:46Z)
• PsySafe: A Comprehensive Framework for Psychological-based Attack, Defense, and Evaluation of Multi-agent System Safety [70.84902425123406]
  大規模言語モデル(LLM)で拡張されたマルチエージェントシステムは、集団知能において重要な能力を示す。 しかし、悪意のある目的のためにこのインテリジェンスを誤用する可能性があり、重大なリスクが生じる。 本研究では,エージェント心理学を基盤とした枠組み(PsySafe)を提案し,エージェントのダークパーソナリティ特性がリスク行動にどう影響するかを明らかにする。 実験の結果,エージェント間の集団的危険行動,エージェントが危険な行動を行う際の自己反射,エージェントの心理的評価と危険な行動との相関など,いくつかの興味深い現象が明らかになった。
  論文  参考訳（メタデータ） (2024-01-22T12:11:55Z)
• Forcing Generative Models to Degenerate Ones: The Power of Data Poisoning Attacks [10.732558183444985]
  悪意のあるアクターは、望ましくない出力を生成することを目的とした中毒攻撃を通じて、大きな言語モデル(LLM)の脆弱性を隠蔽的に利用することができる。 本報告では, 様々な生成タスクにおいて, その有効性を評価するために, 様々な中毒技術について検討する。 本研究は, 微調整段階において, 全チューニングデータサンプルの1%程度を用いてLSMに毒を盛ることが可能であることを示す。
  論文  参考訳（メタデータ） (2023-12-07T23:26:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。