論文の概要: Demonstrations of Integrity Attacks in Multi-Agent Systems

• arxiv url: http://arxiv.org/abs/2506.04572v1
• Date: Thu, 05 Jun 2025 02:44:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.498062
• Title: Demonstrations of Integrity Attacks in Multi-Agent Systems
• Title（参考訳）: マルチエージェントシステムにおける積分攻撃の実証
• Authors: Can Zheng, Yuhan Cao, Xiaoning Dong, Tianxing He,
• Abstract要約: マルチエージェントシステム(Multi-Agent Systems、MAS)は、システムの中核機能を破壊しずに自己利益を提供する悪意のあるエージェントに対して脆弱である可能性がある。 この研究は、悪意のあるエージェントが微妙なプロンプト操作を使用してバイアスMAS操作を行ない、様々な利益を得る、完全性攻撃を探索する。
• 参考スコア（独自算出の注目度）: 7.640342064257848
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable capabilities in natural language understanding, code generation, and complex planning. Simultaneously, Multi-Agent Systems (MAS) have garnered attention for their potential to enable cooperation among distributed agents. However, from a multi-party perspective, MAS could be vulnerable to malicious agents that exploit the system to serve self-interests without disrupting its core functionality. This work explores integrity attacks where malicious agents employ subtle prompt manipulation to bias MAS operations and gain various benefits. Four types of attacks are examined: \textit{Scapegoater}, who misleads the system monitor to underestimate other agents' contributions; \textit{Boaster}, who misleads the system monitor to overestimate their own performance; \textit{Self-Dealer}, who manipulates other agents to adopt certain tools; and \textit{Free-Rider}, who hands off its own task to others. We demonstrate that strategically crafted prompts can introduce systematic biases in MAS behavior and executable instructions, enabling malicious agents to effectively mislead evaluation systems and manipulate collaborative agents. Furthermore, our attacks can bypass advanced LLM-based monitors, such as GPT-4o-mini and o3-mini, highlighting the limitations of current detection mechanisms. Our findings underscore the critical need for MAS architectures with robust security protocols and content validation mechanisms, alongside monitoring systems capable of comprehensive risk scenario assessment.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語理解、コード生成、複雑な計画において顕著な能力を示している。 同時に、マルチエージェントシステム(MAS)は、分散エージェント間の協調を可能にする可能性に注意を向けている。 しかし、マルチパーティの観点から見れば、MASはシステムの中核機能を破壊することなく、自己利益を提供するためにシステムを利用する悪意のあるエージェントに対して脆弱である可能性がある。 この研究は、悪意のあるエージェントが微妙なプロンプト操作を使用してバイアスMAS操作を行ない、様々な利益を得る、完全性攻撃を探索する。 システムモニタを誤って他のエージェントの貢献を過小評価する \textit{Scapegoater} 、システムモニタを過小評価する \textit{Boaster} 、他のエージェントを操作して特定のツールを採用する \textit{Self-Dealer} 、他のツールにタスクを渡す \textit{Free-Rider} の4つのタイプが検討されている。 戦略的に構築されたプロンプトは、MASの動作と実行可能な命令の体系的バイアスを導入し、悪意のあるエージェントが評価システムを効果的に誤解し、協調エージェントを操作できるようにする。 さらに, GPT-4o-mini や o3-mini などの高度なLCM ベースのモニタを回避し, 電流検出機構の限界を強調した。 本研究は, リスクシナリオを包括的に評価できる監視システムとともに, 堅牢なセキュリティプロトコルとコンテンツ検証機構を備えたMASアーキテクチャの重要要件を明らかにした。

関連論文リスト

• SentinelAgent: Graph-based Anomaly Detection in Multi-Agent Systems [11.497269773189254]
  大規模言語モデル(LLM)に基づくマルチエージェントシステム(MAS)に適したシステムレベルの異常検出フレームワークを提案する。 本稿では,エージェント間相互作用を動的実行グラフとしてモデル化し,ノード,エッジ,パスレベルでの意味的異常検出を可能にするグラフベースのフレームワークを提案する。 第2に,セキュリティポリシとコンテキスト推論に基づくMAS実行の監視,解析,介入を行うLLMによる監視エージェントである,プラグイン可能なSentinelAgentを導入する。
  論文  参考訳（メタデータ） (2025-05-30T04:25:19Z)
• AGENTFUZZER: Generic Black-Box Fuzzing for Indirect Prompt Injection against LLM Agents [54.29555239363013]
  本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジィングフレームワークであるAgentXploitを提案する。 我々は、AgentXploitをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。 攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
  論文  参考訳（メタデータ） (2025-05-09T07:40:17Z)
• Guardians of the Agentic System: Preventing Many Shots Jailbreak with Agentic System [0.8136541584281987]
  本研究は,3つの検査手法を用いて,逆チューリングテストによりローグエージェントを検出し,マルチエージェントシミュレーションにより知覚的アライメントを解析する。 GEMINI 1.5 Pro と llama-3.3-70B, Deepseek r1 モデルを用いて, 抗ジェイルブレイクシステムを開発した。 GEMINI 1.5 Proの94%の精度など、検出能力は強いが、長時間の攻撃を受けた場合、システムは永続的な脆弱性に悩まされる。
  論文  参考訳（メタデータ） (2025-02-23T23:35:15Z)
• Compromising Embodied Agents with Contextual Backdoor Attacks [69.71630408822767]
  大型言語モデル(LLM)は、エンボディドインテリジェンスの発展に変化をもたらした。 本稿では,このプロセスにおけるバックドアセキュリティの重大な脅威を明らかにする。 ほんの少しの文脈的デモンストレーションを毒殺しただけで、攻撃者はブラックボックスLDMの文脈的環境を隠蔽することができる。
  論文  参考訳（メタデータ） (2024-08-06T01:20:12Z)
• On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
  大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。 不器用なエージェントや悪意のあるエージェントが与える影響 - システム全体のパフォーマンスにおいて、頻繁にタスクでエラーを犯すものは、いまだに過小評価されていない。 本稿では,下流タスクにおける障害要因下での各種システム構造のレジリエンスについて検討する。
  論文  参考訳（メタデータ） (2024-08-02T03:25:20Z)
• Breaking Agents: Compromising Autonomous LLM Agents Through Malfunction Amplification [35.16099878559559]
  大規模言語モデル(LLM)は大きな発展を遂げ、現実世界のアプリケーションにデプロイされている。 エージェントが繰り返しまたは無関係なアクションを実行することを誤解させることで誤動作を引き起こす新しいタイプの攻撃を導入する。 実験の結果、これらの攻撃は複数のシナリオで80%以上の障害率を誘導できることがわかった。
  論文  参考訳（メタデータ） (2024-07-30T14:35:31Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。