論文の概要: Multi-Agent Security Tax: Trading Off Security and Collaboration Capabilities in Multi-Agent Systems

• arxiv url: http://arxiv.org/abs/2502.19145v2
• Date: Wed, 04 Jun 2025 18:25:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-07 00:22:22.427135
• Title: Multi-Agent Security Tax: Trading Off Security and Collaboration Capabilities in Multi-Agent Systems
• Title（参考訳）: マルチエージェントセキュリティ税:マルチエージェントシステムにおけるセキュリティとコラボレーション能力の取引
• Authors: Pierre Peigne-Lefebvre, Mikolaj Kniejski, Filip Sondej, Matthieu David, Jason Hoelscher-Obermaier, Christian Schroeder de Witt, Esben Kran,
• Abstract要約: 我々は、セキュリティリスクとトレードオフを研究するために、共有目的に基づいて協力するAIエージェントのシミュレーションを開発する。 我々は、悪意のある指示の多重ホップ拡散という、感染した悪意のあるプロンプトを観察する。 この結果から,マルチエージェントシステムにおけるセキュリティと協調効率のトレードオフの可能性が示唆された。
• 参考スコア（独自算出の注目度）: 1.2564343689544843
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: As AI agents are increasingly adopted to collaborate on complex objectives, ensuring the security of autonomous multi-agent systems becomes crucial. We develop simulations of agents collaborating on shared objectives to study these security risks and security trade-offs. We focus on scenarios where an attacker compromises one agent, using it to steer the entire system toward misaligned outcomes by corrupting other agents. In this context, we observe infectious malicious prompts - the multi-hop spreading of malicious instructions. To mitigate this risk, we evaluated several strategies: two "vaccination" approaches that insert false memories of safely handling malicious input into the agents' memory stream, and two versions of a generic safety instruction strategy. While these defenses reduce the spread and fulfillment of malicious instructions in our experiments, they tend to decrease collaboration capability in the agent network. Our findings illustrate potential trade-off between security and collaborative efficiency in multi-agent systems, providing insights for designing more secure yet effective AI collaborations.
• Abstract（参考訳）: AIエージェントが複雑な目的に協力するためにますます採用されるにつれて、自律的なマルチエージェントシステムのセキュリティが重要になる。 我々は、これらのセキュリティリスクとセキュリティトレードオフを研究するために、共有目的に協力するエージェントのシミュレーションを開発する。 我々は、攻撃者が1つのエージェントを侵害するシナリオに注目し、他のエージェントを腐敗させることでシステム全体を不一致の結果へと誘導する。 この文脈では、悪意のある指示の多重ホップ拡散という、有害なプロンプトを観察する。 このリスクを軽減するために、エージェントのメモリストリームに悪意のある入力を安全に処理する偽の記憶を挿入する2つの「予防接種」アプローチと、一般的な安全指導戦略の2つのバージョンを評価した。 これらの防御は、我々の実験における悪意ある指示の拡散と充足を減少させるが、エージェントネットワークにおける協調能力は低下する傾向にある。 我々の発見は、マルチエージェントシステムにおけるセキュリティと協調効率のトレードオフの可能性を示し、よりセキュアで効果的なAIコラボレーションを設計するための洞察を提供する。

関連論文リスト

• Towards Unifying Quantitative Security Benchmarking for Multi Agent Systems [0.0]
  AIシステムの進化 自律エージェントが協力し、情報を共有し、プロトコルを開発することでタスクを委譲するマルチエージェントアーキテクチャをますます展開する。 そのようなリスクの1つはカスケードリスクである。あるエージェントの侵入はシステムを通してカスケードし、エージェント間の信頼を利用して他人を妥協させる。 ACI攻撃では、あるエージェントに悪意のあるインプットまたはツールエクスプロイトが注入され、そのアウトプットを信頼するエージェント間でカスケードの妥協とダウンストリーム効果が増幅される。
  論文  参考訳（メタデータ） (2025-07-23T13:51:28Z)
• SafeMobile: Chain-level Jailbreak Detection and Automated Evaluation for Multimodal Mobile Agents [58.21223208538351]
  本研究は,モバイルマルチモーダルエージェントを取り巻くセキュリティ問題について考察する。 行動シーケンス情報を組み込んだリスク識別機構の構築を試みる。 また、大規模言語モデルに基づく自動アセスメントスキームも設計している。
  論文  参考訳（メタデータ） (2025-07-01T15:10:00Z)
• From Prompt Injections to Protocol Exploits: Threats in LLM-Powered AI Agents Workflows [1.202155693533555]
  構造化関数呼び出しインタフェースを持つ大規模言語モデル(LLM)は、リアルタイムデータ検索と計算機能を大幅に拡張した。 しかし、プラグイン、コネクター、エージェント間プロトコルの爆発的な増殖は、発見メカニズムやセキュリティプラクティスよりも大きくなっている。 ホスト・ツー・ツールとエージェント・ツー・エージェント・エージェントの通信にまたがる,LDM-エージェントエコシステムに対する最初の統一エンドツーエンド脅威モデルを導入する。
  論文  参考訳（メタデータ） (2025-06-29T14:32:32Z)
• A Survey of LLM-Driven AI Agent Communication: Protocols, Security Risks, and Defense Countermeasures [59.43633341497526]
  大規模言語モデル駆動型AIエージェントは、前例のない知性と適応性を示している。 エージェントコミュニケーションは、未来のAIエコシステムの基礎的な柱と見なされている。 本稿では,エージェント通信セキュリティに関する包括的調査を行う。
  論文  参考訳（メタデータ） (2025-06-24T14:44:28Z)
• Kaleidoscopic Teaming in Multi Agent Simulations [75.47388708240042]
  我々は,エージェントが行う複雑な行動,思考プロセス,行動の安全性リスクを評価する上で,既存のレッドチームや安全評価フレームワークは不十分であると主張している。 我々は,新しいコンテキスト内最適化手法を導入し,安全解析のためのより良いシナリオを生成する。 エージェントの安全性を測定するためのフレームワークとともに使用できる適切なメトリクスを提案する。
  論文  参考訳（メタデータ） (2025-06-20T23:37:17Z)
• PeerGuard: Defending Multi-Agent Systems Against Backdoor Attacks Through Mutual Reasoning [8.191214701984162]
  マルチエージェントシステムは、複雑なタスクを完了させたり、協力したり、競合したりする自律エージェントとして、高度なAIモデルを活用する。 重要性は増しているが、マルチエージェントシステムの安全性はいまだに未調査である。 本研究では,マルチエージェントシステムにおけるバックドア脆弱性を調査し,エージェントインタラクションに基づく防御機構を提案する。
  論文  参考訳（メタデータ） (2025-05-16T19:08:29Z)
• Open Challenges in Multi-Agent Security: Towards Secure Systems of Interacting AI Agents [0.0]
  分散AIエージェントはすぐにインターネットプラットフォーム間で対話し、従来のサイバーセキュリティやAI安全フレームワークを超えたセキュリティ上の課題を生み出す。 textbfmulti-agent Securityは、分散化されたAIエージェントのネットワークを、そのインタラクションを通じて出現または増幅する脅威に対して保護する、新たな分野である。
  論文  参考訳（メタデータ） (2025-05-04T12:03:29Z)
• Securing Agentic AI: A Comprehensive Threat Model and Mitigation Framework for Generative AI Agents [0.0]
  本稿では,GenAIエージェントに特化した包括的脅威モデルを提案する。 研究は、9つの主要な脅威を特定し、5つの主要なドメインにまたがってそれらを整理する。
  論文  参考訳（メタデータ） (2025-04-28T16:29:24Z)
• Multi-Agent Risks from Advanced AI [90.74347101431474]
  先進的なAIのマルチエージェントシステムは、新規で未発見のリスクを生じさせる。 エージェントのインセンティブに基づく3つの重要な障害モードと7つの重要なリスク要因を同定する。 各リスクのいくつかの重要な事例と、それらを緩和するための有望な方向性を強調します。
  論文  参考訳（メタデータ） (2025-02-19T23:03:21Z)
• Evaluating the Robustness of Multimodal Agents Against Active Environmental Injection Attacks [7.480236701595425]
  本研究では,AIエージェントが環境中の「インポスタ」を検出する能力について検討した。 重大な脅威攻撃者は、悪意のある攻撃を環境要素として偽装し、エージェントの実行プロセスにアクティブな障害を注入することができる。 AEIA-MNは,MLLMをベースとしたエージェントのロバスト性を評価するために,モバイルオペレーティングシステムのインタラクション脆弱性を利用する攻撃手法である。
  論文  参考訳（メタデータ） (2025-02-18T17:01:28Z)
• CP-Guard+: A New Paradigm for Malicious Agent Detection and Defense in Collaborative Perception [53.088988929450494]
  協調知覚(CP)は、安全で自律的な運転のための有望な方法である。 本稿では,悪意のあるエージェントを機能レベルで効果的に識別する,悪意のあるエージェント検出のための新しいパラダイムを提案する。 また,CP-Guard+と呼ばれる堅牢な防御手法を開発し,良性の表現と悪質な特徴とのマージンを高める。
  論文  参考訳（メタデータ） (2025-02-07T12:58:45Z)
• HAICOSYSTEM: An Ecosystem for Sandboxing Safety Risks in Human-AI Interactions [76.42274173122328]
  本稿では,多様な複雑な社会的相互作用におけるAIエージェントの安全性を調べるフレームワークであるHAICOSYSTEMを提案する。 私たちは7つの領域(医療、金融、教育など)にわたる92のシナリオに基づいて1840のシミュレーションを実行します。 我々の実験は、最先端のLSMは、プロプライエタリかつオープンソースの両方で、50%以上のケースで安全リスクを示すことを示した。
  論文  参考訳（メタデータ） (2024-09-24T19:47:21Z)
• Safeguarding AI Agents: Developing and Analyzing Safety Architectures [0.0]
  本稿では,人間チームと連携するAIシステムにおける安全対策の必要性について論じる。 我々は,AIエージェントシステムにおける安全プロトコルを強化する3つのフレームワークを提案し,評価する。 これらのフレームワークはAIエージェントシステムの安全性とセキュリティを大幅に強化することができると結論付けている。
  論文  参考訳（メタデータ） (2024-09-03T10:14:51Z)
• PsySafe: A Comprehensive Framework for Psychological-based Attack, Defense, and Evaluation of Multi-agent System Safety [70.84902425123406]
  大規模言語モデル(LLM)で拡張されたマルチエージェントシステムは、集団知能において重要な能力を示す。 しかし、悪意のある目的のためにこのインテリジェンスを誤用する可能性があり、重大なリスクが生じる。 本研究では,エージェント心理学を基盤とした枠組み(PsySafe)を提案し,エージェントのダークパーソナリティ特性がリスク行動にどう影響するかを明らかにする。 実験の結果,エージェント間の集団的危険行動,エージェントが危険な行動を行う際の自己反射,エージェントの心理的評価と危険な行動との相関など,いくつかの興味深い現象が明らかになった。
  論文  参考訳（メタデータ） (2024-01-22T12:11:55Z)
• Malicious Agent Detection for Robust Multi-Agent Collaborative Perception [52.261231738242266]
  多エージェント協調(MAC)知覚は、単エージェント認識よりも敵攻撃に対して脆弱である。 MAC知覚に特異的な反応防御であるMADE(Malicious Agent Detection)を提案する。 我々は、ベンチマーク3DデータセットV2X-simとリアルタイムデータセットDAIR-V2Xで包括的な評価を行う。
  論文  参考訳（メタデータ） (2023-10-18T11:36:42Z)
• Risk-aware Safe Control for Decentralized Multi-agent Systems via Dynamic Responsibility Allocation [36.52509571098292]
  我々は,個別のエージェントが他者との衝突を避けるためにどの程度の責任を負うべきかに関するガイダンスを提供する,リスク対応の分散制御フレームワークを提案する。 本研究では,移動不確実性下での衝突により発生する危険物質を特徴付けるために,新しい制御バリア関数(CBF)によるリスク測定を提案する。 ロボットの柔軟性を低いリスクで活用し、より高いリスクを持つ人の動きの柔軟性を向上させることで、集団安全性を向上させることができる。
  論文  参考訳（メタデータ） (2023-05-22T20:21:49Z)
• Adversarial Attacks On Multi-Agent Communication [80.4392160849506]
  現代の自律システムはすぐに大規模に展開され、協調型マルチエージェントシステムの可能性を広げる。 このような利点は、セキュリティ侵害に対して脆弱であることが示されている通信チャネルに大きく依存している。 本稿では,エージェントが学習した中間表現を共有してコミュニケーションする新しいマルチエージェント環境において,このような攻撃を探索する。
  論文  参考訳（メタデータ） (2021-01-17T00:35:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。