論文の概要: MASTER: Multi-Agent Security Through Exploration of Roles and Topological Structures -- A Comprehensive Framework
- arxiv url: http://arxiv.org/abs/2505.18572v1
- Date: Sat, 24 May 2025 07:24:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-27 16:58:42.514063
- Title: MASTER: Multi-Agent Security Through Exploration of Roles and Topological Structures -- A Comprehensive Framework
- Title(参考訳): MASTER: 役割とトポロジ的構造を探究するマルチエージェントセキュリティ - 包括的フレームワーク
- Authors: Yifan Zhu, Chao Zhang, Xin Shi, Xueqiao Zhang, Yi Yang, Yawei Luo,
- Abstract要約: 大規模言語モデル (LLMs) に基づくマルチエージェントシステム (MAS) は、目覚ましい問題解決とタスク計画能力を示す。
我々は,MASの新しいセキュリティ研究フレームワークであるMASTERを紹介し,多様な役割構成とトポロジ的構造に着目した。
我々は,様々なシナリオにおけるMASレジリエンスを大幅に向上させる,対応する防衛戦略を提案する。
- 参考スコア(独自算出の注目度): 35.50223358356218
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs)-based Multi-Agent Systems (MAS) exhibit remarkable problem-solving and task planning capabilities across diverse domains due to their specialized agentic roles and collaborative interactions. However, this also amplifies the severity of security risks under MAS attacks. To address this, we introduce MASTER, a novel security research framework for MAS, focusing on diverse Role configurations and Topological structures across various scenarios. MASTER offers an automated construction process for different MAS setups and an information-flow-based interaction paradigm. To tackle MAS security challenges in varied scenarios, we design a scenario-adaptive, extensible attack strategy utilizing role and topological information, which dynamically allocates targeted, domain-specific attack tasks for collaborative agent execution. Our experiments demonstrate that such an attack, leveraging role and topological information, exhibits significant destructive potential across most models. Additionally, we propose corresponding defense strategies, substantially enhancing MAS resilience across diverse scenarios. We anticipate that our framework and findings will provide valuable insights for future research into MAS security challenges.
- Abstract(参考訳): 大規模言語モデル (LLMs) に基づくマルチエージェントシステム (MAS) は、特殊エージェントの役割と協調的な相互作用により、様々な領域にまたがる優れた問題解決とタスク計画能力を示す。
しかし、これはまた、MAS攻撃によるセキュリティリスクの深刻さを増幅する。
そこで我々は,MASの新しいセキュリティ研究フレームワークであるMASTERを紹介し,多様な役割構成とトポロジ的構造に着目した。
MASTERは様々なMASセットアップのための自動構築プロセスと情報フローベースのインタラクションパラダイムを提供する。
様々なシナリオにおけるMASセキュリティの課題に対処するため、我々は、ターゲットとなるドメイン固有の攻撃タスクを動的に割り当てる、役割とトポロジ情報を活用するシナリオ適応型、拡張可能な攻撃戦略を設計する。
我々の実験は、このような攻撃が、役割とトポロジカルな情報を活用し、ほとんどのモデルにおいて大きな破壊的可能性を示すことを示した。
さらに,様々なシナリオにおけるMASレジリエンスを大幅に向上させる,対応する防衛戦略を提案する。
我々は,MASのセキュリティ課題に関する今後の研究に,我々の枠組みと知見が貴重な洞察をもたらすことを期待する。
関連論文リスト
- An Outlook on the Opportunities and Challenges of Multi-Agent AI Systems [40.53603737069306]
マルチエージェントAIシステム(MAS)は、分散インテリジェンスのための有望なフレームワークを提供する。
本稿は、大規模言語モデル(LLM)の最近の進歩、連合最適化、人間とAIの相互作用から洞察を得て、MASの現在の可能性と課題を体系的に概観する。
論文 参考訳(メタデータ) (2025-05-23T22:05:19Z) - Multi-Agent Risks from Advanced AI [90.74347101431474]
先進的なAIのマルチエージェントシステムは、新規で未発見のリスクを生じさせる。
エージェントのインセンティブに基づく3つの重要な障害モードと7つの重要なリスク要因を同定する。
各リスクのいくつかの重要な事例と、それらを緩和するための有望な方向性を強調します。
論文 参考訳(メタデータ) (2025-02-19T23:03:21Z) - SoK: Unifying Cybersecurity and Cybersafety of Multimodal Foundation Models with an Information Theory Approach [58.93030774141753]
MFM(Multimodal foundation model)は、人工知能の大幅な進歩を表す。
本稿では,マルチモーダル学習におけるサイバーセーフティとサイバーセキュリティを概念化する。
我々は、これらの概念をMFMに統一し、重要な脅威を特定するための総合的知識体系化(SoK)を提案する。
論文 参考訳(メタデータ) (2024-11-17T23:06:20Z) - Hierarchical Multi-agent Reinforcement Learning for Cyber Network Defense [7.967738380932909]
本稿では,サイバー防御タスクをネットワーク調査やホストリカバリといった特定のサブタスクに分解する階層的PPOアーキテクチャを提案する。
我々のアプローチは、ドメインの専門知識が強化されたPPOを使用して、各サブタスクのサブ政治を訓練することである。
これらのサブ政治は、複雑なネットワーク防御タスクを解決するためにそれらの選択を調整するマスターディフェンスポリシーによって活用される。
論文 参考訳(メタデータ) (2024-10-22T18:35:05Z) - An Interactive Agent Foundation Model [49.77861810045509]
本稿では,AIエージェントを訓練するための新しいマルチタスクエージェントトレーニングパラダイムを用いた対話型エージェント基礎モデルを提案する。
トレーニングパラダイムは、視覚マスク付きオートエンコーダ、言語モデリング、次世代の予測など、多様な事前学習戦略を統一する。
私たちは、ロボティクス、ゲームAI、ヘルスケアという3つの異なる領域でフレームワークのパフォーマンスを実演します。
論文 参考訳(メタデータ) (2024-02-08T18:58:02Z) - Survey of Vulnerabilities in Large Language Models Revealed by
Adversarial Attacks [5.860289498416911]
大規模言語モデル(LLM)はアーキテクチャと能力において急速に進歩しています。
複雑なシステムに深く統合されるにつれて、セキュリティ特性を精査する緊急性が高まっている。
本稿では,LSMに対する対人攻撃の新たな学際的分野について調査する。
論文 参考訳(メタデータ) (2023-10-16T21:37:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。