論文の概要: Safeguard-by-Development: A Privacy-Enhanced Development Paradigm for Multi-Agent Collaboration Systems

• arxiv url: http://arxiv.org/abs/2505.04799v1
• Date: Wed, 07 May 2025 20:54:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 21:43:49.678263
• Title: Safeguard-by-Development: A Privacy-Enhanced Development Paradigm for Multi-Agent Collaboration Systems
• Title（参考訳）: Safeguard-by-Development: マルチエージェントコラボレーションシステムのためのプライバシ強化開発パラダイム
• Authors: Jian Cui, Zichuan Li, Luyi Xing, Xiaojing Liao,
• Abstract要約: 多エージェント協調システム(MACS)は,各エージェントの特殊化とエージェント間のコミュニケーションを活用することで,複雑な問題を効率的に解決する。 エージェント間の情報交換と外部環境との相互作用は、機密データ漏洩の重大なリスクをもたらす。 既存のMACSはプライバシコントロールを有効にすることができず、機密情報を安全に管理することは困難である。 私たちは、広く採用されているオープンソースマルチエージェント開発フレームワークであるAutoGenの不可欠な部分として、Marisを実装しています。
• 参考スコア（独自算出の注目度）: 15.15485816037418
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-agent collaboration systems (MACS), powered by large language models (LLMs), solve complex problems efficiently by leveraging each agent's specialization and communication between agents. However, the inherent exchange of information between agents and their interaction with external environments, such as LLM, tools, and users, inevitably introduces significant risks of sensitive data leakage, including vulnerabilities to attacks like prompt injection and reconnaissance. Existing MACS fail to enable privacy controls, making it challenging to manage sensitive information securely. In this paper, we take the first step to address the MACS's data leakage threat at the system development level through a privacy-enhanced development paradigm, Maris. Maris enables rigorous message flow control within MACS by embedding reference monitors into key multi-agent conversation components. We implemented Maris as an integral part of AutoGen, a widely adopted open-source multi-agent development framework. Then, we evaluate Maris for its effectiveness and performance overhead on privacy-critical MACS use cases, including healthcare, supply chain optimization, and personalized recommendation system. The result shows that Maris achieves satisfactory effectiveness, performance overhead and practicability for adoption.
• Abstract（参考訳）: 大規模言語モデル(LLM)を駆使した多エージェント協調システム(MACS)は,各エージェントの特殊化とエージェント間の通信を利用して,複雑な問題を効率的に解決する。 しかし、エージェント間の情報交換と、LDM、ツール、ユーザなどの外部環境との相互作用は、必然的に、迅速な注入や偵察のような攻撃に対する脆弱性を含む機密データ漏洩の重大なリスクをもたらす。 既存のMACSはプライバシコントロールを有効にすることができず、機密情報を安全に管理することは困難である。 本稿では、プライバシ強化開発パラダイムであるMarisを通じて、MACSのシステム開発レベルでのデータ漏洩の脅威に対処する第一歩を踏み出す。 Marisは、参照モニタを主要なマルチエージェント会話コンポーネントに埋め込むことで、MACS内の厳密なメッセージフロー制御を可能にする。 私たちは、広く採用されているオープンソースマルチエージェント開発フレームワークであるAutoGenの不可欠な部分としてMarisを実装しました。 そして、医療、サプライチェーン最適化、パーソナライズドレコメンデーションシステムなど、プライバシクリティカルなMACSのユースケースに対して、Marisの有効性と性能上のオーバーヘッドを評価した。 その結果、Marisは十分な有効性、パフォーマンスのオーバーヘッド、導入のための実践性を実現していることがわかった。

関連論文リスト

• Towards Unifying Quantitative Security Benchmarking for Multi Agent Systems [0.0]
  AIシステムの進化 自律エージェントが協力し、情報を共有し、プロトコルを開発することでタスクを委譲するマルチエージェントアーキテクチャをますます展開する。 そのようなリスクの1つはカスケードリスクである。あるエージェントの侵入はシステムを通してカスケードし、エージェント間の信頼を利用して他人を妥協させる。 ACI攻撃では、あるエージェントに悪意のあるインプットまたはツールエクスプロイトが注入され、そのアウトプットを信頼するエージェント間でカスケードの妥協とダウンストリーム効果が増幅される。
  論文  参考訳（メタデータ） (2025-07-23T13:51:28Z)
• SafeMobile: Chain-level Jailbreak Detection and Automated Evaluation for Multimodal Mobile Agents [58.21223208538351]
  本研究は,モバイルマルチモーダルエージェントを取り巻くセキュリティ問題について考察する。 行動シーケンス情報を組み込んだリスク識別機構の構築を試みる。 また、大規模言語モデルに基づく自動アセスメントスキームも設計している。
  論文  参考訳（メタデータ） (2025-07-01T15:10:00Z)
• From Prompt Injections to Protocol Exploits: Threats in LLM-Powered AI Agents Workflows [1.202155693533555]
  構造化関数呼び出しインタフェースを持つ大規模言語モデル(LLM)は、リアルタイムデータ検索と計算機能を大幅に拡張した。 しかし、プラグイン、コネクター、エージェント間プロトコルの爆発的な増殖は、発見メカニズムやセキュリティプラクティスよりも大きくなっている。 ホスト・ツー・ツールとエージェント・ツー・エージェント・エージェントの通信にまたがる,LDM-エージェントエコシステムに対する最初の統一エンドツーエンド脅威モデルを導入する。
  論文  参考訳（メタデータ） (2025-06-29T14:32:32Z)
• CoTGuard: Using Chain-of-Thought Triggering for Copyright Protection in Multi-Agent LLM Systems [55.57181090183713]
  我々は、Chain-of-Thought推論内でトリガーベースの検出を活用する著作権保護のための新しいフレームワークであるCoTGuardを紹介する。 具体的には、特定のCoTセグメントをアクティベートし、特定のトリガクエリをエージェントプロンプトに埋め込むことで、未許可コンテンツ再生の中間的推論ステップを監視する。 このアプローチは、協調エージェントシナリオにおける著作権侵害の微細かつ解釈可能な検出を可能にする。
  論文  参考訳（メタデータ） (2025-05-26T01:42:37Z)
• AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
  本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。 我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。 攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
  論文  参考訳（メタデータ） (2025-05-09T07:40:17Z)
• Privacy-Preserving Federated Embedding Learning for Localized Retrieval-Augmented Generation [60.81109086640437]
  我々はFedE4RAG(Federated Retrieval-Augmented Generation)と呼ばれる新しいフレームワークを提案する。 FedE4RAGはクライアント側RAG検索モデルの協調トレーニングを容易にする。 モデルパラメータの保護にフェデレート学習の準同型暗号化を適用する。
  論文  参考訳（メタデータ） (2025-04-27T04:26:02Z)
• Privacy-Enhancing Paradigms within Federated Multi-Agent Systems [47.76990892943637]
  LLMベースのマルチエージェントシステム(MAS)は、複数のエージェントを統合することで複雑な問題を解決するのに非常に効果的であることが証明されている。 本稿では、フェデレーションMASの概念を紹介し、フェデレーションMASと従来のFLの根本的な違いを明らかにする。 1)エージェント間の異種プライバシープロトコル,2)多人数会話の構造的差異,3)動的会話ネットワーク構造などである。 これらの課題に対処するため、我々はEPEAgent(Embedded Privacy-Enhancing Agents)を提案し、これはRetrieval-Augmented GenerationフェーズとRetrieval-Augmented Generationフェーズにシームレスに統合する革新的なソリューションである。
  論文  参考訳（メタデータ） (2025-03-11T08:38:45Z)
• MM-PoisonRAG: Disrupting Multimodal RAG with Local and Global Poisoning Attacks [109.53357276796655]
  Retrieval Augmented Generation (RAG) を備えたマルチモーダル大言語モデル(MLLM) RAGはクエリ関連外部知識の応答を基盤としてMLLMを強化する。 この依存は、知識中毒攻撃(英語版)という、危険だが未発見の安全リスクを生じさせる。 本稿では,2つの攻撃戦略を持つ新しい知識中毒攻撃フレームワークMM-PoisonRAGを提案する。
  論文  参考訳（メタデータ） (2025-02-25T04:23:59Z)
• Red-Teaming LLM Multi-Agent Systems via Communication Attacks [10.872328358364776]
  大規模言語モデルに基づくマルチエージェントシステム(LLM-MAS)は、メッセージベースのコミュニケーションを通じて高度なエージェント協調を可能にすることで、複雑な問題解決能力に革命をもたらした。 エージェント・イン・ザ・ミドル(AiTM, Agent-in-the-Middle)は、エージェント間メッセージのインターセプトと操作によってLLM-MASの基本的な通信機構を利用する新たな攻撃法である。
  論文  参考訳（メタデータ） (2025-02-20T18:55:39Z)
• The Communication-Friendly Privacy-Preserving Machine Learning against Malicious Adversaries [14.232901861974819]
  プライバシー保護機械学習(PPML)は、機密情報を保護しながらセキュアなデータ分析を可能にする革新的なアプローチである。 セキュアな線形関数評価のための効率的なプロトコルを導入する。 我々は、このプロトコルを拡張して、線形層と非線形層を扱い、幅広い機械学習モデルとの互換性を確保する。
  論文  参考訳（メタデータ） (2024-11-14T08:55:14Z)
• AgentPoison: Red-teaming LLM Agents via Poisoning Memory or Knowledge Bases [73.04652687616286]
  本稿では,RAG とRAG をベースとした LLM エージェントを標的とした最初のバックドア攻撃である AgentPoison を提案する。 従来のバックドア攻撃とは異なり、AgentPoisonは追加のモデルトレーニングや微調整を必要としない。 エージェントごとに、AgentPoisonは平均攻撃成功率を80%以上達成し、良質なパフォーマンスに最小限の影響を与える。
  論文  参考訳（メタデータ） (2024-07-17T17:59:47Z)
• Privacy Preserving Multi-Agent Reinforcement Learning in Supply Chains [5.436598805836688]
  本稿では,サプライチェーンの文脈におけるマルチエージェント強化学習(MARL)のプライバシー問題に対処する。 本稿では,MARL設定におけるセキュアなマルチパーティ計算フレームワークを利用したゲーム理論,プライバシ関連機構を提案する。 プライバシ保護方式で浮動小数点演算を行う学習機構を提案する。
  論文  参考訳（メタデータ） (2023-12-09T21:25:21Z)
• Malicious Agent Detection for Robust Multi-Agent Collaborative Perception [52.261231738242266]
  多エージェント協調(MAC)知覚は、単エージェント認識よりも敵攻撃に対して脆弱である。 MAC知覚に特異的な反応防御であるMADE(Malicious Agent Detection)を提案する。 我々は、ベンチマーク3DデータセットV2X-simとリアルタイムデータセットDAIR-V2Xで包括的な評価を行う。
  論文  参考訳（メタデータ） (2023-10-18T11:36:42Z)
• DPMAC: Differentially Private Communication for Cooperative Multi-Agent Reinforcement Learning [21.961558461211165]
  コミュニケーションは、人間社会とマルチエージェント強化学習(MARL)における協力の基礎となる。 本稿では,各エージェントに厳密な$(epsilon, delta)$-differential privacy guaranteeを付与したローカルメッセージ送信装置を装備することにより,個々のエージェントのセンシティブな情報を保護できる,テキスト・ディペンデンシャル・プライベート・マルチエージェント・コミュニケーション(DPMAC)アルゴリズムを提案する。 我々は、プライバシ保護通信と協調的なMARLにおけるナッシュ均衡の存在を証明し、この問題がゲーム理論的に学習可能であることを示唆する。
  論文  参考訳（メタデータ） (2023-08-19T04:26:23Z)
• PP-MARL: Efficient Privacy-Preserving Multi-Agent Reinforcement Learning for Cooperative Intelligence in Communications [15.955599283219298]
  多エージェント強化学習(MARL)は,コミュニケーション問題において協調的知能(CI)を実現するための一般的な手法である。 MARLのプライバシー保護を保証することは、情報の共有を通じて相互に学習する異種エージェントが存在するため、難しい課題である。 MARLの効率的なプライバシー保護学習手法であるPP-MARLを提案する。
  論文  参考訳（メタデータ） (2022-04-26T04:08:27Z)
• Mis-spoke or mis-lead: Achieving Robustness in Multi-Agent Communicative Reinforcement Learning [37.24674549469648]
  我々は、MACRLメソッドに対するメッセージアタックの実施に向けた第一歩を踏み出す。 我々はメッセージ再構成による防衛手法を開発した。 我々は、悪意あるエージェントが、防御的コミュニケーション政策の変化と改善に適応する能力を考える。
  論文  参考訳（メタデータ） (2021-08-09T04:41:47Z)
• Collaborative Visual Navigation [69.20264563368762]
  マルチエージェント視覚ナビゲーション(MAVN)のための大規模3次元データセットCollaVNを提案する。 様々なMAVN変種を探索し、この問題をより一般化する。 メモリ拡張通信フレームワークを提案する。各エージェントには、通信情報を永続的に保存するプライベートな外部メモリが備わっている。
  論文  参考訳（メタデータ） (2021-07-02T15:48:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。