論文の概要: Securing Multi-Agent Systems by Design
- arxiv url: http://arxiv.org/abs/2611.17883v1
- Date: Fri, 13 Nov 2026 08:22:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.335898
- Title: Securing Multi-Agent Systems by Design
- Title(参考訳): 設計によるマルチエージェントシステムのセキュア化
- Abstract要約: 悪意のあるエージェントは、割り当てられたサブタスクに対して悪意のある応答を提供することで、最終的なソリューションを操作することができる。
まず、悪意のある応答を反復的に最適化し、攻撃効率を最大化する応答操作攻撃(ReMA)を提案する。
次に、SecMASを提案する。SecMASは、他の応答の十分大きなサブセットと最も一致した応答を選択するセキュアなアグリゲーションルールである。
- 参考スコア(独自算出の注目度): 4.8659651823074865
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-agent systems solve complex tasks by decomposing them into subtasks, delegating the subtasks to agents, and aggregating the agents' responses using an aggregation rule. Malicious agents can manipulate the final solution by providing malicious responses to their assigned subtasks. In this paper, we first propose response manipulation attacks (ReMA), which iteratively optimize malicious responses to maximize attack effectiveness. Specifically, we formulate untargeted and targeted attacks as optimization problems and develop an approach to approximately solve these problems by iteratively refining malicious responses based on feedback from a surrogate multi-agent system. To defend against such attacks, we further propose SecMAS, a secure aggregation rule that leverages the semantic similarities among agent responses to select the response that is most consistent with a sufficiently large subset of the other responses. We theoretically establish security guarantees for SecMAS against both untargeted and targeted attacks. Extensive evaluations demonstrate that existing aggregation rules are vulnerable to ReMA, whereas SecMAS effectively defends against all evaluated attacks, including adaptive variants of ReMA, while maintaining utility comparable to that of existing aggregation rules.
- Abstract(参考訳): マルチエージェントシステムは、それらをサブタスクに分解し、サブタスクをエージェントに委譲し、集約ルールを使用してエージェントの応答を集約することで、複雑なタスクを解決する。
悪意のあるエージェントは、割り当てられたサブタスクに対して悪意のある応答を提供することで、最終的なソリューションを操作することができる。
本稿では、まず、悪意のある応答を反復的に最適化し、攻撃効率を最大化する応答操作攻撃(ReMA)を提案する。
具体的には、ターゲット外攻撃を最適化問題として定式化し、サロゲート型マルチエージェントシステムからのフィードバックに基づいて、悪意のある応答を反復的に精製することで、これらの問題を概略的に解決するアプローチを開発する。
このような攻撃に対して防御するために,エージェント応答間のセマンティックな類似性を活用するセキュアアグリゲーションルールSecMASを提案する。
我々はSecMASのセキュリティ保証を理論的に確立し、未標的攻撃と標的攻撃の両方に対処する。
大規模な評価では、既存のアグリゲーションルールがReMAに対して脆弱であることを示し、SecMASは、既存のアグリゲーションルールに匹敵するユーティリティを維持しながら、ReMAの適応型を含むすべてのアタックを効果的に防御する。
関連論文リスト
- MAS-Guard: Unified Guardrails from Individual Agents to Multi-Agent LLM Systems [51.71210243527022]
我々は、計測可能なエージェントと不透明なエージェントの両方を含むシングルエージェントとマルチエージェントAIアプリケーションを保護するための統合フレームワークであるMAS-Guardを紹介する。
測定可能なエージェントの中で、提案されたローカルエージェントガードレール(A-Guard)レイヤは、エージェントイベントを評価するためにタスク固有の専門家を適用する。
システムレベルでは、開発者が所有するエージェント憲章とコントロールプレーンは、ルート、エージェント機能、メッセージフォーマットの決定論的構造チェックと、ロールとメッセージコンテンツのセマンティックアセスメントを組み合わせる。
論文 参考訳(メタデータ) (2026-10-20T15:44:37Z) - Stateful Cooperative Agents Safeguarding LLMs Against Evolving Multi-Turn Attacks [56.45762972211923]
マルチターン攻撃に対するLDMの安全性を確保するためのプロアクティブ・ディフェンス・フレームワークを提案する。
特殊なエージェントが補完的な防衛戦略を実行するような、協調的なマルチエージェントアーキテクチャを採用している。
マルチターン攻撃における進化戦略をシミュレートするEMRAデータセットを提案する。
論文 参考訳(メタデータ) (2026-07-31T14:04:49Z) - AgentSOC: A Multi-Layer Agentic AI Framework for Security Operations Automation [0.0]
本研究では,多層型エージェントAIフレームワークであるAgentSOCを紹介し,認識,予測推論,リスクに基づく行動計画を統合することにより,SOCの自動化を促進する。
提案アーキテクチャは,警告の正規化,コンテキストの強化,仮説の生成,構造的実現可能性の検証,ポリシに準拠した応答の実行をサポートするために,複数の抽象化レイヤを統合した。
論文 参考訳(メタデータ) (2026-04-22T03:01:03Z) - ICON: Indirect Prompt Injection Defense for Agents based on Inference-Time Correction [24.416258744287166]
ICONは、タスクの連続性を維持しながら攻撃を中和する、調査と軽減のためのフレームワークである。
ICONは競争力のある0.4%のASRを達成し、商業グレード検出器と一致し、50%以上のタスクユーティリティーゲインを得る。
論文 参考訳(メタデータ) (2026-02-24T09:13:05Z) - ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。
ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
論文 参考訳(メタデータ) (2026-01-15T08:23:38Z) - Effective Red-Teaming of Policy-Adherent Agents [10.522087614181745]
タスク指向のLLMベースのエージェントは、適格性やキャンセルルールの返金といった厳格なポリシーを持つドメインで、ますます使われています。
本稿では,個人的利益のためにポリシーに忠実なエージェントを活用することを目的とした,敵対的ユーザに焦点を当てた新たな脅威モデルを提案する。
CRAFTは、ポリシーを意識した説得戦略を利用して、顧客サービスシナリオにおいてポリシーに忠実なエージェントを弱体化させるマルチエージェントのレッドチームシステムである。
論文 参考訳(メタデータ) (2025-06-11T10:59:47Z) - AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。
我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。
攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
論文 参考訳(メタデータ) (2025-05-09T07:40:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。