論文の概要: TAMAS: Benchmarking Adversarial Risks in Multi-Agent LLM Systems
- arxiv url: http://arxiv.org/abs/2511.05269v1
- Date: Fri, 07 Nov 2025 14:30:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-10 21:00:44.790696
- Title: TAMAS: Benchmarking Adversarial Risks in Multi-Agent LLM Systems
- Title（参考訳）: TAMAS:マルチエージェントLLMシステムにおける逆方向リスクのベンチマーク
- Authors: Ishan Kavathekar, Hemang Jain, Ameya Rathod, Ponnurangam Kumaraguru, Tanuja Ganu,
- Abstract要約: 大規模言語モデル(LLM)は、ツールの使用、計画、意思決定能力を通じて、自律的なエージェントとして強力な能力を示している。
タスクの複雑さが増大するにつれて、複数エージェントのLLMシステムが協調的に問題解決に利用されている。
既存のベンチマークでは、主にシングルエージェント設定に重点を置いており、マルチエージェントのダイナミックスとコーディネーションのユニークな脆弱性を捉えていない。
我々は$textbfT$hreatsと$textbfA$ttacks in $textbfM$ulti-$textbfA$gent $textを導入する。
- 参考スコア（独自算出の注目度）: 11.885326879716738
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Large Language Models (LLMs) have demonstrated strong capabilities as autonomous agents through tool use, planning, and decision-making abilities, leading to their widespread adoption across diverse tasks. As task complexity grows, multi-agent LLM systems are increasingly used to solve problems collaboratively. However, safety and security of these systems remains largely under-explored. Existing benchmarks and datasets predominantly focus on single-agent settings, failing to capture the unique vulnerabilities of multi-agent dynamics and co-ordination. To address this gap, we introduce $\textbf{T}$hreats and $\textbf{A}$ttacks in $\textbf{M}$ulti-$\textbf{A}$gent $\textbf{S}$ystems ($\textbf{TAMAS}$), a benchmark designed to evaluate the robustness and safety of multi-agent LLM systems. TAMAS includes five distinct scenarios comprising 300 adversarial instances across six attack types and 211 tools, along with 100 harmless tasks. We assess system performance across ten backbone LLMs and three agent interaction configurations from Autogen and CrewAI frameworks, highlighting critical challenges and failure modes in current multi-agent deployments. Furthermore, we introduce Effective Robustness Score (ERS) to assess the tradeoff between safety and task effectiveness of these frameworks. Our findings show that multi-agent systems are highly vulnerable to adversarial attacks, underscoring the urgent need for stronger defenses. TAMAS provides a foundation for systematically studying and improving the safety of multi-agent LLM systems.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、ツールの使用、計画、意思決定能力を通じて自律エージェントとして強力な能力を示し、様々なタスクで広く採用されている。
タスクの複雑さが増大するにつれて、複数エージェントのLLMシステムが協調的に問題解決に利用されている。
しかし、これらのシステムの安全性と安全性はほとんど未調査のままである。
既存のベンチマークとデータセットは、主にシングルエージェント設定に重点を置いており、マルチエージェントのダイナミクスとコーディネーションのユニークな脆弱性を捉えていない。
このギャップに対処するために、$\textbf{T}$hreatsと$\textbf{A}$ttacks in $\textbf{M}$ulti-$\textbf{A}$gent $\textbf{S}$ystems$\textbf{TAMAS}$というベンチマークを導入する。
TAMASには6つの攻撃タイプと211ツールにまたがる300の敵インスタンスと100の無害タスクからなる5つの異なるシナリオが含まれている。
我々は、AutogenとCrewAIフレームワークから10のバックボーンLLMと3つのエージェントインタラクション構成のシステムパフォーマンスを評価し、現在のマルチエージェントデプロイメントにおける重要な課題と障害モードを強調した。
さらに,これらのフレームワークの安全性とタスクの有効性のトレードオフを評価するために,実効ロバストネススコア(ERS)を導入する。
以上の結果から,マルチエージェントシステムは敵の攻撃に対して極めて脆弱であり,より強力な防御の必要性が強調された。
TAMASはマルチエージェントLLMシステムの安全性を体系的に研究し改善するための基盤を提供する。
関連論文リスト
- Multi-Agent Tool-Integrated Policy Optimization [67.12841355267678]
大規模言語モデル(LLM)は、知識集約的かつ複雑な推論タスクに対して、多ターンツール統合計画にますます依存している。
既存の実装は通常、単一のエージェントに依存するが、コンテキスト長とノイズの多いツールレスポンスに悩まされる。
ツール統合マルチエージェントフレームワークの効果的な強化学習をサポートする方法はない。
論文 参考訳（メタデータ） (2025-10-06T10:44:04Z) - Extending the OWASP Multi-Agentic System Threat Modeling Guide: Insights from Multi-Agent Security Research [0.8057006406834466]
この研究は、最近のマルチエージェントセキュリティ(MASEC)の予測研究を、大規模言語モデル(LLM)駆動のマルチエージェントアーキテクチャに特有の課題に対処するための実践的なガイダンスに翻訳する。
我々は,実践的なMAS展開に根ざした新たな脅威クラスとシナリオを導入し,良心的目標ドリフト,クロスエージェント伝搬,情緒的プロンプトフレーミング,マルチエージェントバックドアのリスクを強調した。
この研究は、ますます複雑で自律的で適応的なマルチエージェントシステムに適用性を広げることによって、堅牢性の枠組みを補完する。
論文 参考訳（メタデータ） (2025-08-13T13:47:55Z) - Attack the Messages, Not the Agents: A Multi-round Adaptive Stealthy Tampering Framework for LLM-MAS [12.649568006596956]
言語モデルに基づく大規模マルチエージェントシステム(LLM-MAS)は,エージェント間通信によって複雑な動的タスクを効果的に実現する。
LLM-MASを標的とする既存の攻撃方法は、エージェント内部を妥協するか、直接的および過度な説得に依存している。
システム内の通信脆弱性を利用したマルチラウンド適応型ステルスタイピングフレームワークであるMASTを提案する。
論文 参考訳（メタデータ） (2025-08-05T06:14:53Z) - ATAG: AI-Agent Application Threat Assessment with Attack Graphs [23.757154032523093]
本稿では,Attack Graphs (ATAG) を用いたAIエージェントアプリケーションThreatアセスメントを提案する。
ATAGは、AIエージェントアプリケーションに関連するセキュリティリスクを体系的に分析するために設計された、新しいフレームワークである。
マルチエージェントアプリケーションにおけるAIエージェント脅威の積極的な識別と緩和を容易にする。
論文 参考訳（メタデータ） (2025-06-03T13:25:40Z) - AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。
我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。
攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
論文 参考訳（メタデータ） (2025-05-09T07:40:17Z) - Why Do Multi-Agent LLM Systems Fail? [87.90075668488434]
MAST-Dataは7つの人気のあるMASフレームワークで収集された1600以上の注釈付きトレースの包括的なデータセットである。
我々はMAST(Multi-Agent System Failure Taxonomy)を初めて構築する。
MASTとMAST-Dataを利用して、モデル(GPT4、Claude 3、Qwen2.5、CodeLlama)とタスク(コーディング、数学、汎用エージェント)の障害パターンを分析します。
論文 参考訳（メタデータ） (2025-03-17T19:04:38Z) - Multi-agent Architecture Search via Agentic Supernet [17.235963703597093]
大規模言語モデル(LLM)を利用したマルチエージェントシステムは、個々のエージェントの認知的境界を拡張する。
エージェントの設計を自動化する方法が利用可能であるにもかかわらず、彼らは通常、静的で複雑で、1サイズに適したシステムを見つけ出そうとする。
スーパーネットからクエリ依存エージェントシステムをサンプリングする自動フレームワークであるMASを紹介する。
論文 参考訳（メタデータ） (2025-02-06T16:12:06Z) - On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。
不器用なエージェントや悪意のあるエージェントが与える影響 - システム全体のパフォーマンスにおいて、頻繁にタスクでエラーを犯すものは、いまだに過小評価されていない。
本稿では,下流タスクにおける障害要因下での各種システム構造のレジリエンスについて検討する。
論文 参考訳（メタデータ） (2024-08-02T03:25:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。