論文の概要: From Prompt Injections to Protocol Exploits: Threats in LLM-Powered AI Agents Workflows
- arxiv url: http://arxiv.org/abs/2506.23260v1
- Date: Sun, 29 Jun 2025 14:32:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-01 21:27:53.793159
- Title: From Prompt Injections to Protocol Exploits: Threats in LLM-Powered AI Agents Workflows
- Title(参考訳): プロンプトインジェクションからプロトコルエクスプロイットへ:LLMベースのAIエージェントワークフローの脅威
- Authors: Mohamed Amine Ferrag, Norbert Tihanyi, Djallel Hamouda, Leandros Maglaras, Merouane Debbah,
- Abstract要約: 構造化関数呼び出しインタフェースを持つ大規模言語モデル(LLM)は、リアルタイムデータ検索と計算機能を大幅に拡張した。
しかし、プラグイン、コネクター、エージェント間プロトコルの爆発的な増殖は、発見メカニズムやセキュリティプラクティスよりも大きくなっている。
ホスト・ツー・ツールとエージェント・ツー・エージェント・エージェントの通信にまたがる,LDM-エージェントエコシステムに対する最初の統一エンドツーエンド脅威モデルを導入する。
- 参考スコア(独自算出の注目度): 1.202155693533555
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autonomous AI agents powered by large language models (LLMs) with structured function-calling interfaces have dramatically expanded capabilities for real-time data retrieval, complex computation, and multi-step orchestration. Yet, the explosive proliferation of plugins, connectors, and inter-agent protocols has outpaced discovery mechanisms and security practices, resulting in brittle integrations vulnerable to diverse threats. In this survey, we introduce the first unified, end-to-end threat model for LLM-agent ecosystems, spanning host-to-tool and agent-to-agent communications, formalize adversary capabilities and attacker objectives, and catalog over thirty attack techniques. Specifically, we organized the threat model into four domains: Input Manipulation (e.g., prompt injections, long-context hijacks, multimodal adversarial inputs), Model Compromise (e.g., prompt- and parameter-level backdoors, composite and encrypted multi-backdoors, poisoning strategies), System and Privacy Attacks (e.g., speculative side-channels, membership inference, retrieval poisoning, social-engineering simulations), and Protocol Vulnerabilities (e.g., exploits in Model Context Protocol (MCP), Agent Communication Protocol (ACP), Agent Network Protocol (ANP), and Agent-to-Agent (A2A) protocol). For each category, we review representative scenarios, assess real-world feasibility, and evaluate existing defenses. Building on our threat taxonomy, we identify key open challenges and future research directions, such as securing MCP deployments through dynamic trust management and cryptographic provenance tracking; designing and hardening Agentic Web Interfaces; and achieving resilience in multi-agent and federated environments. Our work provides a comprehensive reference to guide the design of robust defense mechanisms and establish best practices for resilient LLM-agent workflows.
- Abstract(参考訳): 構造化関数呼び出しインタフェースを備えた大規模言語モデル(LLM)を利用した自律型AIエージェントは、リアルタイムデータ検索、複雑な計算、マルチステップオーケストレーションの機能を大幅に拡張した。
しかし、プラグイン、コネクター、およびエージェント間プロトコルの爆発的な増殖は、発見メカニズムやセキュリティプラクティスよりも大きくなり、多様な脅威に対して脆弱な統合がもたらされた。
本調査では,LLM-Adntエコシステムにおいて,ホスト・ツー・ツールとエージェント・ツー・エージェント間の通信を対象とし,敵の能力と攻撃目標を定式化し,30以上の攻撃手法のカタログ化を行う。
具体的には、脅威モデルを4つのドメインに分類した: 入力操作(例えば、プロンプトインジェクション、長文ハイジャック、マルチモーダル逆入力)、モデル補完(例えば、プロンプトおよびパラメータレベルのバックドア、複合および暗号化されたマルチバックドア、中毒戦略)、システムとプライバシ攻撃(例えば、投機的サイドチャネル、メンバーシップ推論、検索中毒、社会工学シミュレーション)、プロトコル脆弱性(例えば、モデルコンテキストプロトコル(MCP)、エージェント通信プロトコル(ACP)、エージェントネットワークプロトコル(ANP)、エージェントエージェント(A2A)プロトコル。
各カテゴリについて、代表シナリオをレビューし、実世界の実現可能性を評価し、既存の防衛状況を評価する。
脅威分類に基づいて、動的信頼管理や暗号証明追跡によるMPPデプロイメントの確保、エージェントWebインターフェースの設計と強化、マルチエージェントおよびフェデレーション環境におけるレジリエンスの実現など、主要なオープン課題と今後の研究方向性を特定します。
我々の研究は、堅牢な防御機構の設計をガイドし、回復力のあるLLMエージェントワークフローのベストプラクティスを確立するための包括的なリファレンスを提供する。
関連論文リスト
- A Survey of LLM-Driven AI Agent Communication: Protocols, Security Risks, and Defense Countermeasures [60.49227979486631]
大規模言語モデル駆動型AIエージェントは、前例のない知性、柔軟性、適応性を示している。
エージェントコミュニケーションは、未来のAIエコシステムの基礎的な柱と見なされている。
本稿では,エージェント通信セキュリティに関する包括的調査を行う。
論文 参考訳(メタデータ) (2025-06-24T14:44:28Z) - TRiSM for Agentic AI: A Review of Trust, Risk, and Security Management in LLM-based Agentic Multi-Agent Systems [2.462408812529728]
本総説では, LLMに基づくエージェントマルチエージェントシステム (AMAS) の文脈における, textbfTrust, Risk, and Security Management (TRiSM) の構造解析について述べる。
まず、エージェントAIの概念的基礎を調べ、従来のAIエージェントとアーキテクチャ的区別を強調します。
次に、ガバナンス、説明可能性、モデルOps、プライバシ/セキュリティの4つの主要な柱を中心に構成された、エージェントAIのためのAI TRiSMフレームワークを適応して拡張します。
論文 参考訳(メタデータ) (2025-06-04T16:26:11Z) - ATAG: AI-Agent Application Threat Assessment with Attack Graphs [23.757154032523093]
本稿では,Attack Graphs (ATAG) を用いたAIエージェントアプリケーションThreatアセスメントを提案する。
ATAGは、AIエージェントアプリケーションに関連するセキュリティリスクを体系的に分析するために設計された、新しいフレームワークである。
マルチエージェントアプリケーションにおけるAIエージェント脅威の積極的な識別と緩和を容易にする。
論文 参考訳(メタデータ) (2025-06-03T13:25:40Z) - A Novel Zero-Trust Identity Framework for Agentic AI: Decentralized Authentication and Fine-Grained Access Control [7.228060525494563]
本稿では,Agentic AI IAMフレームワークの提案について述べる。
リッチで検証可能なエージェント識別子(ID)に基づく包括的フレームワークを提案する。
また、Zero-Knowledge Proofs(ZKPs)によって、プライバシ保護属性の開示と検証可能なポリシーコンプライアンスを実現する方法について検討する。
論文 参考訳(メタデータ) (2025-05-25T20:21:55Z) - AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。
我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。
攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
論文 参考訳(メタデータ) (2025-05-09T07:40:17Z) - A Survey of AI Agent Protocols [35.431057321412354]
大きな言語モデル(LLM)エージェントが外部ツールやデータソースと通信する標準的な方法はありません。
この標準化されたプロトコルの欠如は、エージェントが協力したり、効果的にスケールするのを難しくする。
LLMエージェントの統一通信プロトコルは、これを変更できる。
論文 参考訳(メタデータ) (2025-04-23T14:07:26Z) - Internet of Agents: Weaving a Web of Heterogeneous Agents for Collaborative Intelligence [79.5316642687565]
既存のマルチエージェントフレームワークは、多種多様なサードパーティエージェントの統合に苦慮することが多い。
我々はこれらの制限に対処する新しいフレームワークであるInternet of Agents (IoA)を提案する。
IoAはエージェント統合プロトコル、インスタントメッセージのようなアーキテクチャ設計、エージェントのチーム化と会話フロー制御のための動的メカニズムを導入している。
論文 参考訳(メタデータ) (2024-07-09T17:33:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。