論文の概要: From Prompt Injections to Protocol Exploits: Threats in LLM-Powered AI Agents Workflows
- arxiv url: http://arxiv.org/abs/2506.23260v1
- Date: Sun, 29 Jun 2025 14:32:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-01 21:27:53.793159
- Title: From Prompt Injections to Protocol Exploits: Threats in LLM-Powered AI Agents Workflows
- Title（参考訳）: プロンプトインジェクションからプロトコルエクスプロイットへ:LLMベースのAIエージェントワークフローの脅威
- Authors: Mohamed Amine Ferrag, Norbert Tihanyi, Djallel Hamouda, Leandros Maglaras, Merouane Debbah,
- Abstract要約: 構造化関数呼び出しインタフェースを持つ大規模言語モデル(LLM)は、リアルタイムデータ検索と計算機能を大幅に拡張した。
しかし、プラグイン、コネクター、エージェント間プロトコルの爆発的な増殖は、発見メカニズムやセキュリティプラクティスよりも大きくなっている。
ホスト・ツー・ツールとエージェント・ツー・エージェント・エージェントの通信にまたがる,LDM-エージェントエコシステムに対する最初の統一エンドツーエンド脅威モデルを導入する。
- 参考スコア（独自算出の注目度）: 1.202155693533555
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autonomous AI agents powered by large language models (LLMs) with structured function-calling interfaces have dramatically expanded capabilities for real-time data retrieval, complex computation, and multi-step orchestration. Yet, the explosive proliferation of plugins, connectors, and inter-agent protocols has outpaced discovery mechanisms and security practices, resulting in brittle integrations vulnerable to diverse threats. In this survey, we introduce the first unified, end-to-end threat model for LLM-agent ecosystems, spanning host-to-tool and agent-to-agent communications, formalize adversary capabilities and attacker objectives, and catalog over thirty attack techniques. Specifically, we organized the threat model into four domains: Input Manipulation (e.g., prompt injections, long-context hijacks, multimodal adversarial inputs), Model Compromise (e.g., prompt- and parameter-level backdoors, composite and encrypted multi-backdoors, poisoning strategies), System and Privacy Attacks (e.g., speculative side-channels, membership inference, retrieval poisoning, social-engineering simulations), and Protocol Vulnerabilities (e.g., exploits in Model Context Protocol (MCP), Agent Communication Protocol (ACP), Agent Network Protocol (ANP), and Agent-to-Agent (A2A) protocol). For each category, we review representative scenarios, assess real-world feasibility, and evaluate existing defenses. Building on our threat taxonomy, we identify key open challenges and future research directions, such as securing MCP deployments through dynamic trust management and cryptographic provenance tracking; designing and hardening Agentic Web Interfaces; and achieving resilience in multi-agent and federated environments. Our work provides a comprehensive reference to guide the design of robust defense mechanisms and establish best practices for resilient LLM-agent workflows.
- Abstract（参考訳）: 構造化関数呼び出しインタフェースを備えた大規模言語モデル(LLM)を利用した自律型AIエージェントは、リアルタイムデータ検索、複雑な計算、マルチステップオーケストレーションの機能を大幅に拡張した。
しかし、プラグイン、コネクター、およびエージェント間プロトコルの爆発的な増殖は、発見メカニズムやセキュリティプラクティスよりも大きくなり、多様な脅威に対して脆弱な統合がもたらされた。
本調査では,LLM-Adntエコシステムにおいて,ホスト・ツー・ツールとエージェント・ツー・エージェント間の通信を対象とし,敵の能力と攻撃目標を定式化し,30以上の攻撃手法のカタログ化を行う。
具体的には、脅威モデルを4つのドメインに分類した: 入力操作(例えば、プロンプトインジェクション、長文ハイジャック、マルチモーダル逆入力)、モデル補完(例えば、プロンプトおよびパラメータレベルのバックドア、複合および暗号化されたマルチバックドア、中毒戦略)、システムとプライバシ攻撃(例えば、投機的サイドチャネル、メンバーシップ推論、検索中毒、社会工学シミュレーション)、プロトコル脆弱性(例えば、モデルコンテキストプロトコル(MCP)、エージェント通信プロトコル(ACP)、エージェントネットワークプロトコル(ANP)、エージェントエージェント(A2A)プロトコル。
各カテゴリについて、代表シナリオをレビューし、実世界の実現可能性を評価し、既存の防衛状況を評価する。
脅威分類に基づいて、動的信頼管理や暗号証明追跡によるMPPデプロイメントの確保、エージェントWebインターフェースの設計と強化、マルチエージェントおよびフェデレーション環境におけるレジリエンスの実現など、主要なオープン課題と今後の研究方向性を特定します。
我々の研究は、堅牢な防御機構の設計をガイドし、回復力のあるLLMエージェントワークフローのベストプラクティスを確立するための包括的なリファレンスを提供する。
関連論文リスト
- From Secure Agentic AI to Secure Agentic Web: Challenges, Threats, and Future Directions [20.73038673205127]
Secure Agentic AIからSecure Agentic Webへの移行指向のビューを提供する。
まず、素早い乱用、環境注入、メモリ攻撃、ツールチェーン乱用、モデル改ざん、エージェントネットワーク攻撃を含むコンポーネント対応の脅威分類を要約する。
次に、迅速なハードニング、安全に配慮したデコーディング、ツールとAPIの特権制御、ランタイム監視、継続的リチーム化、プロトコルレベルのセキュリティメカニズムなど、防衛戦略をレビューします。
論文 参考訳（メタデータ） (2026-03-02T07:44:18Z) - OMNI-LEAK: Orchestrator Multi-Agent Network Induced Data Leakage [59.3826294523924]
オーケストレータ設定として知られる,一般的なマルチエージェントパターンのセキュリティ脆弱性について検討する。
本報告では,フロンティアモデルの攻撃カテゴリに対する感受性を報告し,推論モデルと非推論モデルの両方が脆弱であることが確認された。
論文 参考訳（メタデータ） (2026-02-13T21:32:32Z) - Beyond Context Sharing: A Unified Agent Communication Protocol (ACP) for Secure, Federated, and Autonomous Agent-to-Agent (A2A) Orchestration [0.0]
本稿ではエージェント通信プロトコル(ACP)を紹介する。
ACPはAgent-to-Agentインタラクションのための標準化されたフレームワークを提供する。
ACPは、ゼロトラストのセキュリティ姿勢を維持しながら、エージェント間通信のレイテンシを%削減する。
論文 参考訳（メタデータ） (2026-02-11T17:02:12Z) - Searching for Privacy Risks in LLM Agents via Simulation [61.229785851581504]
本稿では,プライバシクリティカルなエージェントインタラクションのシミュレーションを通じて,攻撃と防御戦略の改善を交互に行う検索ベースのフレームワークを提案する。
攻撃戦略は、直接の要求から、不正行為や同意偽造といった高度な戦術へとエスカレートする。
発見された攻撃と防御は、さまざまなシナリオやバックボーンモデルにまたがって伝達され、プライバシーに配慮したエージェントを構築するための強力な実用性を示している。
論文 参考訳（メタデータ） (2025-08-14T17:49:09Z) - Agentic AI Frameworks: Architectures, Protocols, and Design Challenges [0.0]
人工知能では、人工知能エージェントが目標指向の自律性、文脈推論、動的マルチエージェント調整を示す。
本稿では,CrewAI,LangGraph,AutoGen,Semantic Kernel,Agno,Google ADK,MetaGPTなど,主要なエージェントAIフレームワークの体系的レビューと比較分析を行う。
この分野における重要な制限、新たなトレンド、オープンな課題を特定します。
論文 参考訳（メタデータ） (2025-08-13T19:16:18Z) - Extending the OWASP Multi-Agentic System Threat Modeling Guide: Insights from Multi-Agent Security Research [0.8057006406834466]
この研究は、最近のマルチエージェントセキュリティ(MASEC)の予測研究を、大規模言語モデル(LLM)駆動のマルチエージェントアーキテクチャに特有の課題に対処するための実践的なガイダンスに翻訳する。
我々は,実践的なMAS展開に根ざした新たな脅威クラスとシナリオを導入し,良心的目標ドリフト,クロスエージェント伝搬,情緒的プロンプトフレーミング,マルチエージェントバックドアのリスクを強調した。
この研究は、ますます複雑で自律的で適応的なマルチエージェントシステムに適用性を広げることによって、堅牢性の枠組みを補完する。
論文 参考訳（メタデータ） (2025-08-13T13:47:55Z) - Agentic Web: Weaving the Next Web with AI Agents [109.13815627467514]
大規模言語モデル(LLM)を活用したAIエージェントの出現は、エージェントWebに対する重要な転換点である。
このパラダイムでは、エージェントが直接対話して、ユーザに代わって複雑なタスクを計画、コーディネート、実行します。
本稿では,エージェントWebの理解と構築のための構造化フレームワークを提案する。
論文 参考訳（メタデータ） (2025-07-28T17:58:12Z) - Towards Unifying Quantitative Security Benchmarking for Multi Agent Systems [0.0]
AIシステムの進化 自律エージェントが協力し、情報を共有し、プロトコルを開発することでタスクを委譲するマルチエージェントアーキテクチャをますます展開する。
そのようなリスクの1つはカスケードリスクである。あるエージェントの侵入はシステムを通してカスケードし、エージェント間の信頼を利用して他人を妥協させる。
ACI攻撃では、あるエージェントに悪意のあるインプットまたはツールエクスプロイトが注入され、そのアウトプットを信頼するエージェント間でカスケードの妥協とダウンストリーム効果が増幅される。
論文 参考訳（メタデータ） (2025-07-23T13:51:28Z) - A Survey of LLM-Driven AI Agent Communication: Protocols, Security Risks, and Defense Countermeasures [60.49227979486631]
大規模言語モデル駆動型AIエージェントは、前例のない知性、柔軟性、適応性を示している。
エージェントコミュニケーションは、未来のAIエコシステムの基礎的な柱と見なされている。
本稿では,エージェント通信セキュリティに関する包括的調査を行う。
論文 参考訳（メタデータ） (2025-06-24T14:44:28Z) - Deep Research Agents: A Systematic Examination And Roadmap [79.04813794804377]
Deep Research (DR) エージェントは複雑な多ターン情報研究タスクに取り組むように設計されている。
本稿では,DRエージェントを構成する基礎技術とアーキテクチャコンポーネントの詳細な分析を行う。
論文 参考訳（メタデータ） (2025-06-22T16:52:48Z) - TRiSM for Agentic AI: A Review of Trust, Risk, and Security Management in LLM-based Agentic Multi-Agent Systems [2.462408812529728]
本総説では, LLMに基づくエージェントマルチエージェントシステム (AMAS) の文脈における, textbfTrust, Risk, and Security Management (TRiSM) の構造解析について述べる。
まず、エージェントAIの概念的基礎を調べ、従来のAIエージェントとアーキテクチャ的区別を強調します。
次に、ガバナンス、説明可能性、モデルOps、プライバシ/セキュリティの4つの主要な柱を中心に構成された、エージェントAIのためのAI TRiSMフレームワークを適応して拡張します。
論文 参考訳（メタデータ） (2025-06-04T16:26:11Z) - ATAG: AI-Agent Application Threat Assessment with Attack Graphs [23.757154032523093]
本稿では,Attack Graphs (ATAG) を用いたAIエージェントアプリケーションThreatアセスメントを提案する。
ATAGは、AIエージェントアプリケーションに関連するセキュリティリスクを体系的に分析するために設計された、新しいフレームワークである。
マルチエージェントアプリケーションにおけるAIエージェント脅威の積極的な識別と緩和を容易にする。
論文 参考訳（メタデータ） (2025-06-03T13:25:40Z) - A Novel Zero-Trust Identity Framework for Agentic AI: Decentralized Authentication and Fine-Grained Access Control [7.228060525494563]
本稿では,Agentic AI IAMフレームワークの提案について述べる。
リッチで検証可能なエージェント識別子(ID)に基づく包括的フレームワークを提案する。
また、Zero-Knowledge Proofs(ZKPs)によって、プライバシ保護属性の開示と検証可能なポリシーコンプライアンスを実現する方法について検討する。
論文 参考訳（メタデータ） (2025-05-25T20:21:55Z) - Internet of Agents: Fundamentals, Applications, and Challenges [66.44234034282421]
異種エージェント間のシームレスな相互接続、動的発見、協調的なオーケストレーションを可能にする基盤となるフレームワークとして、エージェントのインターネット(IoA)を紹介した。
我々は,機能通知と発見,適応通信プロトコル,動的タスクマッチング,コンセンサスとコンフリクト解決機構,インセンティブモデルなど,IoAの重要な運用イネーラを分析した。
論文 参考訳（メタデータ） (2025-05-12T02:04:37Z) - AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。
我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。
攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
論文 参考訳（メタデータ） (2025-05-09T07:40:17Z) - A Survey of AI Agent Protocols [35.431057321412354]
大きな言語モデル(LLM)エージェントが外部ツールやデータソースと通信する標準的な方法はありません。
この標準化されたプロトコルの欠如は、エージェントが協力したり、効果的にスケールするのを難しくする。
LLMエージェントの統一通信プロトコルは、これを変更できる。
論文 参考訳（メタデータ） (2025-04-23T14:07:26Z) - Internet of Agents: Weaving a Web of Heterogeneous Agents for Collaborative Intelligence [79.5316642687565]
既存のマルチエージェントフレームワークは、多種多様なサードパーティエージェントの統合に苦慮することが多い。
我々はこれらの制限に対処する新しいフレームワークであるInternet of Agents (IoA)を提案する。
IoAはエージェント統合プロトコル、インスタントメッセージのようなアーキテクチャ設計、エージェントのチーム化と会話フロー制御のための動的メカニズムを導入している。
論文 参考訳（メタデータ） (2024-07-09T17:33:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。