論文の概要: Towards Action Hijacking of Large Language Model-based Agent
- arxiv url: http://arxiv.org/abs/2412.10807v2
- Date: Thu, 12 Jun 2025 10:17:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-13 15:37:22.100652
- Title: Towards Action Hijacking of Large Language Model-based Agent
- Title（参考訳）: 大規模言語モデルベースエージェントの行動ハイジャックに向けて
- Authors: Yuyang Zhang, Kangjie Chen, Jiaxin Gao, Ronghao Cui, Run Wang, Lina Wang, Tianwei Zhang,
- Abstract要約: LLMベースのアプリケーションのアクションプランを操作するための新しい攻撃であるAI$mathbf2$を紹介する。
まず、被害者のアプリケーションからアクション認識の知識を収集する。
このような知識に基づいて、攻撃者は誤解を招く入力を生成することができ、LLMを誤解して有害なアクションプランを生成することができる。
- 参考スコア（独自算出の注目度）: 23.13653350521422
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, applications powered by Large Language Models (LLMs) have made significant strides in tackling complex tasks. By harnessing the advanced reasoning capabilities and extensive knowledge embedded in LLMs, these applications can generate detailed action plans that are subsequently executed by external tools. Furthermore, the integration of retrieval-augmented generation (RAG) enhances performance by incorporating up-to-date, domain-specific knowledge into the planning and execution processes. This approach has seen widespread adoption across various sectors, including healthcare, finance, and software development. Meanwhile, there are also growing concerns regarding the security of LLM-based applications. Researchers have disclosed various attacks, represented by jailbreak and prompt injection, to hijack the output actions of these applications. Existing attacks mainly focus on crafting semantically harmful prompts, and their validity could diminish when security filters are employed. In this paper, we introduce AI$\mathbf{^2}$, a novel attack to manipulate the action plans of LLM-based applications. Different from existing solutions, the innovation of AI$\mathbf{^2}$ lies in leveraging the knowledge from the application's database to facilitate the construction of malicious but semantically-harmless prompts. To this end, it first collects action-aware knowledge from the victim application. Based on such knowledge, the attacker can generate misleading input, which can mislead the LLM to generate harmful action plans, while bypassing possible detection mechanisms easily. Our evaluations on three real-world applications demonstrate the effectiveness of AI$\mathbf{^2}$: it achieves an average attack success rate of 84.30\% with the best of 99.70\%. Besides, it gets an average bypass rate of 92.7\% against common safety filters and 59.45\% against dedicated defense.
- Abstract（参考訳）: 近年,Large Language Models (LLM) を利用したアプリケーションが,複雑なタスクに対処する上で大きな進歩を遂げている。
LLMに埋め込まれた高度な推論能力と広範な知識を活用することで、これらのアプリケーションは、その後外部ツールによって実行される詳細なアクションプランを生成することができる。
さらに、検索強化生成(RAG)の統合により、最新のドメイン固有の知識を計画および実行プロセスに組み込むことにより、パフォーマンスが向上する。
このアプローチは、医療、金融、ソフトウェア開発など、さまざまな分野に広く採用されています。
一方、LLMベースのアプリケーションのセキュリティについても懸念が高まっている。
研究者たちは、これらのアプリケーションの出力アクションをハイジャックするために、ジェイルブレイクとプロンプトインジェクションによって表現された様々な攻撃を明らかにした。
既存の攻撃は主に意味的に有害なプロンプトの作成に重点を置いており、セキュリティフィルタを採用するとその妥当性が低下する可能性がある。
本稿では, LLM ベースのアプリケーションの動作計画を操作する新たな攻撃である AI$\mathbf{^2}$ を紹介する。
既存のソリューションとは異なり、AI$\mathbf{^2}$のイノベーションは、悪意あるが意味的に害のないプロンプトの構築を容易にするために、アプリケーションのデータベースからの知識を活用することである。
この目的のために、まず被害者のアプリケーションからアクション認識の知識を収集する。
このような知識に基づいて、攻撃者は誤誘導入力を発生させ、LLMを誤誘導して有害なアクションプランを発生させ、検出機構を容易にバイパスすることができる。
AI$\mathbf{^2}$: 平均攻撃成功率は 84.30\% であり, 最高値は 99.70\% である。
さらに、一般的な安全フィルタに対して92.7\%、専用防御に対して59.45\%の平均バイパス率を得る。
関連論文リスト
- A Practical Memory Injection Attack against LLM Agents [49.01756339657071]
MINJAは、クエリと出力観察を通してエージェントとのみ対話することで、悪意のあるレコードをメモリバンクに注入することができる。
MINJAは、任意のユーザがエージェントメモリに影響を与え、LLMエージェントの実践的なリスクを強調します。
論文 参考訳（メタデータ） (2025-03-05T17:53:24Z) - UDora: A Unified Red Teaming Framework against LLM Agents by Dynamically Hijacking Their Own Reasoning [17.448966928905733]
外部ツールを備えた大規模言語モデル(LLM)エージェントは、複雑なタスクを扱うためにますます強力になっている。
LLMエージェント用に設計された統一レッドチーム化フレームワークであるUDoraを,エージェント自身の推論プロセスを動的に活用し,悪意のある動作に強制する。
論文 参考訳（メタデータ） (2025-02-28T21:30:28Z) - Unveiling Privacy Risks in LLM Agent Memory [40.26158509307175]
大規模言語モデル(LLM)エージェントは、様々な現実世界のアプリケーションでますます普及している。
デモのためにメモリモジュールにプライベートユーザエージェントインタラクションを格納することで、意思決定を強化する。
本稿では,メモリからプライベート情報を抽出するメモリ・エクストルーアクション・アタック(MEXTRA)を提案する。
論文 参考訳（メタデータ） (2025-02-17T19:55:53Z) - The Task Shield: Enforcing Task Alignment to Defend Against Indirect Prompt Injection in LLM Agents [6.829628038851487]
大きな言語モデル(LLM)エージェントは、ツール統合を通じて複雑な現実世界のタスクを実行できる対話アシスタントとして、ますます多くデプロイされている。
特に間接的なプロンプトインジェクション攻撃は、外部データソースに埋め込まれた悪意のある命令が、エージェントを操作してユーザの意図を逸脱させる、重大な脅威となる。
我々は,エージェントのセキュリティが有害な行為を防止し,タスクアライメントを確保するためには,すべてのエージェントアクションをユーザ目的に役立てる必要がある,という新たな視点を提案する。
論文 参考訳（メタデータ） (2024-12-21T16:17:48Z) - Targeting the Core: A Simple and Effective Method to Attack RAG-based Agents via Direct LLM Manipulation [4.241100280846233]
大規模言語モデル(LLM)を駆使したAIエージェントは、シームレスで自然な、コンテキスト対応のコミュニケーションを可能にすることによって、人間とコンピュータのインタラクションを変革した。
本稿では,AIエージェント内のLLMコアを標的とした敵攻撃という,重大な脆弱性について検討する。
論文 参考訳（メタデータ） (2024-12-05T18:38:30Z) - Compromising Embodied Agents with Contextual Backdoor Attacks [69.71630408822767]
大型言語モデル(LLM)は、エンボディドインテリジェンスの発展に変化をもたらした。
本稿では,このプロセスにおけるバックドアセキュリティの重大な脅威を明らかにする。
ほんの少しの文脈的デモンストレーションを毒殺しただけで、攻撃者はブラックボックスLDMの文脈的環境を隠蔽することができる。
論文 参考訳（メタデータ） (2024-08-06T01:20:12Z) - Breaking Agents: Compromising Autonomous LLM Agents Through Malfunction Amplification [35.16099878559559]
大規模言語モデル(LLM)は大きな発展を遂げ、現実世界のアプリケーションにデプロイされている。
エージェントが繰り返しまたは無関係なアクションを実行することを誤解させることで誤動作を引き起こす新しいタイプの攻撃を導入する。
実験の結果、これらの攻撃は複数のシナリオで80%以上の障害率を誘導できることがわかった。
論文 参考訳（メタデータ） (2024-07-30T14:35:31Z) - AgentPoison: Red-teaming LLM Agents via Poisoning Memory or Knowledge Bases [73.04652687616286]
本稿では,RAG とRAG をベースとした LLM エージェントを標的とした最初のバックドア攻撃である AgentPoison を提案する。
従来のバックドア攻撃とは異なり、AgentPoisonは追加のモデルトレーニングや微調整を必要としない。
エージェントごとに、AgentPoisonは平均攻撃成功率を80%以上達成し、良質なパフォーマンスに最小限の影響を与える。
論文 参考訳（メタデータ） (2024-07-17T17:59:47Z) - GuardAgent: Safeguard LLM Agents by a Guard Agent via Knowledge-Enabled Reasoning [79.07152553060601]
大規模言語モデル(LLM)の安全性を高める既存の手法は、LLMエージェントに直接転送することはできない。
我々は、他のLLMエージェントに対するガードレールとして、最初のLLMエージェントであるGuardAgentを提案する。
GuardAgentは、1)提供されたガードリクエストを分析してタスクプランを作成し、2)タスクプランに基づいてガードレールコードを生成し、APIを呼び出すか、または外部エンジンを使用してコードを実行する。
論文 参考訳（メタデータ） (2024-06-13T14:49:26Z) - BadAgent: Inserting and Activating Backdoor Attacks in LLM Agents [26.057916556444333]
提案手法は,BadAgentというバックドア攻撃に対して脆弱であることを示す。
提案手法は信頼性のあるデータを微調整した後でも極めて堅牢である。
論文 参考訳（メタデータ） (2024-06-05T07:14:28Z) - Watch Out for Your Agents! Investigating Backdoor Threats to LLM-Based Agents [47.219047422240145]
我々は、LSMベースのエージェントに対して、典型的な安全脅威であるバックドアアタックの1つを調査する第一歩を踏み出した。
具体的には、ユーザ入力とモデル出力のみを操作できる従来のLDMに対するバックドア攻撃と比較して、エージェントバックドア攻撃はより多様で隠蔽的な形式を示す。
論文 参考訳（メタデータ） (2024-02-17T06:48:45Z) - On Prompt-Driven Safeguarding for Large Language Models [172.13943777203377]
表現空間では、入力クエリは通常、安全プロンプトによって「より高い拒絶」方向に移動される。
これらの知見に触発されて,安全性向上,すなわちDROの最適化手法を提案する。
安全性プロンプトを継続的かつトレーニング可能な埋め込みとして扱うことで、DROは、その有害性に応じて、クエリの表現を拒否方向に沿ってあるいは反対に移動させることを学ぶ。
論文 参考訳（メタデータ） (2024-01-31T17:28:24Z) - Not what you've signed up for: Compromising Real-World LLM-Integrated
Applications with Indirect Prompt Injection [64.67495502772866]
大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。
本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。
我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
論文 参考訳（メタデータ） (2023-02-23T17:14:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。