論文の概要: MELON: Indirect Prompt Injection Defense via Masked Re-execution and Tool Comparison

• arxiv url: http://arxiv.org/abs/2502.05174v1
• Date: Fri, 07 Feb 2025 18:57:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:57:10.950281
• Title: MELON: Indirect Prompt Injection Defense via Masked Re-execution and Tool Comparison
• Title（参考訳）: MELON:masked re-executionとツール比較による間接プロンプト注入防御
• Authors: Kaijie Zhu, Xianjun Yang, Jindong Wang, Wenbo Guo, William Yang Wang,
• Abstract要約: LLMエージェントは間接的プロンプトインジェクション(IPI)攻撃に対して脆弱である。 我々は新しいIPI防御であるMELONを提示する。 MELONは攻撃防止と実用保存の両方においてSOTA防御に優れていた。
• 参考スコア（独自算出の注目度）: 60.30753230776882
• License:
• Abstract: Recent research has explored that LLM agents are vulnerable to indirect prompt injection (IPI) attacks, where malicious tasks embedded in tool-retrieved information can redirect the agent to take unauthorized actions. Existing defenses against IPI have significant limitations: either require essential model training resources, lack effectiveness against sophisticated attacks, or harm the normal utilities. We present MELON (Masked re-Execution and TooL comparisON), a novel IPI defense. Our approach builds on the observation that under a successful attack, the agent's next action becomes less dependent on user tasks and more on malicious tasks. Following this, we design MELON to detect attacks by re-executing the agent's trajectory with a masked user prompt modified through a masking function. We identify an attack if the actions generated in the original and masked executions are similar. We also include three key designs to reduce the potential false positives and false negatives. Extensive evaluation on the IPI benchmark AgentDojo demonstrates that MELON outperforms SOTA defenses in both attack prevention and utility preservation. Moreover, we show that combining MELON with a SOTA prompt augmentation defense (denoted as MELON-Aug) further improves its performance. We also conduct a detailed ablation study to validate our key designs.
• Abstract（参考訳）: 近年の研究では、LLMエージェントは間接的プロンプトインジェクション(IPI)攻撃に対して脆弱であり、ツール検索情報に埋め込まれた悪意のあるタスクは、エージェントをリダイレクトして不正なアクションを取ることができる。 IPIに対する既存の防御には、必須のモデルトレーニングリソース、高度な攻撃に対する効果の欠如、あるいは通常のユーティリティを損なうという、重大な制限がある。 我々は,新しいIPI防御法であるMELON(Masked re-Execution and TooL comparison)を提示する。 我々のアプローチは、攻撃が成功すると、エージェントの次のアクションは、ユーザのタスクや悪意のあるタスクにより依存しなくなります。 その後、マスク機能によって修正されたマスク付きユーザでエージェントの軌道を再実行することで攻撃を検出するためにMELONを設計する。 元の実行とマスクされた実行で生成されたアクションが類似している場合、攻撃を特定する。 また、潜在的な偽陽性と偽陰性を減らすための3つの重要な設計も含んでいる。 IPIベンチマークAgentDojoの広範囲な評価は、MELONが攻撃防止とユーティリティ保存の両方においてSOTA防御よりも優れていることを示している。 さらに,MELONとSOTAを併用することにより,MELON-Augと表記する)さらなる性能向上が期待できる。 また、重要な設計を検証するための詳細なアブレーション研究も行います。

関連論文リスト

• Defense Against Prompt Injection Attack by Leveraging Attack Techniques [66.65466992544728]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクで顕著なパフォーマンスを実現している。 LLMが進化を続けるにつれて、新しい脆弱性、特にインジェクション攻撃が発生する。 近年の攻撃手法は, LLMの命令追従能力とデータ内容に注入された命令を識別する能力を活用している。
  論文  参考訳（メタデータ） (2024-11-01T09:14:21Z)
• Attention Tracker: Detecting Prompt Injection Attacks in LLMs [62.247841717696765]
  大型言語モデル (LLM) は様々なドメインに革命をもたらしたが、インジェクション攻撃に弱いままである。 そこで本研究では,特定の注意点が本来の指示から注入指示へと焦点を移す,注意散逸効果の概念を紹介した。 本研究では,アテンション・トラッカーを提案する。アテンション・トラッカーは,インジェクション・アタックを検出するために,インストラクション上の注意パターンを追跡する訓練不要な検出手法である。
  論文  参考訳（メタデータ） (2024-11-01T04:05:59Z)
• Breaking ReAct Agents: Foot-in-the-Door Attack Will Get You In [5.65782619470663]
  本稿では,直感的かつ効果的な手法でReActエージェントをどのように活用できるかを検討する。 実験の結果,間接的プロンプトインジェクション攻撃は,後続の悪意ある行為を行うエージェントの可能性を著しく高めることができることがわかった。 この脆弱性を軽減するために,エージェントが実行中の動作の安全性を再評価する簡単なリフレクション機構の実装を提案する。
  論文  参考訳（メタデータ） (2024-10-22T12:24:41Z)
• InjecAgent: Benchmarking Indirect Prompt Injections in Tool-Integrated Large Language Model Agents [3.5248694676821484]
  IPI攻撃に対するツール統合LDMエージェントの脆弱性を評価するためのベンチマークであるInjecAgentを紹介する。 InjecAgentは17の異なるユーザーツールと62の攻撃ツールをカバーする1,054のテストケースで構成されている。 エージェントはIPI攻撃に対して脆弱であり、ReAct-prompted GPT-4は24%の時間攻撃に対して脆弱である。
  論文  参考訳（メタデータ） (2024-03-05T06:21:45Z)
• BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive Learning [85.2564206440109]
  本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。 バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
  論文  参考訳（メタデータ） (2023-11-20T02:21:49Z)
• Trojan Activation Attack: Red-Teaming Large Language Models using Activation Steering for Safety-Alignment [31.24530091590395]
  本研究では,大規模言語モデルの活性化層にトロイの木馬ステアリングベクトルを注入する,Trojan Activation Attack (TA2) と呼ばれる攻撃シナリオについて検討する。 実験の結果,TA2は高効率であり,攻撃効率のオーバーヘッドがほとんどあるいは全くないことがわかった。
  論文  参考訳（メタデータ） (2023-11-15T23:07:40Z)
• Malicious Agent Detection for Robust Multi-Agent Collaborative Perception [52.261231738242266]
  多エージェント協調(MAC)知覚は、単エージェント認識よりも敵攻撃に対して脆弱である。 MAC知覚に特異的な反応防御であるMADE(Malicious Agent Detection)を提案する。 我々は、ベンチマーク3DデータセットV2X-simとリアルタイムデータセットDAIR-V2Xで包括的な評価を行う。
  論文  参考訳（メタデータ） (2023-10-18T11:36:42Z)
• Defending Pre-trained Language Models as Few-shot Learners against Backdoor Attacks [72.03945355787776]
  軽快でプラガブルで効果的な PLM 防御である MDP を,少人数の学習者として提唱する。 我々は,MDPが攻撃の有効性と回避性の両方を選択できる興味深いジレンマを発生させることを解析的に示す。
  論文  参考訳（メタデータ） (2023-09-23T04:41:55Z)
• Effectiveness of Moving Target Defenses for Adversarial Attacks in ML-based Malware Detection [0.0]
  近年,敵ML攻撃に対する標的防御(MTD)の移動が提案されている。 マルウェア検出領域に適用した敵ML攻撃に対する最近のMTDの有効性を初めて検討した。 転送可能性とクエリアタック戦略は,これらの防御に対して高いレベルの回避を達成できることを示す。
  論文  参考訳（メタデータ） (2023-02-01T16:03:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。