論文の概要: CachePrune: Neural-Based Attribution Defense Against Indirect Prompt Injection Attacks

• arxiv url: http://arxiv.org/abs/2504.21228v1
• Date: Tue, 29 Apr 2025 23:42:21 GMT
• ステータス: 情報取得中
• システム内更新日: 2025-05-02 15:52:43.069498
• Title: CachePrune: Neural-Based Attribution Defense Against Indirect Prompt Injection Attacks
• Title（参考訳）: CachePrune: 間接的プロンプトインジェクション攻撃に対するニューラルネットワークによる属性防御
• Authors: Rui Wang, Junda Wu, Yu Xia, Tong Yu, Ruiyi Zhang, Ryan Rossi, Lina Yao, Julian McAuley,
• Abstract要約: 大規模言語モデル (LLM) は間接的なインジェクション攻撃の影響を受けやすい。 この脆弱性は、プロンプト内のデータと命令を区別できないLLMが原因である。 本稿では,タスクトリガリングニューロンの識別と解析により,この攻撃を防御するCachePruneを提案する。
• 参考スコア（独自算出の注目度）: 47.62236306990252
• License:
• Abstract: Large Language Models (LLMs) are identified as being susceptible to indirect prompt injection attack, where the model undesirably deviates from user-provided instructions by executing tasks injected in the prompt context. This vulnerability stems from LLMs' inability to distinguish between data and instructions within a prompt. In this paper, we propose CachePrune that defends against this attack by identifying and pruning task-triggering neurons from the KV cache of the input prompt context. By pruning such neurons, we encourage the LLM to treat the text spans of input prompt context as only pure data, instead of any indicator of instruction following. These neurons are identified via feature attribution with a loss function induced from an upperbound of the Direct Preference Optimization (DPO) objective. We show that such a loss function enables effective feature attribution with only a few samples. We further improve on the quality of feature attribution, by exploiting an observed triggering effect in instruction following. Our approach does not impose any formatting on the original prompt or introduce extra test-time LLM calls. Experiments show that CachePrune significantly reduces attack success rates without compromising the response quality. Note: This paper aims to defend against indirect prompt injection attacks, with the goal of developing more secure and robust AI systems.
• Abstract（参考訳）: 大規模言語モデル (LLM) は間接的なインジェクション攻撃を受けやすいものと認識され、インシデントコンテキストでインジェクションされたタスクを実行することで、モデルがユーザが提供する命令から好ましくない逸脱を生じる。 この脆弱性は、プロンプト内のデータと命令を区別できないLLMが原因である。 本稿では,この攻撃に対して,入力プロンプトコンテキストのKVキャッシュからタスクトリガーニューロンを識別し,解析することで防御するCachePruneを提案する。 このようなニューロンを刈り取ることで、LLMは入力プロンプトコンテキストのテキストスパンを指示の指標ではなく純粋データとして扱うことを奨励する。 これらのニューロンは、直接選好最適化(DPO)目標の上限から誘導される損失関数による特徴属性によって同定される。 このような損失関数は,少数のサンプルで有効な特徴帰属を可能にすることを示す。 本研究は,後続の指導において観察されたトリガー効果を利用して,特徴属性の品質をさらに向上する。 当社のアプローチでは、元のプロンプトにフォーマットを強制したり、テストタイムのLLMコールを余分に導入することはありません。 実験によると、CachePruneはレスポンスの品質を損なうことなく、攻撃の成功率を大幅に低下させる。 注:本稿は、より安全で堅牢なAIシステムを開発することを目的として、間接的なインジェクション攻撃から防御することを目的としている。

関連論文リスト

• Token-Efficient Prompt Injection Attack: Provoking Cessation in LLM Reasoning via Adaptive Token Compression [12.215295420714787]
  推論割り込み攻撃(Reasoning Interruption Attack)は、適応トークン圧縮に基づく即発インジェクション攻撃である。 本研究では,アタックプロンプトと適応トークン圧縮フレームワークを効率的に収集するための体系的アプローチを開発する。 実効攻撃能力を保ちながら,我々の圧縮フレームワークがプロンプト長を大幅に短縮することを示す実験を行った。
  論文  参考訳（メタデータ） (2025-04-29T07:34:22Z)
• Robustness via Referencing: Defending against Prompt Injection Attacks by Referencing the Executed Instruction [68.6543680065379]
  大型言語モデル(LLM)はインジェクション攻撃に弱い。 本研究では,LLMの命令追従能力を抑えるのではなく,新たな防御手法を提案する。
  論文  参考訳（メタデータ） (2025-04-29T07:13:53Z)
• DataSentinel: A Game-Theoretic Detection of Prompt Injection Attacks [101.52204404377039]
  LLM統合されたアプリケーションとエージェントは、インジェクション攻撃に弱い。 検出方法は、入力が注入プロンプトによって汚染されているかどうかを判定することを目的とする。 本研究では,迅速なインジェクション攻撃を検出するゲーム理論手法であるDataSentinelを提案する。
  論文  参考訳（メタデータ） (2025-04-15T16:26:21Z)
• Neural Antidote: Class-Wise Prompt Tuning for Purifying Backdoors in Pre-trained Vision-Language Models [42.81731204702258]
  CBPT(Class-wise Backdoor Prompt Tuning)は、テキストプロンプトによって間接的に汚染された視覚言語モデル(VLM)を浄化する効率的な方法である。 CBPTは、7つの主要なバックドア攻撃に対して平均的クリーン精度(CA)58.86%、アタック成功率(ASR)0.39%のモデルユーティリティを維持しながら、バックドアの脅威を著しく軽減する。
  論文  参考訳（メタデータ） (2025-02-26T16:25:15Z)
• Defense Against Prompt Injection Attack by Leveraging Attack Techniques [66.65466992544728]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクで顕著なパフォーマンスを実現している。 LLMが進化を続けるにつれて、新しい脆弱性、特にインジェクション攻撃が発生する。 近年の攻撃手法は, LLMの命令追従能力とデータ内容に注入された命令を識別する能力を活用している。
  論文  参考訳（メタデータ） (2024-11-01T09:14:21Z)
• Fine-tuned Large Language Models (LLMs): Improved Prompt Injection Attacks Detection [6.269725911814401]
  大きな言語モデル(LLM)は、幅広い言語ベースのタスクに対処する能力が大きく進歩しているため、人気ツールになりつつある。 しかし、LSMのアプリケーションはインジェクション攻撃に対して非常に脆弱であり、致命的な問題を引き起こす。 このプロジェクトでは,インジェクションのインジェクション攻撃に関連するセキュリティ脆弱性について検討する。
  論文  参考訳（メタデータ） (2024-10-28T00:36:21Z)
• SecAlign: Defending Against Prompt Injection with Preference Optimization [52.48001255555192]
  アドリアルプロンプトは外部データソースに注入され、システムの意図した命令をオーバーライドし、悪意のある命令を実行する。 我々は、好みの最適化技術に基づくSecAlignと呼ばれる新しいディフェンスを提案する。 本手法は,訓練中に見られたものよりもはるかに高度な攻撃に対しても,様々なプロンプトインジェクションの成功率を約0%に低下させる。
  論文  参考訳（メタデータ） (2024-10-07T19:34:35Z)
• Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [79.0183835295533]
  我々は,このような脆弱性のリスクを評価するために,BIPIAと呼ばれる間接的インジェクション攻撃のための最初のベンチマークを導入した。 我々の分析では、LLMが情報コンテキストと動作可能な命令を区別できないことと、外部コンテンツ内での命令の実行を回避できないことの2つの主要な要因を同定した。 ブラックボックスとホワイトボックスという2つの新しい防御機構と、これらの脆弱性に対処するための明確なリマインダーを提案する。
  論文  参考訳（メタデータ） (2023-12-21T01:08:39Z)
• Evaluating the Instruction-Following Robustness of Large Language Models to Prompt Injection [70.28425745910711]
  LLM(Large Language Models)は、命令追従に非常に熟練した言語である。 この能力は、迅速なインジェクション攻撃のリスクをもたらす。 このような攻撃に対する命令追従LDMの堅牢性を評価する。
  論文  参考訳（メタデータ） (2023-08-17T06:21:50Z)
• Prompt as Triggers for Backdoor Attack: Examining the Vulnerability in Language Models [41.1058288041033]
  本稿では,プロンプトに基づくクリーンラベルバックドア攻撃の新規かつ効率的な方法であるProAttackを提案する。 本手法では, 外部からのトリガーを必要とせず, 汚染試料の正確なラベル付けを保証し, バックドア攻撃のステルス性を向上させる。
  論文  参考訳（メタデータ） (2023-05-02T06:19:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。