論文の概要: How Not to Detect Prompt Injections with an LLM

• arxiv url: http://arxiv.org/abs/2507.05630v1
• Date: Tue, 08 Jul 2025 03:24:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 16:34:37.543856
• Title: How Not to Detect Prompt Injections with an LLM
• Title（参考訳）: LLMによるプロンプト注入の検知方法
• Authors: Sarthak Choudhary, Divyam Anshumaan, Nils Palumbo, Somesh Jha,
• Abstract要約: 最近の防衛策は, LLMを用いて, 入力をクリーンで汚染されたものと分類することにより, ほぼ完璧な性能を達成している。 我々は、KADフレームワークを公式に特徴付け、その中核となるセキュリティ前提を無効にする構造上の脆弱性を明らかにする。 私たちは、この根本的な弱点を利用するために、メソッド適応アタックである$textitDataFlip$を設計します。
• 参考スコア（独自算出の注目度）: 19.785755392783287
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-integrated applications and agents are vulnerable to prompt injection attacks, in which adversaries embed malicious instructions within seemingly benign user inputs to manipulate the LLM's intended behavior. Recent defenses based on $\textit{known-answer detection}$ (KAD) have achieved near-perfect performance by using an LLM to classify inputs as clean or contaminated. In this work, we formally characterize the KAD framework and uncover a structural vulnerability in its design that invalidates its core security premise. We design a methodical adaptive attack, $\textit{DataFlip}$, to exploit this fundamental weakness. It consistently evades KAD defenses with detection rates as low as $1.5\%$ while reliably inducing malicious behavior with success rates of up to $88\%$, without needing white-box access to the LLM or any optimization procedures.
• Abstract（参考訳）: LLM統合されたアプリケーションやエージェントは、敵が悪意のあるユーザ入力の中に悪意ある命令を埋め込んでLLMの意図した振る舞いを操作するような、インジェクション攻撃に弱い。 最近のディフェンスである$\textit{known-answer detection}$ (KAD)は、LLMを使用して入力をクリーンまたは汚染されたものとして分類することでほぼ完璧な性能を実現している。 本研究では,KADフレームワークを公式に特徴付け,コアセキュリティの前提を無効にする構造的脆弱性を明らかにする。 我々は、この根本的な弱点を利用するために、体系的な適応攻撃、$\textit{DataFlip}$を設計します。 LLMへのホワイトボックスアクセスや最適化手順を必要とせず、高い成功率で悪意のある振る舞いを確実に誘発しながら、検出レートが1.5 %$まで低いKADディフェンスを一貫して回避する。

関連論文リスト

• SecurityLingua: Efficient Defense of LLM Jailbreak Attacks via Security-Aware Prompt Compression [11.839827036296649]
  大規模言語モデル(LLM)は、安全アライメント後も悪意のある攻撃に対して脆弱である。 我々は,LLMをジェイルブレイク攻撃から守るための効果的かつ効率的なアプローチであるSecurityLinguaを提案する。 迅速な圧縮により、SecurityLinguaは既存のすべての防御方法と比較して、無視できるオーバーヘッドと余分なトークンコストしか発生しない。
  論文  参考訳（メタデータ） (2025-06-15T03:39:13Z)
• Defending against Indirect Prompt Injection by Instruction Detection [81.98614607987793]
  本稿では, 外部データを入力として取り込んで, 前方および後方の伝搬中におけるLCMの動作状態を利用して, 潜在的なIPI攻撃を検出する手法を提案する。 提案手法は,ドメイン内設定で99.60%,ドメイン外設定で96.90%,攻撃成功率でBIPIAベンチマークで0.12%に低下する。
  論文  参考訳（メタデータ） (2025-05-08T13:04:45Z)
• CachePrune: Neural-Based Attribution Defense Against Indirect Prompt Injection Attacks [47.62236306990252]
  大規模言語モデル (LLM) は間接的なインジェクション攻撃の影響を受けやすい。 この脆弱性は、プロンプト内のデータと命令を区別できないLLMが原因である。 本稿では,タスクトリガリングニューロンの識別と解析により,この攻撃を防御するCachePruneを提案する。
  論文  参考訳（メタデータ） (2025-04-29T23:42:21Z)
• DataSentinel: A Game-Theoretic Detection of Prompt Injection Attacks [101.52204404377039]
  LLM統合されたアプリケーションとエージェントは、インジェクション攻撃に弱い。 検出方法は、入力が注入プロンプトによって汚染されているかどうかを判定することを目的とする。 本研究では,迅速なインジェクション攻撃を検出するゲーム理論手法であるDataSentinelを提案する。
  論文  参考訳（メタデータ） (2025-04-15T16:26:21Z)
• FATH: Authentication-based Test-time Defense against Indirect Prompt Injection Attacks [45.65210717380502]
  大規模言語モデル(LLM)は、現実世界のアプリケーションのための追加ツールとテキスト情報を備えたバックボーンとして広くデプロイされている。 プロンプトインジェクション攻撃は特に脅威であり、外部のテキスト情報に悪意のあるインストラクションを注入することで、LLMを利用して攻撃者が望む答えを生成することができる。 本稿では,AuThentication with Hash-based tags (FATH)という新しいテストタイム防衛戦略を紹介する。
  論文  参考訳（メタデータ） (2024-10-28T20:02:47Z)
• Palisade -- Prompt Injection Detection Framework [0.9620910657090188]
  大規模言語モデルは、悪意のあるインジェクション攻撃に対して脆弱である。 本稿では,新しいNLPを用いたインジェクション検出手法を提案する。 階層化された入力スクリーニングプロセスを通じて精度と最適化を強調する。
  論文  参考訳（メタデータ） (2024-10-28T15:47:03Z)
• SecAlign: Defending Against Prompt Injection with Preference Optimization [52.48001255555192]
  敵のプロンプトは外部のデータソースに注入され、システムの意図した命令をオーバーライドし、悪意のある命令を実行する。 我々は、好みの最適化技術に基づくSecAlignと呼ばれる新しいディフェンスを提案する。 本手法は,訓練中に見られたものよりもはるかに高度な攻撃に対しても,様々なプロンプトインジェクションの成功率を10%に下げる。
  論文  参考訳（メタデータ） (2024-10-07T19:34:35Z)
• Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [79.0183835295533]
  我々は,このような脆弱性のリスクを評価するために,BIPIAと呼ばれる間接的インジェクション攻撃のための最初のベンチマークを導入した。 我々の分析では、LLMが情報コンテキストと動作可能な命令を区別できないことと、外部コンテンツ内での命令の実行を回避できないことの2つの主要な要因を同定した。 ブラックボックスとホワイトボックスという2つの新しい防御機構と、これらの脆弱性に対処するための明確なリマインダーを提案する。
  論文  参考訳（メタデータ） (2023-12-21T01:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。