論文の概要: AttackEval: A Systematic Empirical Study of Prompt Injection Attack Effectiveness Against Large Language Models

• arxiv url: http://arxiv.org/abs/2604.03598v1
• Date: Sat, 04 Apr 2026 05:49:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.662725
• Title: AttackEval: A Systematic Empirical Study of Prompt Injection Attack Effectiveness Against Large Language Models
• Title（参考訳）: アタックEval:大規模言語モデルに対するプロンプトインジェクションアタック効果の系統的研究
• Authors: Jackson Wang,
• Abstract要約: アタックエヴァル(AttackEval)は、インジェクション攻撃の有効性の体系的研究である。 我々は3つの親集団(シンタクティック、コンテクチュアル、セマンティック/社会)に分類される10の攻撃カテゴリーの分類を構築する。 本研究は,4つのより強力な防衛層下での模擬生産犠牲者システムに対して評価を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt injection has emerged as a critical vulnerability in large language model (LLM) deployments, yet existing research is heavily weighted toward defenses. The attack side -- specifically, which injection strategies are most effective and why -- remains insufficiently studied.We address this gap with AttackEval, a systematic empirical study of prompt injection attack effectiveness. We construct a taxonomy of ten attack categories organized into three parent groups (Syntactic, Contextual, and Semantic/Social), populate each category with 25 carefully crafted prompts (250 total), and evaluate them against a simulated production victim system under four progressively stronger defense tiers. Experiments reveal several non-obvious findings: (1) Obfuscation (OBF) achieves the highest single-attack success rate (ASR = 0.76) against even intent-aware defenses, because it defeats both keyword matching and semantic similarity checks simultaneously; (2) Semantic/Social attacks - Emotional Manipulation (EM) and Reward Framing (RF) - maintain high ASR (0.44-0.48) against intent-aware defenses due to their natural language surface, which evades structural anomaly detection; (3) Composite attacks combining two complementary strategies dramatically boost ASR, with the OBF + EM pair reaching 97.6%; (4) Stealth correlates positively with residual ASR against semantic defenses (r = 0.71), implying that future defenses must jointly optimize for both structural and behavioral signals. Our findings identify concrete blind spots in current defenses and provide actionable guidance for designing more robust LLM safety systems.
• Abstract（参考訳）: プロンプトインジェクションは、大規模言語モデル(LLM)デプロイメントにおいて重要な脆弱性として浮上しているが、既存の研究は防御に重きを置いている。 攻撃側(特に、注射戦略が最も効果的で、なぜか)は、まだ十分に研究されていないが、我々は、即発注射攻撃の有効性の体系的な実証研究であるAttackEvalを用いて、このギャップに対処する。 我々は,3つの親集団(Syntactic, Contextual, Semantic/Social)に編成された10の攻撃カテゴリの分類を作成し,25の注意深いプロンプト(総計250件)で各カテゴリを集団化し,さらに4つのより強力な防衛層の下で,シミュレートされた生産犠牲者システムに対して評価した。 実験の結果、(1) 単一攻撃の成功率(ASR = 0.76)が、キーワードマッチングとセマンティック類似性の両方を同時に倒すため、(ASR = 0.76) 単一攻撃の成功率(ASR = 0.76) 、(2) セマンティック/ソーシャル攻撃(EM)と(Reward Framing (RF) - 構造的異常検出を回避した自然言語による意図認識防御に対する高いASR (0.44-0.48) 、(3) 補完的な2つの戦略を組み合わせた複合攻撃は、ASRを劇的に向上させ、(97.6%) ステルスは、意味的防御(r = 0.71) に対するASRと正の相関を保ち、将来的な防御と構造的防御の両面において、ASRと構造的防御を両立させる。 本研究は, 現状の防衛における具体的な盲点を特定し, より堅牢なLLM安全システムを設計するための実用的なガイダンスを提供するものである。

関連論文リスト

• The Attacker Moves Second: Stronger Adaptive Attacks Bypass Defenses Against Llm Jailbreaks and Prompt Injections [74.60337113759313]
  現在のジェイルブレイクとプロンプトインジェクションに対する防御は、通常、有害な攻撃文字列の静的セットに対して評価される。 我々は,この評価プロセスに欠陥があることを論じる。代わりに,攻撃戦略を明示的に修正したアダプティブアタッカーに対する防御を,防衛設計に対抗して評価すべきである。
  論文  参考訳（メタデータ） (2025-10-10T05:51:04Z)
• Evaluating Robustness of Large Audio Language Models to Audio Injection: An Empirical Study [5.843063647136238]
  本研究は4つの攻撃シナリオにまたがる5つのLALMを系統的に評価する。 単一のモデルはすべての攻撃タイプで他のモデルより一貫して優れています。 命令追従能力とロバスト性の間の負の相関は、命令に厳密に固執するモデルはより感受性が高いことを示唆している。
  論文  参考訳（メタデータ） (2025-05-26T07:08:38Z)
• The Adaptive Arms Race: Redefining Robustness in AI Security [21.759075171536388]
  我々は,ブラックボックス攻撃と防御を適応的に最適化するフレームワークを,彼らが形成する競争ゲームの下で導入する。 システム応答を動的に制御するアクティブディフェンスは、決定に基づく攻撃に対するモデル強化に不可欠である。 我々の発見は、広範囲な理論的および実証的な調査によって裏付けられ、適応的敵がブラックボックスAIベースのシステムに深刻な脅威をもたらすことを確認した。
  論文  参考訳（メタデータ） (2023-12-20T21:24:52Z)
• Understanding and Improving Ensemble Adversarial Defense [4.504026914523449]
  我々は、アンサンブルの防御を理解するための新しい誤り理論を開発した。 我々は,対話的グローバル対人訓練(iGAT)という,アンサンブル対人防御を改善する効果的なアプローチを提案する。 iGATは、ホワイトボックスとブラックボックスの両方の攻撃下で、CIFAR10とCIFAR100データセットを使用して評価された最大17%のパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2023-10-27T20:43:29Z)
• Illusory Attacks: Information-Theoretic Detectability Matters in Adversarial Attacks [76.35478518372692]
  エプシロン・イリューソリー(epsilon-illusory)は、シーケンシャルな意思決定者に対する敵対的攻撃の新たな形態である。 既存の攻撃と比較して,エプシロン・イリューソリーの自動検出は極めて困難である。 以上の結果から, より優れた異常検知器, 効果的なハードウェアおよびシステムレベルの防御の必要性が示唆された。
  論文  参考訳（メタデータ） (2022-07-20T19:49:09Z)
• Adversarial Attack and Defense in Deep Ranking [100.17641539999055]
  本稿では,敵対的摂動によって選抜された候補者のランクを引き上げたり下げたりできる,ディープランキングシステムに対する2つの攻撃を提案する。 逆に、全ての攻撃に対するランキングモデルロバスト性を改善するために、反崩壊三重項防御法が提案されている。 MNIST, Fashion-MNIST, CUB200-2011, CARS196およびStanford Online Productsデータセットを用いて, 敵のランク付け攻撃と防御を評価した。
  論文  参考訳（メタデータ） (2021-06-07T13:41:45Z)
• Improving the Adversarial Robustness for Speaker Verification by Self-Supervised Learning [95.60856995067083]
  この研究は、特定の攻撃アルゴリズムを知らずにASVの敵防衛を行う最初の試みの一つである。 本研究の目的は,1) 対向摂動浄化と2) 対向摂動検出の2つの視点から対向防御を行うことである。 実験の結果, 検出モジュールは, 約80%の精度で対向検体を検出することにより, ASVを効果的に遮蔽することがわかった。
  論文  参考訳（メタデータ） (2021-06-01T07:10:54Z)
• Guided Adversarial Attack for Evaluating and Enhancing Adversarial Defenses [59.58128343334556]
  我々は、より適切な勾配方向を見つけ、攻撃効果を高め、より効率的な対人訓練をもたらす標準損失に緩和項を導入する。 本稿では, クリーン画像の関数マッピングを用いて, 敵生成を誘導するGAMA ( Guided Adversarial Margin Attack) を提案する。 また,一段防衛における最先端性能を実現するためのGAT ( Guided Adversarial Training) を提案する。
  論文  参考訳（メタデータ） (2020-11-30T16:39:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。