論文の概要: Securing AI Agents Against Prompt Injection Attacks

• arxiv url: http://arxiv.org/abs/2511.15759v1
• Date: Wed, 19 Nov 2025 10:00:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-21 17:08:52.320849
• Title: Securing AI Agents Against Prompt Injection Attacks
• Title（参考訳）: プロンプトインジェクション攻撃に対するAIエージェントのセキュア化
• Authors: Badrinath Ramakrishnan, Akshaya Balaji,
• Abstract要約: 本稿では,RAG対応AIエージェントのインジェクションリスク評価のためのベンチマークを提案する。 本フレームワークは,攻撃速度を73.2%から8.7%に削減し,94.3%のベースラインタスク性能を維持した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-augmented generation (RAG) systems have become widely used for enhancing large language model capabilities, but they introduce significant security vulnerabilities through prompt injection attacks. We present a comprehensive benchmark for evaluating prompt injection risks in RAG-enabled AI agents and propose a multi-layered defense framework. Our benchmark includes 847 adversarial test cases across five attack categories: direct injection, context manipulation, instruction override, data exfiltration, and cross-context contamination. We evaluate three defense mechanisms: content filtering with embedding-based anomaly detection, hierarchical system prompt guardrails, and multi-stage response verification, across seven state-of-the-art language models. Our combined framework reduces successful attack rates from 73.2% to 8.7% while maintaining 94.3% of baseline task performance. We release our benchmark dataset and defense implementation to support future research in AI agent security.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) システムは大規模言語モデルの能力向上に広く利用されているが、迅速なインジェクション攻撃によって重大なセキュリティ脆弱性が導入されている。 本稿では,RAG対応AIエージェントのインジェクションリスク評価のための総合的ベンチマークを提案し,多層防御フレームワークを提案する。 我々のベンチマークには、ダイレクトインジェクション、コンテキスト操作、命令オーバライド、データ抽出、コンテキスト間汚染の5つのカテゴリにわたる847の逆テストケースが含まれている。 組込み型異常検出によるコンテンツフィルタリング,階層型システムプロンプトガードレール,多段階応答検証の3つの防御機構を,7つの最先端言語モデルで評価した。 統合されたフレームワークは、攻撃率を73.2%から8.7%に削減し、ベースラインタスクパフォーマンスの94.3%を維持した。 AIエージェントセキュリティの今後の研究をサポートするため、ベンチマークデータセットとディフェンス実装をリリースします。

関連論文リスト

• Jailbreak Mimicry: Automated Discovery of Narrative-Based Jailbreaks for Large Language Models [0.0]
  大規模言語モデル(LLM)は、高度な迅速なエンジニアリング攻撃に対して脆弱なままである。 我々は、物語ベースのジェイルブレイクプロンプトを自動生成するために、コンパクトアタッカーモデルを訓練するための体系的方法論であるジェイルブレイク・ミミミリを紹介する。 我々のアプローチは、敵の迅速な発見を手作業の職人技から再現可能な科学的プロセスに変換する。
  論文  参考訳（メタデータ） (2025-10-24T23:53:16Z)
• Mind the Gap: Time-of-Check to Time-of-Use Vulnerabilities in LLM-Enabled Agents [4.303444472156151]
  大規模言語モデル(LLM)対応エージェントは、広範囲のアプリケーションで急速に出現している。 本研究は,LSM対応エージェントにおけるTOCTOU(time-of-use)脆弱性に関する最初の研究である。 我々は,このタイプの脆弱性を評価するために設計された,66の現実的なユーザタスクを備えたベンチマークTOCTOU-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-08-23T22:41:49Z)
• Bridging AI and Software Security: A Comparative Vulnerability Assessment of LLM Agent Deployment Paradigms [1.03121181235382]
  大規模言語モデル(LLM)エージェントは、AI固有の旧来のソフトウェアドメインにまたがるセキュリティ上の脆弱性に直面している。 本研究では,Function Calling アーキテクチャと Model Context Protocol (MCP) デプロイメントパラダイムの比較評価を通じて,このギャップを埋める。 私たちは7つの言語モデルにわたる3,250の攻撃シナリオをテストし、AI固有の脅威とソフトウェア脆弱性の両方を対象として、シンプルで、構成され、連鎖した攻撃を評価しました。
  論文  参考訳（メタデータ） (2025-07-08T18:24:28Z)
• Benchmarking Misuse Mitigation Against Covert Adversaries [80.74502950627736]
  既存の言語モデルの安全性評価は、オーバースト攻撃と低レベルのタスクに重点を置いている。 我々は、隠蔽攻撃と対応する防御の評価を自動化するデータ生成パイプラインである、ステートフルディフェンスのためのベンチマーク(BSD)を開発した。 評価の結果,分解攻撃は有効な誤用防止剤であり,その対策としてステートフルディフェンスを強調した。
  論文  参考訳（メタデータ） (2025-06-06T17:33:33Z)
• SecReEvalBench: A Multi-turned Security Resilience Evaluation Benchmark for Large Language Models [4.039934762896615]
  本稿ではSecReEvalBench, Security Resilience Evaluation Benchmarkを紹介する。 Prompt Attack Resilience Score、Prompt Attack Refusal Logic Score、ChainベースのAttack Resilience Score、ChainベースのAttack Rejection Time Scoreの4つの新しいメトリクスを定義している。 また、中立的なプロンプトと悪意のあるプロンプトの両方を組み込んだ、ベンチマーク用にカスタマイズされたデータセットも導入しています。
  論文  参考訳（メタデータ） (2025-05-12T14:09:24Z)
• AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
  本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。 我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。 攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
  論文  参考訳（メタデータ） (2025-05-09T07:40:17Z)
• MELON: Provable Defense Against Indirect Prompt Injection Attacks in AI Agents [60.30753230776882]
  LLMエージェントは間接的プロンプトインジェクション(IPI)攻撃に対して脆弱であり、ツール検索情報に埋め込まれた悪意のあるタスクはエージェントをリダイレクトして不正なアクションを取ることができる。 マスク機能によって修正されたマスク付きユーザでエージェントの軌道を再実行することで攻撃を検知する新しいIPIディフェンスであるMELONを提案する。
  論文  参考訳（メタデータ） (2025-02-07T18:57:49Z)
• Automatic and Universal Prompt Injection Attacks against Large Language Models [38.694912482525446]
  LLM(Large Language Models)は、命令を解釈し、従う能力によって、人間の言語を処理し、生成する際、優れた言語モデルである。 これらの攻撃はアプリケーションを操作して、ユーザの実際の要求から逸脱して、攻撃者のインジェクトされたコンテンツに対応する応答を生成する。 本稿では,プロンプトインジェクション攻撃の目的を理解するための統合フレームワークを導入し,高効率で普遍的なインジェクションデータを生成するための自動勾配ベース手法を提案する。
  論文  参考訳（メタデータ） (2024-03-07T23:46:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。