Fugu-MT 論文翻訳(概要): Design Patterns for Securing LLM Agents against Prompt Injections

論文の概要: Design Patterns for Securing LLM Agents against Prompt Injections

arxiv url: http://arxiv.org/abs/2506.08837v3
Date: Fri, 27 Jun 2025 11:13:27 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-30 15:06:58.852325
Title: Design Patterns for Securing LLM Agents against Prompt Injections
Title（参考訳）: LLM剤のプロンプト注入防止のための設計パターン
Authors: Luca Beurer-Kellner, Beat Buesser, Ana-Maria Creţu, Edoardo Debenedetti, Daniel Dobos, Daniel Fabian, Marc Fischer, David Froelicher, Kathrin Grosse, Daniel Naeff, Ezinwanne Ozoani, Andrew Paverd, Florian Tramèr, Václav Volhejn,
Abstract要約: インジェクション攻撃は自然言語入力に対するエージェントの弾力性を利用してる本稿では,AIエージェントのインジェクションに対する抵抗性を証明可能な設計パターンのセットを提案する。
参考スコア（独自算出の注目度）: 26.519964636138585
License: http://creativecommons.org/licenses/by/4.0/
Abstract: As AI agents powered by Large Language Models (LLMs) become increasingly versatile and capable of addressing a broad spectrum of tasks, ensuring their security has become a critical challenge. Among the most pressing threats are prompt injection attacks, which exploit the agent's resilience on natural language inputs -- an especially dangerous threat when agents are granted tool access or handle sensitive information. In this work, we propose a set of principled design patterns for building AI agents with provable resistance to prompt injection. We systematically analyze these patterns, discuss their trade-offs in terms of utility and security, and illustrate their real-world applicability through a series of case studies.
Abstract（参考訳）: LLM(Large Language Models)を利用したAIエージェントは、ますます汎用性が高くなり、幅広いタスクに対処できるようになり、セキュリティが重要な課題になっている。特に危険な脅威は、自然言語入力に対するエージェントの弾力性を利用するインジェクション攻撃だ。本研究では,AIエージェントをインジェクションの迅速化に抵抗しうる設計パターンの集合を提案する。我々はこれらのパターンを体系的に分析し、実用性とセキュリティの観点からそれらのトレードオフを議論し、一連のケーススタディを通して実世界の適用性を説明する。

関連論文リスト

Secure Tug-of-War (SecTOW): Iterative Defense-Attack Training with Reinforcement Learning for Multimodal Model Security [63.41350337821108]
マルチモーダル大規模言語モデル(MLLM)のセキュリティを高めるために,Secure Tug-of-War(SecTOW)を提案する。 SecTOWは2つのモジュールで構成される:ディフェンダーと補助攻撃者。どちらも強化学習(GRPO)を使用して反復的に訓練される。 SecTOWは、一般的な性能を維持しながら、セキュリティを大幅に改善することを示す。
論文参考訳（メタデータ） (2025-07-29T17:39:48Z)
Agent Safety Alignment via Reinforcement Learning [29.759393704688986]
ツール・ユース・エージェントのための一貫した安全アライメント・フレームワークを提案する。我々は、良識、悪意があり、ユーザープロンプトとツール応答の両方に敏感な三段階分類を導入する。その結果,安全性と有効性は共同で最適化できることが示唆された。
論文参考訳（メタデータ） (2025-07-11T02:34:16Z)
ATAG: AI-Agent Application Threat Assessment with Attack Graphs [23.757154032523093]
本稿では,Attack Graphs (ATAG) を用いたAIエージェントアプリケーションThreatアセスメントを提案する。 ATAGは、AIエージェントアプリケーションに関連するセキュリティリスクを体系的に分析するために設計された、新しいフレームワークである。マルチエージェントアプリケーションにおけるAIエージェント脅威の積極的な識別と緩和を容易にする。
論文参考訳（メタデータ） (2025-06-03T13:25:40Z)
AGENTFUZZER: Generic Black-Box Fuzzing for Indirect Prompt Injection against LLM Agents [54.29555239363013]
本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentFuzzerを提案する。我々はAgentFuzzerをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
論文参考訳（メタデータ） (2025-05-09T07:40:17Z)
Securing Agentic AI: A Comprehensive Threat Model and Mitigation Framework for Generative AI Agents [0.0]
本稿では,GenAIエージェントに特化した包括的脅威モデルを提案する。研究は、9つの主要な脅威を特定し、5つの主要なドメインにまたがってそれらを整理する。
論文参考訳（メタデータ） (2025-04-28T16:29:24Z)
Commercial LLM Agents Are Already Vulnerable to Simple Yet Dangerous Attacks [88.84977282952602]
最近のMLセキュリティ文献は、整列型大規模言語モデル(LLM)に対する攻撃に焦点を当てている。本稿では,LLMエージェントに特有のセキュリティとプライバシの脆弱性を分析する。我々は、人気のあるオープンソースおよび商用エージェントに対する一連の実証的な攻撃を行い、その脆弱性の即時的な影響を実証した。
論文参考訳（メタデータ） (2025-02-12T17:19:36Z)
Safety at Scale: A Comprehensive Survey of Large Model and Agent Safety [296.5392512998251]
我々は、敵攻撃、データ中毒、バックドア攻撃、ジェイルブレイクとプロンプトインジェクション攻撃、エネルギー遅延攻撃、データとモデル抽出攻撃、出現するエージェント固有の脅威を含む、大規模なモデルに対する安全脅威の包括的分類を提示する。我々は、大規模なモデル安全性におけるオープンな課題を特定し、議論し、包括的な安全性評価、スケーラブルで効果的な防御機構、持続可能なデータプラクティスの必要性を強調します。
論文参考訳（メタデータ） (2025-02-02T05:14:22Z)
Security of AI Agents [5.468745160706382]
システムセキュリティの観点から、AIエージェントの潜在的な脆弱性を特定し、記述する。本研究では,各脆弱性に対応する防御機構を設計と実験で導入し,その生存性を評価する。本稿では、現在のAIエージェント開発におけるセキュリティ問題を文脈的に分析し、AIエージェントをより安全で信頼性の高いものにするための方法を解説する。
論文参考訳（メタデータ） (2024-06-12T23:16:45Z)
On Prompt-Driven Safeguarding for Large Language Models [172.13943777203377]
表現空間では、入力クエリは通常、安全プロンプトによって「より高い拒絶」方向に移動される。これらの知見に触発されて,安全性向上,すなわちDROの最適化手法を提案する。安全性プロンプトを継続的かつトレーニング可能な埋め込みとして扱うことで、DROは、その有害性に応じて、クエリの表現を拒否方向に沿ってあるいは反対に移動させることを学ぶ。
論文参考訳（メタデータ） (2024-01-31T17:28:24Z)
Towards more Practical Threat Models in Artificial Intelligence Security [66.67624011455423]
最近の研究で、人工知能のセキュリティの研究と実践のギャップが特定されている。我々は、AIセキュリティ研究で最も研究されている6つの攻撃の脅威モデルを再検討し、実際にAIの使用と一致させる。
論文参考訳（メタデータ） (2023-11-16T16:09:44Z)
The Cybersecurity Crisis of Artificial Intelligence: Unrestrained Adoption and Natural Language-Based Attacks [0.0]
自己回帰言語モデル(AR-LLM)の広範な統合により、ユニークな拡張性を持つ重要な脆弱性が導入されている。このコメンタリーでは、これらの脆弱性、攻撃のベクターとしての自然言語への依存、サイバーセキュリティのベストプラクティスへの挑戦を分析します。
論文参考訳（メタデータ） (2023-09-25T10:48:46Z)
Towards Automated Classification of Attackers' TTPs by combining NLP with ML Techniques [77.34726150561087]
我々は,NLP(Natural Language Processing)と,研究におけるセキュリティ情報抽出に使用される機械学習技術の評価と比較を行った。本研究では,攻撃者の戦術や手法に従って非構造化テキストを自動的に分類するデータ処理パイプラインを提案する。
論文参考訳（メタデータ） (2022-07-18T09:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。