論文の概要: CAITLYN: Can LLM Agents Autonomously Synthesize Defenses against Emerging Injection Attacks?
- arxiv url: http://arxiv.org/abs/2608.27990v1
- Date: Fri, 28 Aug 2026 06:58:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.232159
- Title: CAITLYN: Can LLM Agents Autonomously Synthesize Defenses against Emerging Injection Attacks?
- Title（参考訳）: CAITLYN: LLMエージェントは、創発性注射攻撃に対する防衛を自律的に合成できるか?
- Abstract要約: LLM(Large Language Model)エージェントへのインジェクション攻撃は、エージェントが検索した外部テキストソースに悪意のある命令やコンテンツを導入しようとするものである。
既存のソリューションは典型的には固有のトリレンマ、すなわち実行時の効率性、文脈精度、適応性のトレードオフに悩まされる。
本稿では, エージェント非依存の防御装置であるCAITLYN (Lifelong Yielding Nexus) を用いて, 射出脅威に対する連続エージェントを提案する。
- 参考スコア（独自算出の注目度）: 19.263127813464134
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Prompt injection attacks on Large Language Model (LLM) agents seek to introduce malicious instructions or content into external text sources retrieved by agents, forcing the underlying LLMs to execute harmful actions outside their benign scope. While current defenses effectively counter known injection attacks, deploying them in LLM agent environments remains challenging due to attack variants and emerging threats. Moreover, existing solutions typically suffer from an inherent trilemma, i.e., a constant trade-off among runtime efficiency, contextual precision, and adaptability. To bridge this gap, we propose Continuous Agents for Injection Threats via Lifelong Yielding Nexus (CAITLYN), an agent-agnostic defense middleware. CAITLYN integrates two systems. System I focuses on immediate defense against existing attacks using a two-tiered library: Tier-0 for rule-based detection scripts and Tier-1 for optimized LLM-based accurate inference. System II, in contrast, is deployed to monitor potential abnormal signals and attempt to synthesize new defenses. On standard benchmarks, CAITLYN matches the detection performance of state-of-the-art defenses at lower token overhead than LLM-as-a-judge baselines. On Emerging, our new delivery-aware benchmark featuring novel injection techniques, static baselines and the standalone System I configuration remain vulnerable. In contrast, System II autonomously synthesizes verified defense capabilities, substantially lowering the attack success rate across three diverse agent environments.
- Abstract（参考訳）: LLM(Large Language Model)エージェントに対するプロンプトインジェクション攻撃は、エージェントが取得した外部テキストソースに悪意のある命令やコンテンツを導入し、その基盤となるLLMは、彼らの良識の範囲外で有害なアクションを実行することを強制する。
現在の防衛は、既知のインジェクション攻撃に効果的に対抗しているが、LLMエージェント環境への展開は、攻撃のバリエーションや新たな脅威のため、依然として困難である。
さらに、既存のソリューションは典型的には固有のトリレンマ、すなわち実行時の効率性、文脈精度、適応性のトレードオフに悩まされる。
このギャップを埋めるため, エージェント非依存の防衛ミドルウェアであるLifelong Yielding Nexus (CAITLYN) を通じて, インジェクション脅威に対する連続エージェントを提案する。
CAITLYNは2つのシステムを統合する。
System Iは、ルールベースの検出スクリプトのためのTier-0と、LLMベースの最適化された正確な推論のためのTier-1の2層ライブラリを使った既存の攻撃に対する即時防御に焦点を当てている。
対照的に、システムIIは潜在的な異常信号を監視し、新しい防御を合成しようとするために展開される。
標準的なベンチマークでは、CAITLYNはLLM-as-a-judgeベースラインよりも低いトークンオーバーヘッドで最先端の防御の検出性能と一致している。
Emergingでは、新しいインジェクションテクニック、静的ベースライン、スタンドアローンのSystem I構成を備えた、デリバリ対応の新たなベンチマークが引き続き脆弱です。
対照的に、システムIIは、検証済みの防御能力を自律的に合成し、3つの多様なエージェント環境における攻撃成功率を大幅に低下させる。
関連論文リスト
- AutoDojo: Adaptive Black-Box Attacks Reveal the Limits of IPI Defenses and Task-Specification Effects in LLM Agents [57.34566159148893]
間接的プロンプトインジェクション(IPI)は、LLMを動力とするエージェントに対する主要なセキュリティ脅威である。
我々は、特定の防御に対してIPIを最適化するAgentDojoの適応的な拡張であるAutoDojoを開発した。
論文 参考訳（メタデータ） (2026-06-13T02:09:08Z) - Disentangling Adversarial Prompts: A Semantic-Graph Defense for Robust LLM Security [13.404415593709986]
Adrialversa Prompt Disentanglement (APD)フレームワークは、大規模言語モデルによって処理される前に、入力プロンプト内の悪意あるコンポーネントを特定し、中立化する。
APDは、モデル性能に対する無視的な影響を維持しながら、有害な出力生成を85%以上削減する。
我々の研究は、機械学習のセキュリティにおける新しい攻撃とMLシステムの整合性に関する重要な課題に対処する。
論文 参考訳（メタデータ） (2026-05-27T01:30:06Z) - DualSentinel: A Lightweight Framework for Detecting Targeted Attacks in Black-box LLM via Dual Entropy Lull Pattern [23.834578989358423]
軽量で統一された防衛フレームワークであるDualSentinelを紹介する。
大規模言語モデル生成プロセスと共にターゲット攻撃のアクティベートを正確かつ迅速に検出することができる。
それは非常に効果的(ほぼゼロの偽陽性による事前検出精度)で、非常に効率的(無視できる追加コスト)である。
論文 参考訳（メタデータ） (2026-03-02T08:02:47Z) - SHIELD: An Auto-Healing Agentic Defense Framework for LLM Resource Exhaustion Attacks [5.779141020370452]
既存の防御は意味論的に意味のある攻撃に失敗する統計的フィルタに依存するか、攻撃戦略の進展に苦慮する静的LLMベースの検出器を使用するかのいずれかである。
3段階防衛エージェントを中心とした多エージェント自動治癒防衛フレームワークShiELDについて紹介する。
知識更新エージェントとプロンプト最適化エージェントの2つの補助エージェントは、攻撃が検出をバイパスした場合に閉じた自己修復ループを形成する。
論文 参考訳（メタデータ） (2026-01-27T04:03:15Z) - ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。
ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
論文 参考訳（メタデータ） (2026-01-15T08:23:38Z) - Defense Against Indirect Prompt Injection via Tool Result Parsing [5.69701430275527]
LLMエージェントは間接的なプロンプトインジェクションからエスカレートする脅威に直面している。
この脆弱性は、エージェントが物理的な環境をより直接的に制御するようになると、重大なリスクをもたらす。
そこで本稿では,LLMに対してツール解析による正確なデータを提供するとともに,注入された悪意のあるコードを効果的にフィルタリングする手法を提案する。
論文 参考訳（メタデータ） (2026-01-08T10:21:56Z) - Adversarial Attack-Defense Co-Evolution for LLM Safety Alignment via Tree-Group Dual-Aware Search and Optimization [51.12422886183246]
大規模言語モデル(LLM)は、Webサービスにおいて急速に発展し、社会的リスクを増幅しつつ、前例のない能力を提供してきた。
既存の作業は、分離されたジェイルブレイク攻撃または静的防御に重点を置いており、現実世界のWebコンテキストにおける進化する脅威とセーフガードの間の動的な相互作用を無視している。
ACE-Safetyは、2つの重要な革新的手順をシームレスに統合することにより、攻撃と防御モデルを協調的に最適化する新しいフレームワークである。
論文 参考訳（メタデータ） (2025-11-24T15:23:41Z) - A Multi-Agent LLM Defense Pipeline Against Prompt Injection Attacks [1.1435139523855764]
本稿では,インジェクション攻撃をリアルタイムに検出・中和する新しいマルチエージェント・ディフェンス・フレームワークを提案する。
我々は2つの異なるアーキテクチャ、シーケンシャル・チェーン・オブ・エージェント・パイプラインと階層的コーディネータ・ベース・システムを用いてアプローチを評価した。
論文 参考訳（メタデータ） (2025-09-16T19:11:28Z) - BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks [58.959622170433725]
BlindGuardは、攻撃固有のラベルや悪意のある振る舞いに関する事前の知識を必要とせずに学習する、教師なしの防御方法である。
BlindGuardはマルチエージェントシステムにまたがる多様な攻撃タイプ(即時注入、メモリ中毒、ツール攻撃)を効果的に検出する。
論文 参考訳（メタデータ） (2025-08-11T16:04:47Z) - AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。
我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。
攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
論文 参考訳（メタデータ） (2025-05-09T07:40:17Z) - MELON: Provable Defense Against Indirect Prompt Injection Attacks in AI Agents [60.30753230776882]
LLMエージェントは間接的プロンプトインジェクション(IPI)攻撃に対して脆弱であり、ツール検索情報に埋め込まれた悪意のあるタスクはエージェントをリダイレクトして不正なアクションを取ることができる。
マスク機能によって修正されたマスク付きユーザでエージェントの軌道を再実行することで攻撃を検知する新しいIPIディフェンスであるMELONを提案する。
論文 参考訳（メタデータ） (2025-02-07T18:57:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。