論文の概要: Reachability-Based Capability Confinement for LLM Agents under Indirect Prompt Injection
- arxiv url: http://arxiv.org/abs/2608.30041v1
- Date: Sun, 30 Aug 2026 20:57:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.164069
- Title: Reachability-Based Capability Confinement for LLM Agents under Indirect Prompt Injection
- Title(参考訳): 間接プロンプト注入下でのLDM剤の到達性に基づく機能制限
- Abstract要約: SkillGuardは、汚染を汚染として扱い、結果として生じる状態をデプロイが定義した禁止状態から切り離す機能を制限するハーネスレベルの執行層である。
我々は、Gmini 2.5 FlashとLlama3.3-70Bの4つのAgentDojoスイート上で、LLMのみのNo Defenseベースラインと異なるシステム層での3つのディフェンスに対してSkillGuardを評価した。
- 参考スコア(独自算出の注目度): 8.339789704552706
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large language model agents place outputs from external skills into their execution context, allowing attacker-controlled data to influence later privileged actions. Existing defenses mainly classify untrusted content or authorize proposed operations. They do not directly address how an agent's future authority should change once untrusted data enters its state. We present SkillGuard, a harness-level enforcement layer that treats this event as contamination and restricts future capabilities to disconnect the resulting state from deployer-defined forbidden states. Given sound skill summaries and policies, SkillGuard represents security-relevant transitions with a Skill Impact Graph, specifies admissible control over skill parameters via steerability signatures, and mediates invocations with an inline reference monitor. Following contamination, it computes weighted capability restrictions using binary, fractional, or fractional-flow strategies without auxiliary language-model inference. We evaluate SkillGuard on four AgentDojo suites with two backend LLMs, Gemini 2.5 Flash and Llama3.3-70B, against an LLM-only No Defense baseline and three defenses at different system layers: Spotlighting, CaMeL, and AttriGuard. We construct a compositional attack benchmark in which each attack combines observations individually insufficient to induce target violation and evaluate the same baselines on it. Under AgentDojo's Tool Knowledge attacks, SkillGuard eliminates attack success on three of four suites for both backends and reduces it to 4.8% and 14.3% on Slack. Against compositional attacks, it outperforms every baseline on Llama and matches the strongest baseline on Gemini at higher benign utility. Fractional-flow restriction preserves substantially more capabilities than binary restriction at the same attack success rate. Across both settings, SkillGuard adds no model calls or token overhead.
- Abstract(参考訳): 大規模な言語モデルエージェントは、外部のスキルから出力を実行コンテキストに配置し、攻撃者が制御したデータが後続の特権的なアクションに影響を与えるようにする。
既存の防衛は、主に信頼できないコンテンツを分類するか、提案された操作を認可する。
彼らは、信頼できないデータが状態に入ると、エージェントの将来の権限がどのように変更されるべきかを直接論じていない。
我々は、このイベントを汚染として扱うハーネスレベルの執行層であるSkillGuardを紹介します。
SkillGuardはセキュリティ関連トランジションをSkill Impact Graphで表現し、ステアビリティシグネチャを通じてスキルパラメータの許容可能なコントロールを指定し、インラインリファレンスモニタで呼び出しを仲介する。
汚染後、補助言語モデル推論なしでバイナリ、分数、分数フロー戦略を用いて重み付けされた機能制限を計算する。
我々は、Gmini 2.5 FlashとLlama3.3-70Bという2つのバックエンドのLLMを備えた4つのAgentDojoスイート上でSkillGuardを評価し、LLMのみのNo Defenseベースラインと、Spotlighting、CaMeL、AttriGuardの3つのシステムレイヤにおける3つのディフェンスを比較した。
我々は,各攻撃が個別に不十分な観測を組み合わせ,目標違反を誘発し,同じベースラインを評価する構成的攻撃ベンチマークを構築した。
AgentDojoのツール知識攻撃の下で、SkillGuardは、両方のバックエンド用の4つのスイートのうち3つの攻撃成功を排除し、Slackの4.8%と14.3%に削減する。
作曲攻撃に対して、ラマの全てのベースラインを上回り、より良質な実用性でジェミニの最強のベースラインと一致する。
フラクショナルフロー制限は、同じ攻撃成功率でバイナリ制限よりもはるかに多くの機能を保持する。
両方の設定で、SkillGuardはモデル呼び出しやトークンのオーバーヘッドを追加しない。
関連論文リスト
- Privacy-Preserving Topology-Guided Safety for LLM-Based Multi-Agent Systems via Federated Graph Learning [67.04448659688579]
FGLGuardは、AgentDojoのグランドサクセスレートを、ほぼ無防備なユーティリティ、APIコストゼロ、無視可能な機能損失で43%削減する。
フェデレーションはオプションではなく、オフ・ザ・シェルフ・トランスファーは流通シフトによって崩壊する。
Live FGLGuardは、AgentDojoのグランドサクセスレートを、ほぼ無防備なユーティリティ、APIコストゼロ、無視可能な機能損失で43%削減する。
論文 参考訳(メタデータ) (2026-09-02T07:57:12Z) - SIR: Self-improving Red-teaming for Compute Use Agents [71.71987044117371]
コンピュータ・ユース・エージェント(CUA、Computer use agent)は、マウス、キーボード、端末を通じて画面を認識し、実際のオペレーティングシステムに作用する視覚言語モデルである。
操作中に信頼できないコンテンツに晒されるため、間接的プロンプトインジェクション(IPI)に弱い。
SIRは,平易な言語で記述された再利用原則の小さなライブラリからステルスインジェクションを構成するブラックボックスIPIアタックである。
論文 参考訳(メタデータ) (2026-08-31T03:39:43Z) - SkillShield: Prompt-Space Security Skills for LLM Coding Agents [20.042094810707166]
SkillShieldは、既知の攻撃や記録されたエージェント障害からオフラインでセキュリティスキルを合成するシステムプロンプトディフェンスである。
実行中にモデルが従うべきセキュリティポリシーを定義することで、システムを保護する。
RedCode上の6つの大きな言語モデルの中で、デフォルトのオールクラスのスキルは、マルウェア生成の重症度を3.37から0.58に減らし、43.6%の実行攻撃の成功率を達成した。
論文 参考訳(メタデータ) (2026-08-26T14:00:11Z) - StepGuard: Learning Step-Level Guardrails with Scalable Supervision and Safety-Utility Balancing [80.39644823192113]
StepGuardは、完了したエージェントの軌跡を監査し、実行前にツールアクションをチェックするステップレベルのガードモデルである。
StepGuardは、GPT-5.4に匹敵するパフォーマンスで、オープンウェイトガードモデルの中で最高の平均精度を達成した。
AgentDojoとAgentDynのエージェントを保護するために使用される場合、StepGuardは平均攻撃成功率を77.3%削減する。
論文 参考訳(メタデータ) (2026-08-25T16:17:27Z) - ElasticBack: Stealthy Conditional Backdoor in LLM-Agent Skills via Coupled Trigger-Rule Optimization [19.596331768742925]
ElasticBackは条件付きシングルスキルバックドアで、スキルドキュメントにルールRを、ユーザクエリに良質なトリガーTを配置する。
その後、Rを凍結し、ステルス拘束された遺伝子探索でTを進化させ、有効性とステルスを最適化する。
実験によると、ElasticBackは、クリーンな正確さ、モデル間の転送、デプロイ時の防御を回避することで、ほぼゼロの偽陽性率で高い攻撃成功率を達成した。
論文 参考訳(メタデータ) (2026-08-10T13:12:35Z) - FlipGuard: Defending Large Language Models Against Quantization-Conditioned Backdoor Attacks [11.27557330957057]
量子化に先立ってモデル重みを選択的に摂動するプロアクティブディフェンスフレームワークであるFlipGuardを紹介する。
ウェイトパターンと量子化境界の間の敵の正確なアライメントを壊すことで、FlipGuardはトレーニングデータへのアクセスやサンプルのトリガを必要とせずに、バックドアのアクティベーションを抑える。
論文 参考訳(メタデータ) (2026-06-27T15:02:42Z) - SecureClaw: Clawing Back Control of LLM Agents [5.952015302242554]
ツールを使用する大規模言語モデル(LLM)エージェントは2つの異なるセキュリティ障害に直面している。
本稿では、エフェクトシンクに認証を配置し、リードバウンダリにプレーンテキストを閉じ込めるデュアルバウンダリアーキテクチャであるSecureClawを提案する。
AgentDojo、AgentLeak、Agent Security Bench (ASB)、SecureClawは、私たちが共通のハーネスで評価する唯一の防御です。
論文 参考訳(メタデータ) (2026-06-08T14:29:01Z) - AttriGuard: Defeating Indirect Prompt Injection in LLM Agents via Causal Attribution of Tool Invocations [38.49666480491258]
LLMエージェントは間接プロンプト注入(IPI)に対して非常に脆弱である
本稿では,特定のツールコールが生成される理由を問うことでエージェントをセキュアにする,アクションレベルの因果属性という新しいパラダイムを提案する。
我々はこのパラダイムを、並列対実テストに基づくランタイムディフェンスであるAttriGuardでインスタンス化する。
論文 参考訳(メタデータ) (2026-03-11T13:23:46Z) - Visual Backdoor Attacks on MLLM Embodied Decision Making via Contrastive Trigger Learning [89.1856483797116]
MLLMをベースとした組込みエージェントに視覚的バックドアを注入する最初のフレームワークであるBEATを紹介する。
テキストトリガーとは異なり、オブジェクトトリガーは視点や照明の幅が広いため、確実に移植することは困難である。
BEATは攻撃の成功率を最大80%まで達成し、強い良識のあるタスクパフォーマンスを維持します。
論文 参考訳(メタデータ) (2025-10-31T16:50:49Z) - Malice in Agentland: Down the Rabbit Hole of Backdoors in the AI Supply Chain [82.98626829232899]
自分自身のインタラクションからのデータに対する微調整のAIエージェントは、AIサプライチェーン内の重要なセキュリティ脆弱性を導入している。
敵は容易にデータ収集パイプラインに毒を盛り、検出しにくいバックドアを埋め込むことができる。
論文 参考訳(メタデータ) (2025-10-03T12:47:21Z) - AdvEvo-MARL: Shaping Internalized Safety through Adversarial Co-Evolution in Multi-Agent Reinforcement Learning [78.5751183537704]
AdvEvo-MARLは、タスクエージェントに安全性を内部化する、共進化型マルチエージェント強化学習フレームワークである。
外部ガードに頼るのではなく、AdvEvo-MARLは攻撃者と防御者を共同で最適化する。
論文 参考訳(メタデータ) (2025-10-02T02:06:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。