論文の概要: ActGuard: Pre-execution Action Auditing against Indirect Prompt Injection in LLM Agents
- arxiv url: http://arxiv.org/abs/2609.14987v1
- Date: Mon, 14 Sep 2026 03:47:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.060078
- Title: ActGuard: Pre-execution Action Auditing against Indirect Prompt Injection in LLM Agents
- Title（参考訳）: ActGuard: LLMエージェントの間接的プロンプト注入に対する監査の事前実行
- Abstract要約: 本稿では,事前実行動作監査フレームワークであるActGuardを提案する。
外部コンテンツが本質的に疑わしいかどうかを判断する代わりに、ActGuardは現在のアクションが合理的な期待から逸脱するかどうかを評価する。
検証者はその後、局所化された証拠を調べ、マスクは悪意のあるものとのみ確認され、衛生化された文脈からアクションを再生する。
- 参考スコア（独自算出の注目度）: 11.495797074855703
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) agents interact with external environments through tool invocation, but tool outputs can also expose them to indirect prompt injection (IPI) attacks. Existing defenses mainly rely on prompt hardening, content filtering, pre-generated plans, or permission constraints. These approaches often struggle with complex tasks or over-sanitize external content, making it difficult to balance security and utility. The key challenge is therefore to preserve execution flexibility while precisely identifying and removing the malicious content that actually induces unsafe actions. To address this challenge, we propose ActGuard, a pre-execution action auditing framework. Rather than judging whether external content is inherently suspicious, ActGuard assesses whether it causes the current action to deviate from a locally reasonable expectation. At each step, ActGuard predicts the tools likely to be used by the upcoming action and constructs a local tool prior without constraining the execution trajectory. Before execution, it compares the candidate action against this prior and performs tool-level contrastive analysis and parameter-level evidence localization to identify deviations in tool selection and action parameters. A verifier then examines the localized evidence, masks only spans confirmed as malicious, and regenerates the action from the sanitized context. This design preserves legitimate planning flexibility while minimizing information loss from indiscriminate filtering. We evaluate ActGuard on challenging benchmarks for tool-using agents. Results show that ActGuard reduces attack success rates to a level comparable to state-of-the-art defenses while maintaining task utility close to the no-attack setting, achieving a favorable security-utility trade-off. Our code is publicly available at: https://github.com/binzhwang/ActGuard.
- Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、ツール呼び出しを通じて外部環境と対話するが、ツール出力はそれらを間接的プロンプトインジェクション(IPI)攻撃に公開することもできる。
既存の防御は主に、急激な硬化、コンテンツフィルタリング、事前生成された計画、またはパーミッションの制約に依存している。
これらのアプローチは、複雑なタスクや外部コンテンツの過衛生化に苦労することが多く、セキュリティとユーティリティのバランスをとるのが難しくなる。
したがって、重要な課題は実行の柔軟性を保ちながら、安全でないアクションを実際に引き起こす悪意のあるコンテンツを正確に識別し削除することである。
この課題に対処するため、我々はアクトガード(ActGuard)という事前実行アクション監査フレームワークを提案する。
外部コンテンツが本質的に疑わしいかどうかを判断する代わりに、ActGuardは現在のアクションが局所的に合理的な期待から逸脱するかどうかを評価する。
各ステップでActGuardは、次のアクションで使用される可能性が高いツールを予測し、実行軌跡を制約することなく、事前にローカルツールを構築する。
実行前は、この前のアクションと比較し、ツールレベルのコントラスト分析とパラメータレベルのエビデンスローカライゼーションを実行し、ツール選択とアクションパラメータの偏差を特定する。
検証者はその後、局所化された証拠を調べ、マスクは悪意のあるものとのみ確認され、衛生化された文脈からアクションを再生する。
この設計は、識別不能なフィルタリングからの情報損失を最小限に抑えつつ、正当な計画の柔軟性を保っている。
我々はActGuardをツール使用エージェントの挑戦的ベンチマークで評価する。
結果は、ActGuardが攻撃の成功率を最先端の防衛に匹敵するレベルに減らし、非攻撃設定に近いタスクユーティリティを維持し、良好なセキュリティユーティリティトレードオフを実現していることを示している。
私たちのコードは、https://github.com/binzhwang/ActGuard.comで公開されています。
関連論文リスト
- ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。
提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
論文 参考訳（メタデータ） (2026-08-27T01:22:14Z) - StepGuard: Learning Step-Level Guardrails with Scalable Supervision and Safety-Utility Balancing [80.39644823192113]
StepGuardは、完了したエージェントの軌跡を監査し、実行前にツールアクションをチェックするステップレベルのガードモデルである。
StepGuardは、GPT-5.4に匹敵するパフォーマンスで、オープンウェイトガードモデルの中で最高の平均精度を達成した。
AgentDojoとAgentDynのエージェントを保護するために使用される場合、StepGuardは平均攻撃成功率を77.3%削減する。
論文 参考訳（メタデータ） (2026-08-25T16:17:27Z) - ToolGuardian: Declarative Security for AI Agent-Tool Interactions [0.0]
既存の防衛は、弱いメタデータ、崩壊特性、および政策判断に依存している。
本稿では,エージェントとツールのインタラクションをセキュアにするためのポリシー駆動型フレームワークであるToolGuardianを提案する。
論文 参考訳（メタデータ） (2026-07-23T21:53:34Z) - Think Twice Before You Act: Protecting LLM Agents Against Tool Description Poisoning via Isolated Planning [48.99783163807576]
クロスツール記述中毒は、エージェントの軌道を操縦するためにプランナー可視のツールメタデータを操作することができる。
重要な観察は、有毒な記述がステップを越えた計画コンテキストに留まり、その後のツール選択に対する継続的な影響を可能にすることである。
我々は,孤立計画と呼ばれる新しい概念に基づく新しいシステムレベルの防衛ツールであるTool-Guardを提案する。
論文 参考訳（メタデータ） (2026-06-18T20:31:08Z) - ClawGuard: A Runtime Security Framework for Tool-Augmented LLM Agents Against Indirect Prompt Injection [8.627671856044527]
textscClawGuardは、すべてのツール呼び出し境界に設定されたユーザ確認ルールを強制する。
textscClawGuardは、モデル修正やインフラストラクチャの変更なしに、3つのインジェクションパスをすべてブロックする。
この研究は、安全なエージェントAIシステムのための効果的な防御メカニズムとして、決定論的ツールコール境界強制を確立する。
論文 参考訳（メタデータ） (2026-04-13T17:55:11Z) - PlanGuard: Defending Agents against Indirect Prompt Injection via Planning-based Consistency Verification [1.7904458681854372]
PlanGuardは、コンテキスト分離の原則に基づいた、トレーニング不要の防御フレームワークである。
PlanGuardは攻撃を効果的に中和し、アタック成功率(ASR)を72.8%から0%に下げる。
論文 参考訳（メタデータ） (2026-04-11T09:59:46Z) - AttriGuard: Defeating Indirect Prompt Injection in LLM Agents via Causal Attribution of Tool Invocations [38.49666480491258]
LLMエージェントは間接プロンプト注入(IPI)に対して非常に脆弱である
本稿では,特定のツールコールが生成される理由を問うことでエージェントをセキュアにする,アクションレベルの因果属性という新しいパラダイムを提案する。
我々はこのパラダイムを、並列対実テストに基づくランタイムディフェンスであるAttriGuardでインスタンス化する。
論文 参考訳（メタデータ） (2026-03-11T13:23:46Z) - SkillJect: Automating Stealthy Skill-Based Prompt Injection for Coding Agents with Trace-Driven Closed-Loop Refinement [120.52289344734415]
エージェントスキルに適したステルスプロンプトインジェクションのための自動フレームワークを提案する。
フレームワークは、明示的なステルス制約の下でインジェクションスキルを合成するアタックエージェント、インジェクションされたスキルを使用してタスクを実行するコードエージェント、アクショントレースをログする評価エージェントの3つのエージェントでクローズドループを形成する。
本手法は,現実的な環境下で高い攻撃成功率を達成する。
論文 参考訳（メタデータ） (2026-02-15T16:09:48Z) - CausalArmor: Efficient Indirect Prompt Injection Guardrails via Causal Attribution [49.689452243966315]
ツールコール機能を備えたAIエージェントは、IPI(Indirect Prompt Injection)攻撃の影響を受けやすい。
本稿では,選択防衛フレームワークCausalArmorを提案する。
AgentDojoとDoomArenaの実験は、CausalArmorが攻撃的な防御のセキュリティと一致することを示した。
論文 参考訳（メタデータ） (2026-02-08T11:34:08Z) - ToolSafe: Enhancing Tool Invocation Safety of LLM-based agents via Proactive Step-level Guardrail and Feedback [53.2744585868162]
エージェントのデプロイには、ステップレベルのツールの実行動作をリアルタイムで監視することが不可欠だ。
LLMエージェントにおけるステップレベルツール起動安全検出のための新しいベンチマークであるTS-Benchを構築した。
次に,マルチタスク強化学習を用いたガードレールモデルTS-Guardを開発した。
論文 参考訳（メタデータ） (2026-01-15T07:54:32Z) - IPIGuard: A Novel Tool Dependency Graph-Based Defense Against Indirect Prompt Injection in LLM Agents [33.775221377823925]
大規模言語モデル(LLM)エージェントは現実世界のアプリケーションに広くデプロイされており、複雑なタスクのために外部データを検索し操作するためのツールを活用している。
信頼できないデータソースと対話する場合、ツールレスポンスには、エージェントの動作に秘密裏に影響を与え、悪意のある結果をもたらすインジェクションが含まれている可能性がある。
我々はIPIGuardと呼ばれる新しい防御タスク実行パラダイムを提案し、ソースにおける悪意あるツール呼び出しを防止する。
論文 参考訳（メタデータ） (2025-08-21T07:08:16Z) - MELON: Provable Defense Against Indirect Prompt Injection Attacks in AI Agents [60.30753230776882]
LLMエージェントは間接的プロンプトインジェクション(IPI)攻撃に対して脆弱であり、ツール検索情報に埋め込まれた悪意のあるタスクはエージェントをリダイレクトして不正なアクションを取ることができる。
マスク機能によって修正されたマスク付きユーザでエージェントの軌道を再実行することで攻撃を検知する新しいIPIディフェンスであるMELONを提案する。
論文 参考訳（メタデータ） (2025-02-07T18:57:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。