論文の概要: Silent Failures in Agentic Security Evaluation: A Validated Harness for Tool-Call Mediation Under Indirect Prompt Injection
- arxiv url: http://arxiv.org/abs/2609.32691v1
- Date: Sat, 26 Sep 2026 14:53:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 21:14:03.221337
- Title: Silent Failures in Agentic Security Evaluation: A Validated Harness for Tool-Call Mediation Under Indirect Prompt Injection
- Title（参考訳）: エージェントセキュリティ評価における無害障害 : 間接的プロンプト注入によるツールコール治療における適応的ハーネス
- Abstract要約: 特権ツールを起動するLLMエージェントは間接的プロンプトインジェクション(IPI)に脆弱である
4つの欠陥クラス - サイレントペイロードの非配信、引数ではなくツールアイデンティティによるアタック成功、モデル非能力と混同された偽リジェクション率、監査証跡の欠如 - を識別する。
我々は、欠陥と修正された定義の下で同じ実行トレースを再描画することで、歪みを定量化する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents that invoke privileged tools are vulnerable to indirect prompt injection (IPI), in which adversarial instructions embedded in retrieved data hijack the agent's actions. A growing body of work evaluates defenses against IPI, but the validity of that evaluation is rarely examined. We audit an IPI benchmark and its harness and identify four defect classes -- silent payload non-delivery, attack success scored by tool identity rather than arguments, false-rejection rate conflated with model incapacity, and the absence of an audit trail -- each of which yields a plausible, publishable, and incorrect number. We quantify the distortion by re-scoring identical execution traces under the defective and corrected definitions: on real agent behaviour, the tool-identity scorer reports a 21.7% attack-success rate where the true argument-level rate is 1.2%. In the sharpest case, an open model previously reported at 62.8% registers 0% under the corrected harness -- the prior figure largely an artifact of undelivered payloads and identity-level scoring. We release a harness whose construction makes each defect unrepresentable -- machine-checkable payload placement, argument-level attacker predicates, per-scenario environments, and mandatory trace persistence -- and use it to report three quantities the field does not: whether a compromised agent discloses the attack, the full security/utility operating curve of an LLM-judge defense, and tool-calling capability disentangled from defensive over-blocking. A corrected harness further overturns a reported "capability barrier": a model deemed incapable of tool use is in fact fully capable, its earlier result an artifact of environment mismatch. We argue that evaluation validity is a prerequisite for, not a footnote to, defense claims in agentic security, and provide an instrument that enforces it.
- Abstract（参考訳）: 特権ツールを起動するLDMエージェントは間接的プロンプトインジェクション(IPI)に対して脆弱であり、そのエージェントのアクションをハイジャックする。
IPIに対する防御効果を評価対象とする研究が増加しているが,その妥当性はまれである。
IPIベンチマークとそのハーネスを監査し、4つの欠陥クラスを識別する。サイレントペイロードの非配信、引数ではなくツールアイデンティティによる攻撃成功、モデル非能力と混同された偽拒絶率、監査トレイルの欠如などだ。
ツールアイデンティティスコアラは、実際のエージェント動作において、真の引数レベルのレートが1.2%である21.7%のアタック・サクセスレートを報告している。
最もシャープなケースでは、62.8%のオープンモデルが修正されたハーネスの0%を登録している。
マシンチェック可能なペイロード配置、引数レベルアタッカーの述語、シナリオごとの環境、強制トレースの永続性など、各欠陥を表現不能にし、フィールドにない3つの量、妥協されたエージェントが攻撃を開示するかどうか、LLM-judgeディフェンスの完全なセキュリティ/ユーティリティ操作曲線、防御オーバーブロッキングから拘束されないツールコール機能、をレポートするために使用する。
修正されたハーネスは、報告された"可搬性バリア"をさらに覆す: ツールの使用が不可能と見なされるモデルは、実際には完全に機能し、初期の結果は環境ミスマッチの成果物である。
我々は,評価の妥当性は,エージェントセキュリティにおける防衛的主張の前提条件ではなく,前提条件であると主張し,それを強制する手段を提供する。
関連論文リスト
- Adversarial Testing of Automated Program Repair Agents for Security Vulnerabilities [14.543680943818975]
LLM(Large Language Models)を持つソフトウェアエージェントは、APR(Automated Program repair)タスク用に設計されている。
このような状況下では、APRエージェントが正しいコードと安全なコードの両方を生成できるだろうか?
もし攻撃者が敵対的な問題のあるAPRエージェントを標的にすれば、エージェントは正しいが安全でないコードを生成するのに影響を及ぼすかもしれない。
論文 参考訳（メタデータ） (2026-09-14T17:53:49Z) - ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。
提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
論文 参考訳（メタデータ） (2026-08-27T01:22:14Z) - Guardrails as Scapegoats: Auditing Unfaithful Safety Refusals in Tool-Augmented LLM Agents [0.0]
12個の生産スタブに4つのサイレント障害プロファイルを注入する、軽量なブラックボックス監査フレームワークを導入する。
我々は,HSR(Honest Surrender),製造(FAR),不信の安全拒絶(Unfaithful Safety Refusal)が支配的であることを発見した。
USRは、システム内の安全語彙が政策論理を素数に促すと活性化される潜伏行動である。
論文 参考訳（メタデータ） (2026-07-21T13:23:05Z) - Beyond Attack-Success Rate: Action-Graded Severity Scale for Tool-Using AI Agents [0.0]
エージェントのレッドチームベンチマークは、インジェクトされたエージェントが単一ビットとして侵入されたかどうかを報告している。
このバイナリ・アタック・サクセス・レートは、ディフェンダーが最も必要とする情報、すなわち、結果として生じるアクションがどれほど有害であるかを破棄する。
本研究では,7段階の順序尺度(L0〜L6)でエージェントのツールコール軌跡をスコアし,実行された動作が可逆性であったか,他者への到達範囲を超えたか,特権を拡大したかに応じて,アクショングレード調和ルーリックを導入する。
論文 参考訳（メタデータ） (2026-07-08T14:38:01Z) - AgentSecBench: Measuring Prompt Injection, Privacy Leakage, and Tool-Use Integrity in LLM Agents [0.2864713389096699]
本稿では,AgentSecBenchを,この問題に対する正式なセキュリティフレームワークの実証的なインスタンス化として紹介する。
3つのゲーム・インストラクション・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス(英語版)・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス(英語版)・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス(英語版)を定めている。
これは、承認された観察と能力に対するプロジェクションとしてのアプリケーションポリシーを表し、プロジェクションの即時アノテーションとプロジェクションの強化を区別し、敵のアドバンテージと、防衛が生成前に関連するモデル可視チャネルを閉鎖するかどうかを計測する。
論文 参考訳（メタデータ） (2026-05-25T18:53:22Z) - CausalArmor: Efficient Indirect Prompt Injection Guardrails via Causal Attribution [49.689452243966315]
ツールコール機能を備えたAIエージェントは、IPI(Indirect Prompt Injection)攻撃の影響を受けやすい。
本稿では,選択防衛フレームワークCausalArmorを提案する。
AgentDojoとDoomArenaの実験は、CausalArmorが攻撃的な防御のセキュリティと一致することを示した。
論文 参考訳（メタデータ） (2026-02-08T11:34:08Z) - AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。
LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。
本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
論文 参考訳（メタデータ） (2025-12-23T08:42:09Z) - VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。
セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。
平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
論文 参考訳（メタデータ） (2025-09-15T02:25:38Z) - Malicious Agent Detection for Robust Multi-Agent Collaborative Perception [52.261231738242266]
多エージェント協調(MAC)知覚は、単エージェント認識よりも敵攻撃に対して脆弱である。
MAC知覚に特異的な反応防御であるMADE(Malicious Agent Detection)を提案する。
我々は、ベンチマーク3DデータセットV2X-simとリアルタイムデータセットDAIR-V2Xで包括的な評価を行う。
論文 参考訳（メタデータ） (2023-10-18T11:36:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。