論文の概要: Beyond Instruction Override: Benchmarking Indirect Prompt Injection with Task-Tampering Attacks

• arxiv url: http://arxiv.org/abs/2611.07640v1
• Date: Thu, 05 Nov 2026 08:25:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.598548
• Title: Beyond Instruction Override: Benchmarking Indirect Prompt Injection with Task-Tampering Attacks
• Title（参考訳）: 命令オーバーライドを超えて:タスクテーパー攻撃による間接プロンプトインジェクションのベンチマーク
• Abstract要約: 間接的プロンプトインジェクション(IPI)ベンチマークは、主に、ツール使用エージェントをアタッカー・チョーゼンタスクにリダイレクトする植込み命令をテストする。 我々は命令のような言葉ではなく権威によってIPIを定義する。 3つのツール使用環境にまたがる90の検証済みケースのそれぞれにおいて、ユーザ要求は、対象とする決定を解決するソースを指定する。
• 参考スコア（独自算出の注目度）: 4.872395667632646
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Indirect prompt-injection (IPI) benchmarks predominantly test planted instructions that redirect a tool-using agent toward an attacker-chosen task. Yet attacker-controlled content can instead tamper with the outcome of the task already in progress. A buyer's dispute evidence can cite a false refund policy to inflate a refund without changing the task. We define IPI by authority rather than instruction-like wording: planted content constitutes an attack when it attempts to influence a decision that its source is not authorized to determine. We introduce a benchmark that makes this boundary explicit: in each of 90 validated cases across three tool-use environments, the user request specifies the source that resolves the targeted decision. Every attack tampers with a decision required by the benign task rather than replacing that task. Each case has attacks with the same harmful outcome that target up to six parts of the agent's decision making: its objective, decision rules, available actions, expected consequences, reading of observations, or beliefs about the current state. Without a defense, attacks on three of the five other targets (decision rules, available actions, and state) have higher mean success than objective attacks across five LLMs. A detection-and-removal defense reduces objective-targeting attacks to 2.4% success but leaves observation- and state-targeting attacks at 9.5% and 12.1%; this gap persists under detection-optimized rewrites. A tool-policy defense still allows 15.4% attack success, close to 17.0% without a defense, because these attacks generally retain expected tools and manipulate values obtained during execution. Evaluations whose attacks redirect the task or target only the agent's objective can therefore overestimate the coverage of these defenses. Code and data are available at https://github.com/amazon-science/task-tampering-prompt-injection.
• Abstract（参考訳）: 間接的プロンプトインジェクション(IPI)ベンチマークは、主に、ツール使用エージェントをアタッカー・チョーゼンタスクにリダイレクトする植込み命令をテストする。 しかし、攻撃者が制御するコンテンツは、すでに進行中のタスクの結果を邪魔する可能性がある。 買い手の論争の証拠は、タスクを変更することなく返金を膨らませる誤った返金政策を引用することができる。 IPIは、命令のような言葉ではなく、権威によって定義されている: ソースが決定する権限がないという判断に影響を及ぼそうとするときに、植えられたコンテンツが攻撃を構成する。 このバウンダリを明確にするベンチマークを導入する。3つのツール使用環境にまたがる検証済みケース90のそれぞれにおいて、ユーザ要求は、対象とする決定を解決するソースを指定する。 すべての攻撃は、そのタスクを置き換えるのではなく、良心的なタスクによって決定される。 各事件は、その目的、決定規則、利用可能な行動、期待された結果、観察の読み、現在の状態に関する信念の6つまでを目標とする、同じ有害な結果の攻撃がある。 防御がなければ、他の5つの目標のうち3つの攻撃(決定規則、利用可能な行動、状態)は、5つのLLMにわたる客観的攻撃よりも平均的成功率が高い。 検出と除去の防御により、目標目標攻撃は2.4%に減少するが、観測と状態目標攻撃は9.5%と12.1%に留まる。 ツール・ポリティクス・ディフェンスは、一般的に予想されるツールを保持し、実行中に得られた値を操作するため、攻撃が15.4%成功し、17.0%に近づいた。 したがって、攻撃がタスクをリダイレクトする、あるいはエージェントの目的のみを目標とする評価は、これらの防御のカバレッジを過大評価することができる。 コードとデータはhttps://github.com/amazon-science/task-tampering-prompt-injectionで公開されている。

関連論文リスト

• On Task, Off Track: Benchmarking LLM and Agent Robustness to Near-Target Prompt Injection [26.714202418939518]
  大規模言語モデル(LLM)とエージェントが外部コンテンツに埋め込まれた悪意のある命令に抵抗するかどうかを評価する。 我々は、正解に類似した応答を追求する攻撃を、標的に近い不正確または有害なインジェクションを導入しながら呼び出す。 我々はNear-Target BenchmarkであるNTBenchを紹介した。
  論文  参考訳（メタデータ） (2026-10-23T12:05:14Z)
• SEAD: A State-Based Perspective on Attack and Defense in Tool-Using Agents [9.229257239702827]
  攻撃と防御はSEADで部分的に観察される状態制御として定式化される。 攻撃者は具体的な行動を選択している間に指示を与えるため、DARTは有害な目標を局所的に妥当なステップに分解する。 制御された初期状態、再生可能なツール環境、タスク固有の実行可能チェックを統合した環境検証可能なデータセットを構築する。
  論文  参考訳（メタデータ） (2026-09-28T07:55:56Z)
• Beyond Attack-Success Rate: Action-Graded Severity Scale for Tool-Using AI Agents [0.0]
  エージェントのレッドチームベンチマークは、インジェクトされたエージェントが単一ビットとして侵入されたかどうかを報告している。 このバイナリ・アタック・サクセス・レートは、ディフェンダーが最も必要とする情報、すなわち、結果として生じるアクションがどれほど有害であるかを破棄する。 本研究では,7段階の順序尺度(L0〜L6)でエージェントのツールコール軌跡をスコアし,実行された動作が可逆性であったか,他者への到達範囲を超えたか,特権を拡大したかに応じて,アクショングレード調和ルーリックを導入する。
  論文  参考訳（メタデータ） (2026-07-08T14:38:01Z)
• Adaptive Evaluation of Out-of-Band Defenses Against Prompt Injection in LLM Agents [0.0]
  最近の研究は、間接的プロンプトインジェクションに対するツール使用 LLM エージェントの防御戦略に集約されている。 我々はこれらのアウト・オブ・バンド・ディフェンスを古典的整合性保護の事例として整理する。 我々は、このプロトコルを、Progent自身の適応攻撃解析の独立した複製と拡張として実行している。
  論文  参考訳（メタデータ） (2026-06-25T00:35:23Z)
• Defending against Adaptive Prompt Injection Attacks via Reasoning-enabled Task Alignment [25.752599132396437]
  間接的なプロンプトインジェクションは、エージェントがタスク実行中に検索するサードパーティデータに悪意のある命令を埋め込むことによって、LLMベースのエージェントをハイジャックする。 既存のディフェンスでは、静的なベンチマークでほぼゼロの攻撃成功率を報告しているが、最近のアダプティブ評価では、攻撃者がデプロイされたディフェンスに対して最適化を許せば、これらの結果は崩壊する。 本稿では,攻撃者が制御するデータではなく,ユーザタスクに対する防衛判断を基礎としたトレーニングベースのRETAを提案する。
  論文  参考訳（メタデータ） (2026-06-13T19:15:44Z)
• AutoDojo: Adaptive Black-Box Attacks Reveal the Limits of IPI Defenses and Task-Specification Effects in LLM Agents [57.34566159148893]
  間接的プロンプトインジェクション(IPI)は、LLMを動力とするエージェントに対する主要なセキュリティ脅威である。 我々は、特定の防御に対してIPIを最適化するAgentDojoの適応的な拡張であるAutoDojoを開発した。
  論文  参考訳（メタデータ） (2026-06-13T02:09:08Z)
• AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
  大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。 LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。 本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-12-23T08:42:09Z)
• Object-fabrication Targeted Attack for Object Detection [54.10697546734503]
  物体検出の敵攻撃は 標的攻撃と未標的攻撃を含む。 新たなオブジェクトファブリケーションターゲット攻撃モードは、特定のターゲットラベルを持つ追加の偽オブジェクトをファブリケートする検出器を誤解させる可能性がある。
  論文  参考訳（メタデータ） (2022-12-13T08:42:39Z)
• Zero-Query Transfer Attacks on Context-Aware Object Detectors [95.18656036716972]
  敵は、ディープニューラルネットワークが誤った分類結果を生成するような摂動画像を攻撃する。 自然の多目的シーンに対する敵対的攻撃を防御するための有望なアプローチは、文脈整合性チェックを課すことである。 本稿では,コンテキスト整合性チェックを回避可能な,コンテキスト整合性攻撃を生成するための最初のアプローチを提案する。
  論文  参考訳（メタデータ） (2022-03-29T04:33:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。