論文の概要: LivePI: More Realistic Benchmarking of Agents Against Indirect Prompt Injectio
- arxiv url: http://arxiv.org/abs/2605.17986v1
- Date: Mon, 18 May 2026 07:41:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:49.00264
- Title: LivePI: More Realistic Benchmarking of Agents Against Indirect Prompt Injectio
- Title（参考訳）: LivePI: 間接的プロンプトインジェクションに対するエージェントのより現実的なベンチマーク
- Authors: Lei Zhao, Abhay Bhaskar, Edgar Dobriban,
- Abstract要約: LivePIは、プロダクション風だがテスト制御された環境でIPIリスクの構造化されたベンチマークである。
LivePIは7つの入力面、12の攻撃/レンダリングファミリー、5つの悪意のある目標をカバーしている。
グループチャットインジェクションは、デプロイメントにおいて評価されたバックボーン全体で均一に成功しています。
- 参考スコア（独自算出の注目度）: 18.354880541606004
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI agents such as OpenClaw are increasingly deployed in local workflows with access to external tools. This creates indirect prompt-injection (IPI) risk: an agent may execute harmful instructions embedded in untrusted inputs such as email, downloaded files, webpages, repositories, or group-chat messages. Existing evaluations are often small, purely simulated, or focused on a narrow set of channels. We introduce LivePI (Live Prompt Injection), a structured benchmark for IPI risk in a production-like but test-controlled environment. LivePI covers seven input surfaces, twelve attack/rendering families, and five malicious goals, including protected-information exfiltration, unauthorized security-control changes, unsafe code retrieval or execution, inbox-summary exfiltration, and cryptocurrency transfer. We run LivePI on a real virtual machine with live but test-controlled email, chat, web, local-file, repository, and wallet interfaces. Across GPT-5.3-Codex, Claude Opus 4.6, Gemini 3.1 Pro, Kimi K2.5, and GLM-5, total attack success rates range from 10.7% to 29.6%. Group-chat injection is uniformly successful across the evaluated backbones in our deployment, and repository-link attacks produce high-severity failures despite a small denominator. We also evaluate a two-layer defense consisting of prompt-level filtering and pre-execution tool-call authorization. In the GPT-5.3-Codex setting, the defense intercepts all tested malicious-goal completions in LivePI before execution while preserving benign utility on PinchBench-derived workloads.
- Abstract（参考訳）: OpenClawのようなAIエージェントは、外部ツールにアクセス可能なローカルワークフローに徐々にデプロイされている。
エージェントは電子メール、ダウンロードされたファイル、Webページ、リポジトリ、グループチャットメッセージなどの信頼できない入力に埋め込まれた有害な命令を実行することができる。
既存の評価は、しばしば小さく、純粋にシミュレートされ、狭いチャネルのセットに集中する。
実運用環境においてIPIリスクの構造化されたベンチマークであるLivePI(Live Prompt Injection)を導入する。
LivePIは7つの入力面、12の攻撃/レンダリングファミリー、および保護情報流出、不正なセキュリティ制御の変更、安全でないコード検索または実行、インボックス・土木流出、暗号通貨の転送を含む5つの悪意ある目標をカバーしている。
LivePIは、ライブだがテスト制御されたEメール、チャット、Web、ローカルファイル、レポジトリ、ウォレットインターフェースを備えた、実際の仮想マシン上で実行します。
GPT-5.3-Codex, Claude Opus 4.6, Gemini 3.1 Pro, Kimi K2.5, GLM-5の合計攻撃成功率は10.7%から29.6%である。
グループチャットインジェクションは、デプロイメントにおいて評価されたバックボーン全体にわたって均一に成功し、リポジトリリンクアタックは、小さな分母にもかかわらず高い重大障害を引き起こす。
また,プロンプトレベルフィルタリングと事前実行ツールコール認証を組み合わせた2層ディフェンスの評価を行った。
GPT-5.3-Codex設定では、ディフェンスは、PinchBench由来のワークロードで良質なユーティリティを保持しながら、実行前にLivePIでテストされたすべての悪意のあるゴール完了をインターセプトする。
関連論文リスト
- ShieldNet: Network-Level Guardrails against Emerging Supply-Chain Injections in Agentic Systems [56.613157564882925]
悪意のある行動は、一見良心的なツールに埋め込まれ、エージェントの実行を静かにハイジャックしたり、機密データをリークしたり、無許可のアクションをトリガーしたりする。
影響は拡大しているが、このような脅威を評価するための包括的なベンチマークは今のところ存在しない。
実ネットワークの相互作用を観測してサプライチェーン中毒を検出するネットワークレベルのガードレールフレームワークであるShieldNetを提案する。
論文 参考訳（メタデータ） (2026-04-06T05:15:00Z) - OpenClaw PRISM: A Zero-Fork, Defense-in-Depth Runtime Security Layer for Tool-Augmented LLM Agents [6.185334606321749]
OpenClawベースのエージェントゲートウェイ用のゼロフォークランタイムセキュリティ層であるOpenClaw PRISMを提案する。
PRISMはプロセス内プラグインとオプションのサイドカーサービスを組み合わせることで、10つのライフサイクルフックに強制力を分散する。
エージェントランタイム設定におけるセキュリティの有効性,偽陽性,レイヤコントリビューション,ランタイムオーバーヘッド,運用復旧性を評価するための評価手法とベンチマークパイプラインについて概説する。
論文 参考訳（メタデータ） (2026-03-12T12:20:12Z) - Silent Egress: When Implicit Prompt Injection Makes LLM Agents Leak Without a Trace [0.0]
自動生成されたURLプレビューに埋め込まれた敵対的命令は、サイレント・エクスプレスと呼ばれるシステムレベルのリスクをもたらす可能性があることを示す。
完全にローカルで再現可能なテストベッドを使用して、悪意のあるWebページがエージェントを誘導し、機密性の高いランタイムコンテキストを透過するアウトバウンドリクエストを発行できることを実証する。
qwen2.5:7bをベースとした480の実験では、攻撃は高い確率 (P (exress) =0.89) で成功し、95%の攻撃は出力ベースの安全チェックでは検出されない。
論文 参考訳（メタデータ） (2026-02-25T22:26:23Z) - SkillJect: Automating Stealthy Skill-Based Prompt Injection for Coding Agents with Trace-Driven Closed-Loop Refinement [120.52289344734415]
エージェントスキルに適したステルスプロンプトインジェクションのための自動フレームワークを提案する。
フレームワークは、明示的なステルス制約の下でインジェクションスキルを合成するアタックエージェント、インジェクションされたスキルを使用してタスクを実行するコードエージェント、アクショントレースをログする評価エージェントの3つのエージェントでクローズドループを形成する。
本手法は,現実的な環境下で高い攻撃成功率を達成する。
論文 参考訳（メタデータ） (2026-02-15T16:09:48Z) - VPI-Bench: Visual Prompt Injection Attacks for Computer-Use Agents [74.6761188527948]
完全なシステムアクセスを持つコンピュータ利用エージェント(CUA)は、セキュリティとプライバシの重大なリスクを負う。
我々は、悪意のある命令がレンダリングされたユーザーインターフェイスに視覚的に埋め込まれた視覚的プロンプトインジェクション(VPI)攻撃について検討する。
実験により,現在のCUAとBUAは,それぞれのプラットフォーム上で最大51%,100%の速度で騙すことができることがわかった。
論文 参考訳（メタデータ） (2025-06-03T05:21:50Z) - Defending against Indirect Prompt Injection by Instruction Detection [109.30156975159561]
InstructDetectorは、LLMの動作状態を利用して潜在的なIPI攻撃を特定する、新しい検出ベースのアプローチである。
InstructDetectorは、ドメイン内設定で99.60%、ドメイン外設定で96.90%の検出精度を達成し、攻撃成功率をBIPIAベンチマークで0.03%に下げる。
論文 参考訳（メタデータ） (2025-05-08T13:04:45Z) - InjecAgent: Benchmarking Indirect Prompt Injections in Tool-Integrated Large Language Model Agents [3.5248694676821484]
IPI攻撃に対するツール統合LDMエージェントの脆弱性を評価するためのベンチマークであるInjecAgentを紹介する。
InjecAgentは17の異なるユーザーツールと62の攻撃ツールをカバーする1,054のテストケースで構成されている。
エージェントはIPI攻撃に対して脆弱であり、ReAct-prompted GPT-4は24%の時間攻撃に対して脆弱である。
論文 参考訳（メタデータ） (2024-03-05T06:21:45Z) - Adversarial EXEmples: A Survey and Experimental Evaluation of Practical
Attacks on Machine Learning for Windows Malware Detection [67.53296659361598]
EXEmplesは、比較的少ない入力バイトを摂動することで、機械学習に基づく検出をバイパスすることができる。
我々は、機械学習モデルに対する過去の攻撃を包含し、一般化するだけでなく、3つの新たな攻撃を含む統一フレームワークを開発する。
これらの攻撃はFull DOS、Extended、Shiftと呼ばれ、DOSヘッダをそれぞれ操作し、拡張し、第1セクションの内容を変更することで、敵のペイロードを注入する。
論文 参考訳（メタデータ） (2020-08-17T07:16:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。