論文の概要: Data Leakage Prevention in Agentic Applications via Preemptive Hardening
- arxiv url: http://arxiv.org/abs/2607.18847v1
- Date: Tue, 21 Jul 2026 08:35:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.359348
- Title: Data Leakage Prevention in Agentic Applications via Preemptive Hardening
- Title（参考訳）: プリエンプティブ・ハードニングによるエージェント応用におけるデータ漏洩防止
- Abstract要約: 本稿では, エージェントアプリケーションのスキャン, 硬化, バリデーションのためのプレデプロイパイプラインを提案する。
パイプラインは、プロンプトテンプレート、ツールインターフェース、ツール呼び出しコードを分析して、リーク発生パターンを識別する。
アプリケーションコードの変更により、基本的なjailbreakと命令オーバライド攻撃をターゲットとしたリークを排除できた。
- 参考スコア（独自算出の注目度）: 20.817336331051752
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agentic systems integrate LLM driven planning with interfaces to external tools, making data leakage and tool misuse feasible via instruction/data boundary failures and prompt injection attacks. Enforcing required controls consistently is particularly challenging in workflows spanning many codebases and heterogeneous agents. To address this challenge in multi agentic systems, we present a pre-deployment pipeline for scanning, hardening, and validation of agentic applications. The pipeline analyzes prompt templates, tool interfaces, and tool-invocation code to identify leakage-enabling patterns and generate actionable patches. The hardened application is then validated through adversarial prompt injection attacks and benign input variations ensuring that mitigations do not disrupt intended behavior. In the hardening stage, high-risk tools are prioritized, and minimally invasive mitigations are applied, including schema tightening, boundary sanitization, allowlist-based tool gating, and least-privilege checks. In the validation stage, the pipeline automatically generates attack inputs that mimic jailbreaks, instruction overrides, and tool-targeted manipulation, along with benign task variants, to confirm that the functionality of the hardened application is preserved after remediation. We evaluated the pipeline on five real-world agentic applications, as well as on the AgentDojo benchmark. Across all applications, the proposed pipeline identified recurring leakage-enabling patterns and generated patches that can be integrated without disrupting the intended application behavior. The resulting modifications of application code were shown to eliminate leaks when targeted by basic jailbreak and instruction-override attacks, achieving a 100% reduction in leakage, and reduce leaks by 91% under conditions of stress-induced manipulation, without the need of continuous runtime policy enforcement.
- Abstract（参考訳）: エージェントシステムは、LCM駆動のプランニングを外部ツールへのインタフェースと統合し、命令/データ境界の障害やインジェクション攻撃によるデータ漏洩とツールの誤使用を可能にする。
多くのコードベースや異種エージェントにまたがるワークフローでは、必要なコントロールを一貫して実施することは特に難しい。
マルチエージェントシステムにおけるこの問題に対処するために,エージェントアプリケーションのスキャン,硬化,検証のための事前デプロイパイプラインを提案する。
パイプラインはプロンプトテンプレート、ツールインターフェース、ツール呼び出しコードを分析して、リーク発生パターンを特定し、実行可能なパッチを生成する。
硬化したアプリケーションは、敵のプロンプトインジェクション攻撃とベニグインプット変動により、緩和が意図した行動を妨げないように検証される。
硬化段階では、高リスクツールが優先され、スキーマの締め付け、バウンダリ衛生化、許容リストベースのツールゲーティング、最小限のプライベートチェックなど、最小限の侵襲的な緩和が適用される。
検証段階において、パイプラインは、ジェイルブレイク、命令オーバライド、ツールターゲット操作を模倣した攻撃入力を自動的に生成し、良質なタスク変種と共に、修復後の硬化したアプリケーションの機能が保存されていることを確認する。
5つの実世界のエージェントアプリケーションとAgentDojoベンチマークでパイプラインを評価した。
すべてのアプリケーションにわたって、提案されたパイプラインは、繰り返しリークを起こすパターンと、意図したアプリケーションの振る舞いを中断することなく統合できる生成されたパッチを特定した。
アプリケーションコードの変更は、基本的なジェイルブレイクや命令オーバライド攻撃を標的とした場合のリークを排除し、100%のリーク削減を実現し、継続的なランタイムポリシーの強制を必要とせず、ストレスによる操作の条件下では、リークを91%削減することを示した。
関連論文リスト
- ScrambleToolBench: Agents Search Exhaustively Even When Their Own Map Points to the Next Step [74.83535434786145]
ScrambleToolBenchは,行動推論の分離を目的とした対話型端末ベンチマークである。
このベンチマークでは、エージェントがテストとエラーのインタラクションを通じて、隠されたツールの振る舞いを明らかにする必要がある。
現状の言語モデルに対する我々の評価は、初期発見が成功しても頑健な適応にはならないことを示している。
論文 参考訳（メタデータ） (2026-08-03T15:07:46Z) - Bulkhead: Automated Semantic Detection and Remediation of Container Escape Vulnerabilities [20.880313075865434]
クロスバウンダリパスの誤分解は、コンテナエコシステムにおけるファイルシステムの分離を弱める。
PaTraの脆弱性は、セキュアでないホスト-コンテナ間相互作用に由来する。
Bulkheadは,大規模言語モデルと意味的脆弱性発見と修復のための形式的手法を統合した,自動化されたフレームワークである。
論文 参考訳（メタデータ） (2026-07-14T12:52:56Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors [48.881343993730844]
安全性に整合した大規模言語モデル(LLM)は、現実世界のパイプラインにますますデプロイされている。
敵は通常の評価では動作しないバックドアのチェックポイントを配布することができる。
最近のポストホック重み付け法は、そのようなバックドアを注入するための効率的なアプローチを提供する。
論文 参考訳（メタデータ） (2026-04-14T06:48:33Z) - Attesting LLM Pipelines: Enforcing Verifiable Training and Release Claims [2.0403981727850233]
現代の大規模言語モデル(LLM)システムは、事前トレーニングされた重み付け、微調整アダプタ、データセット、依存関係パッケージ、コンテナイメージといったサードパーティの成果物から組み立てられている。
このスピードには、妥協された依存関係、悪意のあるハブアーティファクト、安全でないデフォールト化、偽造された前兆、バックドアモデルなど、サプライチェーンのリスクが伴う。
本稿では,信頼された環境にアーティファクトが認められる前に,クレームエビデンスを検証し,安全なローディングと静的スキャンポリシーを適用し,セキュアなシリアル配置制約を適用した,証明対応のプロモーションゲートを提案する。
論文 参考訳（メタデータ） (2026-03-30T20:37:48Z) - AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。
ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。
探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
論文 参考訳（メタデータ） (2026-03-15T16:13:58Z) - OpenClaw PRISM: A Zero-Fork, Defense-in-Depth Runtime Security Layer for Tool-Augmented LLM Agents [6.185334606321749]
OpenClawベースのエージェントゲートウェイ用のゼロフォークランタイムセキュリティ層であるOpenClaw PRISMを提案する。
PRISMはプロセス内プラグインとオプションのサイドカーサービスを組み合わせることで、10つのライフサイクルフックに強制力を分散する。
エージェントランタイム設定におけるセキュリティの有効性,偽陽性,レイヤコントリビューション,ランタイムオーバーヘッド,運用復旧性を評価するための評価手法とベンチマークパイプラインについて概説する。
論文 参考訳（メタデータ） (2026-03-12T12:20:12Z) - Silent Egress: When Implicit Prompt Injection Makes LLM Agents Leak Without a Trace [0.0]
自動生成されたURLプレビューに埋め込まれた敵対的命令は、サイレント・エクスプレスと呼ばれるシステムレベルのリスクをもたらす可能性があることを示す。
完全にローカルで再現可能なテストベッドを使用して、悪意のあるWebページがエージェントを誘導し、機密性の高いランタイムコンテキストを透過するアウトバウンドリクエストを発行できることを実証する。
qwen2.5:7bをベースとした480の実験では、攻撃は高い確率 (P (exress) =0.89) で成功し、95%の攻撃は出力ベースの安全チェックでは検出されない。
論文 参考訳（メタデータ） (2026-02-25T22:26:23Z) - SkillJect: Automating Stealthy Skill-Based Prompt Injection for Coding Agents with Trace-Driven Closed-Loop Refinement [120.52289344734415]
エージェントスキルに適したステルスプロンプトインジェクションのための自動フレームワークを提案する。
フレームワークは、明示的なステルス制約の下でインジェクションスキルを合成するアタックエージェント、インジェクションされたスキルを使用してタスクを実行するコードエージェント、アクショントレースをログする評価エージェントの3つのエージェントでクローズドループを形成する。
本手法は,現実的な環境下で高い攻撃成功率を達成する。
論文 参考訳（メタデータ） (2026-02-15T16:09:48Z) - CaMeLs Can Use Computers Too: System-level Security for Computer Use Agents [60.98294016925157]
AIエージェントは、悪意のあるコンテンツがエージェントの行動をハイジャックして認証情報を盗んだり、金銭的損失を引き起こすような、インジェクション攻撃に弱い。
CUAのためのシングルショットプランニングでは、信頼できるプランナーが、潜在的に悪意のあるコンテンツを観察する前に、条件付きブランチで完全な実行グラフを生成する。
このアーキテクチャ分離は命令インジェクションを効果的に防止するが、ブランチステアリング攻撃を防ぐには追加の対策が必要であることを示す。
論文 参考訳（メタデータ） (2026-01-14T23:06:35Z) - Soft Instruction De-escalation Defense [36.36851291734834]
大規模言語モデル(LLM)は、ますます外部環境と相互作用するエージェントシステムにデプロイされている。
これにより、信頼できないデータを扱う際に、インジェクションをインジェクションすることが可能になる。
ツール拡張LDMエージェント用に設計された簡易かつ効果的な反復的プロンプト衛生ループSICを提案する。
論文 参考訳（メタデータ） (2025-10-24T00:04:07Z) - DRIFT: Dynamic Rule-Based Defense with Injection Isolation for Securing LLM Agents [52.92354372596197]
大規模言語モデル(LLM)は、強力な推論と計画能力のため、エージェントシステムの中心となってきています。
この相互作用は、外部ソースからの悪意のある入力がエージェントの振る舞いを誤解させる可能性がある、インジェクション攻撃のリスクも引き起こす。
本稿では,信頼に値するエージェントシステムのための動的ルールベースの分離フレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-13T05:01:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。