論文の概要: On the Relative Security of Prompt Injection: Mechanised Definitions, Defences and Verdicts for LLM Agents
- arxiv url: http://arxiv.org/abs/2611.11506v1
- Date: Sun, 08 Nov 2026 17:20:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:38.049749
- Title: On the Relative Security of Prompt Injection: Mechanised Definitions, Defences and Verdicts for LLM Agents
- Title(参考訳): プロンプト注入の相対的安全性について: LLM エージェントの機械的定義・防御・検証
- Abstract要約: 我々は、信頼できないコンテンツに従わないモデルで同じモニターの下で同じ計画を実行する参照エージェントに対して、セキュリティを記述します。
エージェントは、リークがあるたびに、参照がすでに持っているリークであれば、比較的セキュアである。
フェンスの定理は、最初の信頼できないリードで射出可能なツールを取り消し、決してそれを返さないことで、すべての計画が有限ランのイベントレベルで比較的安全であることを示している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An LLM agent that reads untrusted content, such as an email or a web page, may follow instructions hidden in it. Noninterference is too strong for such agents, since a useful agent lets untrusted content influence what it does and may disclose the user's data by design, and declassification needs a release policy written for each task. We instead state security relative to a reference agent, which runs the same plan under the same runtime monitor with a model that never obeys untrusted content. An agent is relatively secure if every leak it has is a leak the reference already has. Our framework, PlanTERS, instantiates relative security, a notion from speculative execution, with a small agent language in which the attacker chooses how the model follows instructions, a composition with runtime monitors, and attacker models that differ in what they observe. A fence theorem shows that revoking injectable tools at the first untrusted read, and never granting them back, makes every plan relatively secure at the event level on finite runs, for every model behaviour in which each injection is a single call and the model obeys on a schedule fixed in advance; with a fairness condition, this extends to possibly infinite runs. We prove or refute relative security for agents with fences, budgets, approvals, loops and dual LLMs, in Isabelle/HOL.
- Abstract(参考訳): 電子メールやWebページなどの信頼できないコンテンツを読み込むLLMエージェントは、その中に隠された命令に従うことができる。
非干渉は、そのようなエージェントには強すぎる、なぜなら、有用なエージェントは、信頼できないコンテンツがそれに影響を与えることを許し、設計によってユーザーのデータを開示する可能性があるため、各タスクにリリースポリシーを書く必要があるからである。
代わりに、信頼できないコンテンツに従わないモデルで同じランタイムモニターの下で同じ計画を実行する参照エージェントに対して、セキュリティをステートする。
エージェントは、リークがあるたびに、参照がすでに持っているリークであれば、比較的セキュアである。
我々のフレームワークであるPlanTERSは、相対的なセキュリティ、投機的実行の概念、攻撃者がモデルがどのように命令に従うかを選択する小さなエージェント言語、実行時モニターによる構成、観察するものが異なる攻撃モデルでインスタンス化します。
フェンスの定理は、最初の信頼できないリードで注入可能なツールを無効にし、決して返さないことで、各インジェクションが単一の呼び出しであり、モデルが事前に固定されたスケジュールに従うすべてのモデル行動に対して、全ての計画が有限実行時のイベントレベルで比較的安全になることを示している。
我々は、Isabelle/HOLにおいて、フェンス、予算、承認、ループ、デュアルLLMを持つエージェントに対する相対的なセキュリティを証明または否定する。
関連論文リスト
- Kairos: Transactional Security Enforcement at the System Boundary for LLM Agents [10.493000314031077]
大規模言語モデル(LLM)エージェントは、ソフトウェア開発ライフサイクルの不可欠な部分になりつつある。
修正されていない不透明なエージェントの分離境界における参照モニタであるKairosを提示する。
どの情報源が信頼されているかを記述する宣言的政策は、ほとんどの効果を決定論的に決定し、残りを無視し、エージェントが投機的に継続する間に保持される。
論文 参考訳(メタデータ) (2026-10-13T14:24:26Z) - ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。
提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
論文 参考訳(メタデータ) (2026-08-27T01:22:14Z) - SecureClaw: Clawing Back Control of LLM Agents [5.952015302242554]
ツールを使用する大規模言語モデル(LLM)エージェントは2つの異なるセキュリティ障害に直面している。
本稿では、エフェクトシンクに認証を配置し、リードバウンダリにプレーンテキストを閉じ込めるデュアルバウンダリアーキテクチャであるSecureClawを提案する。
AgentDojo、AgentLeak、Agent Security Bench (ASB)、SecureClawは、私たちが共通のハーネスで評価する唯一の防御です。
論文 参考訳(メタデータ) (2026-06-08T14:29:01Z) - Securing LLM Agents Need Intent-to-Execution Integrity [49.490963596514185]
我々は, LLMエージェントの確保には, エージェントの実行がユーザの意図を忠実に反映した場合に規定するエンドツーエンドの正当性を定義する必要があると主張している。
LLMエージェントはコンパイラと構造的に類似しており、セキュリティ違反はユーザ意図を保存しない誤った実行に対応する。
emphTool整合性、emph命令整合性、emphJudgment整合性、emphData整合性。
論文 参考訳(メタデータ) (2026-05-16T12:53:31Z) - ClawSafety: "Safe" LLMs, Unsafe Agents [25.729388843970014]
OpenClawのようなパーソナルAIエージェントは、ユーザのローカルマシンで高機能で動作する。
ClawSAFETYは、3次元(ハームドメイン、アタックベクター、有害アクションタイプ)に沿って編成された120の逆テストシナリオのベンチマークである。
各テストケースは、通常の作業中にエージェントが遭遇する3つのチャネルのうちの1つに、相手のコンテンツを埋め込む。
論文 参考訳(メタデータ) (2026-04-01T22:24:24Z) - Toward Trustworthy Agentic AI: A Multimodal Framework for Preventing Prompt Injection Attacks [0.0]
本稿ではエージェントAIシステムのためのクロスエージェントマルチモーダル・プロベナンク・アウェアディフェンス・フレームワークを提案する。
フレームワークには、テキストサニタイザエージェント、ビジュアルサニタイザエージェント、および出力バリデータエージェントが含まれており、いずれも前駆体台帳によって調整されている。
実験の結果,マルチモーダル噴射検出精度は著しく向上し,クロスエージェント信頼リークを最小限に抑えることができた。
論文 参考訳(メタデータ) (2025-12-29T15:54:33Z) - BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks [58.959622170433725]
BlindGuardは、攻撃固有のラベルや悪意のある振る舞いに関する事前の知識を必要とせずに学習する、教師なしの防御方法である。
BlindGuardはマルチエージェントシステムにまたがる多様な攻撃タイプ(即時注入、メモリ中毒、ツール攻撃)を効果的に検出する。
論文 参考訳(メタデータ) (2025-08-11T16:04:47Z) - Defeating Prompt Injections by Design [79.00910871948787]
CaMeLは、Large Language Modelsを中心とした保護システムレイヤを作成する堅牢なディフェンスである。
CaMeLは、(信頼された)クエリから制御とデータフローを明示的に抽出する。
セキュリティをさらに改善するため、CaMeLは、権限のないデータフロー上のプライベートデータの流出を防止する機能の概念を使用している。
論文 参考訳(メタデータ) (2025-03-24T15:54:10Z) - GuardAgent: Safeguard LLM Agents by a Guard Agent via Knowledge-Enabled Reasoning [79.07152553060601]
安全ガード要求を満たすか否かを動的に確認し,目標エージェントを保護する最初のガードレールエージェントであるガードアジェントを提案する。
特にGuardAgentは、まず安全ガードの要求を分析してタスクプランを生成し、それからその計画をガードレールコードにマップして実行します。
GuardAgentは、それぞれ98%と83%のガードレール精度を持つ2つのベンチマークにおいて、異なる種類のエージェントに対する違反行為を効果的に抑制することを示した。
論文 参考訳(メタデータ) (2024-06-13T14:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。