論文の概要: CapLite: Prompt-Injection Defense for Small Language Model Agents without Model-Written Security Artifacts
- arxiv url: http://arxiv.org/abs/2611.17115v1
- Date: Thu, 12 Nov 2026 17:07:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.565908
- Title: CapLite: Prompt-Injection Defense for Small Language Model Agents without Model-Written Security Artifacts
- Title(参考訳): CapLite: モデル記述によるセキュリティアーチファクトのない小言語モデルエージェントのためのプロンプト注入防御
- Abstract要約: プロンプトインジェクションに対する強制防御は、エージェント自身のモデルに、コードが強制するセキュリティアーティファクトを書くよう要求する。
スモール言語モデル(SLM)エージェントがこれらのアーティファクトを書けるかどうかを問う。
15個のオープンウェイトモデルのうち13個は1.7Bから12Bのパラメータで、それらは不可能である。
CapLiteは、ツール結果が読み込まれる前に書き込みコールをコミットし、誰が影響するかを決定する引数が記述されている場合にのみ書き込みを許可します。
- 参考スコア(独自算出の注目度): 18.956021821705924
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Enforcement defenses against prompt injection, such as CaMeL, Progent, IPIGuard and DRIFT, ask the agent's own model to write a security artifact (a program, a privilege policy, a dependency graph or a constraint list) that code then enforces. We ask whether small language model (SLM) agents can be trusted to write these artifacts. Across 15 open-weight models, 13 of them between 1.7B and 12B parameters, they cannot: the policies, graphs and constraints that the agent's model writes admit attacks on 14 (Progent), 13 (IPIGuard) and 11 (DRIFT) of the models, and CaMeL's programs fail to run in up to 68% of episodes. We present CapLite, which derives its policy from the tool schemas, commits the write calls before any tool result is read, and admits a write only if every argument that decides whom or what it affects is stated in the user's request. This guarantees write integrity: injected text cannot add a write, and no write reaches a recipient, amount, object or destination that the user did not state. No attack succeeds in 13,935 attacked AgentDojo episodes. CapLite reaches utility under attack comparable to CaMeL's (29.0% vs. 27.2%) with fewer tokens than every other enforcement defense and than the undefended agent: 17.1k per episode, 18% of CaMeL's, and the highest utility per token of all enforcement defenses.
- Abstract(参考訳): CaMeL、Progent、IPIGuard、DRIFTなどの即時注入に対する防御の強化は、エージェント自身のモデルに対して、コードが強制するセキュリティアーティファクト(プログラム、特権ポリシー、依存性グラフ、制約リスト)を書くよう要求する。
スモール言語モデル(SLM)エージェントがこれらのアーティファクトを書けるかどうかを問う。
15個のオープンウェイトモデル、そのうち13個は1.7Bから12Bパラメータの間で、エージェントのモデルが記述するポリシー、グラフ、制約は、モデルの14個(Progent)、13個(IPIGuard)、11個(DRIFT)に対する攻撃を認め、CaMeLのプログラムは68%のエピソードで実行できない。
CapLiteは、ツールスキーマからポリシーを導出し、ツール結果を読み出す前に書き込みコールをコミットします。
インジェクトされたテキストは、書き込みを追加することができず、書き込みは、ユーザが記述しなかった受信者、量、オブジェクト、宛先に到達することはない。
13,935回のAgentDojo攻撃では攻撃は成功しなかった。
CapLite は CaMeL (29.0% vs. 27.2%) に匹敵する攻撃を受けており、他のすべての法執行機関の防衛手段よりもトークンが少なく、防御されていないエージェントよりも17.1k、1話あたりの CaMeL の18%、そして全ての法執行機関の防衛手段の1トークン当たりの最高効能である。
関連論文リスト
- Ignored, Not Refused: What Low Prompt-Injection Success Rates Hide in Small Tool-Using Agents [0.0]
ベンチマークは、攻撃成功率(ASR)によってIPIセキュリティを測定する。
InjecAgentとAgentDojoで、11人のオープンウェイトエージェントから33,000のトラジェクトリを監査します。
論文 参考訳(メタデータ) (2026-10-16T10:26:23Z) - What May an Agent Change About Itself? A Containment Floor for Self-Configuring Agent Runtimes [0.0]
ルール: エージェントは能力を与えるフィールドを変更することができ、その限界を設定するフィールドを変更することはない。
我々はこれをデプロイされたモデルに依存しないランタイムで研究する。
構成ツール内の囲い込みフロアとしてルールを強制し、それなしで何が起こるかを測定します。
論文 参考訳(メタデータ) (2026-10-05T13:07:17Z) - ClayBuddy: A Framework, Evaluation, & Mitigation of Coding Agent Failures [1.0742675209112622]
障害モードは、不特定性、能力エラー、エージェントハーネスエラーの3つのメカニズムから派生したものとして研究する。
我々はClayBuddyを提案する。ClayBuddyはユーザの好みを形作るハーネスで、モデルのインセッションで修正してこれらのエラーを軽減できる。
論文 参考訳(メタデータ) (2026-06-13T18:29:53Z) - AutoDojo: Adaptive Black-Box Attacks Reveal the Limits of IPI Defenses and Task-Specification Effects in LLM Agents [57.34566159148893]
間接的プロンプトインジェクション(IPI)は、LLMを動力とするエージェントに対する主要なセキュリティ脅威である。
我々は、特定の防御に対してIPIを最適化するAgentDojoの適応的な拡張であるAutoDojoを開発した。
論文 参考訳(メタデータ) (2026-06-13T02:09:08Z) - AIRGuard: Guarding Agent Actions with Runtime Authority Control [24.777900118288144]
ツールを使用する言語エージェントは、モデル決定を外部の副作用に変換する。
本稿では、最小限の権限をアクションタイムの認可として運用するランタイムガードであるAIRGuardを紹介する。
論文 参考訳(メタデータ) (2026-05-27T17:48:14Z) - PocketAgents: A Manifest-Driven Library of Autonomous Defense Agents [0.589889361990138]
本稿では,自律型防衛エージェントのマニフェスト駆動型ライブラリであるPocketAgentsを紹介する。
各エージェントは、マニフェスト、プロンプト、ランタイムコンテキストの3つのデータファイルとしてインストールされる。
実験により、型付き境界はLLM駆動の防御を測定可能で、測定可能で、帰属可能であることが示された。
論文 参考訳(メタデータ) (2026-05-20T19:52:24Z) - AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。
LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。
本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
論文 参考訳(メタデータ) (2025-12-23T08:42:09Z) - Defeating Prompt Injections by Design [79.00910871948787]
CaMeLは、Large Language Modelsを中心とした保護システムレイヤを作成する堅牢なディフェンスである。
CaMeLは、(信頼された)クエリから制御とデータフローを明示的に抽出する。
セキュリティをさらに改善するため、CaMeLは、権限のないデータフロー上のプライベートデータの流出を防止する機能の概念を使用している。
論文 参考訳(メタデータ) (2025-03-24T15:54:10Z) - Denial-of-Service Poisoning Attacks against Large Language Models [64.77355353440691]
LLMはDenial-of-Service(DoS)攻撃に対して脆弱で、スペルエラーや非意味的なプロンプトが[EOS]トークンを生成することなく、無限のアウトプットをトリガーする。
本研究では, LLM に対する毒素を用いた DoS 攻撃について提案し, 1 つの毒素を注入することで, 出力長の限界を破ることができることを示した。
論文 参考訳(メタデータ) (2024-10-14T17:39:31Z) - Backdooring Instruction-Tuned Large Language Models with Virtual Prompt Injection [66.94175259287115]
命令調整型LLMに適した新しいバックドアアタック設定を提案する。
VPI攻撃では、攻撃者が特定した仮想プロンプトがユーザ命令に形式化されたかのように、バックドアモデルが応答することが期待されている。
我々は、モデルの命令チューニングデータに毒を盛ることによって脅威を実証する。
論文 参考訳(メタデータ) (2023-07-31T17:56:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。