論文の概要: A Framework for Formalizing LLM Agent Security

• arxiv url: http://arxiv.org/abs/2603.19469v1
• Date: Thu, 19 Mar 2026 21:01:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:38.886448
• Title: A Framework for Formalizing LLM Agent Security
• Title（参考訳）: LLMエージェントセキュリティの形式化のためのフレームワーク
• Authors: Vincent Siu, Jingxuan He, Kyle Montgomery, Zhun Wang, Neil Gong, Chenguang Wang, Dawn Song,
• Abstract要約: LLMエージェントのセキュリティは本質的にコンテキスト的です。 LLMエージェントに対する既存のセキュリティ攻撃の定義は、しばしばこの文脈の性質を捉えない。 本稿では,文脈的セキュリティの観点から,既存の攻撃と防御を体系化するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 46.86073273904095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Security in LLM agents is inherently contextual. For example, the same action taken by an agent may represent legitimate behavior or a security violation depending on whose instruction led to the action, what objective is being pursued, and whether the action serves that objective. However, existing definitions of security attacks against LLM agents often fail to capture this contextual nature. As a result, defenses face a fundamental utility-security tradeoff: applying defenses uniformly across all contexts can lead to significant utility loss, while applying defenses in insufficient or inappropriate contexts can result in security vulnerabilities. In this work, we present a framework that systematizes existing attacks and defenses from the perspective of contextual security. To this end, we propose four security properties that capture contextual security for LLM agents: task alignment (pursuing authorized objectives), action alignment (individual actions serving those objectives), source authorization (executing commands from authenticated sources), and data isolation (ensuring information flows respect privilege boundaries). We further introduce a set of oracle functions that enable verification of whether these security properties are violated as an agent executes a user task. Using this framework, we reformalize existing attacks, such as indirect prompt injection, direct prompt injection, jailbreak, task drift, and memory poisoning, as violations of one or more security properties, thereby providing precise and contextual definitions of these attacks. Similarly, we reformalize defenses as mechanisms that strengthen oracle functions or perform security property checks. Finally, we discuss several important future research directions enabled by our framework.
• Abstract（参考訳）: LLMエージェントのセキュリティは本質的にコンテキスト的です。 例えば、エージェントが取るのと同じ行動は、どの命令がアクションに導いたか、何の目的が追求されているか、その目的に作用するかどうかによって、正当な行動またはセキュリティ違反を表すことができる。 しかし、LLMエージェントに対する既存のセキュリティ攻撃の定義は、この文脈の性質を捉えるのに失敗することが多い。 その結果、防衛は基本的なユーティリティ・セキュリティのトレードオフに直面している。すべてのコンテキストで防衛を均一に適用することは、大きなユーティリティ損失をもたらす可能性がある一方で、不十分な状況や不適切な状況で防衛を適用することは、セキュリティ上の脆弱性をもたらす可能性がある。 本研究では,文脈的セキュリティの観点から,既存の攻撃と防御を体系化するフレームワークを提案する。 そこで本研究では,LLMエージェントのコンテキストセキュリティを捉える4つのセキュリティ特性を提案する。タスクアライメント(認証対象の取得),アクションアライメント(それらの目的に対応する個人的アクション),ソース認証(認証元からのコマンド実行),データアイソレーション(特権境界を尊重する情報の流れの保証)である。 さらに,エージェントがユーザタスクを実行する際に,これらのセキュリティ特性が侵害されているかどうかの検証を可能にする,託宣関数のセットを導入する。 この枠組みを用いることで、間接的プロンプトインジェクション、直接的プロンプトインジェクション、ジェイルブレイク、タスクドリフト、メモリ中毒といった既存の攻撃を1つ以上のセキュリティ特性の違反として改革し、これらの攻撃の正確かつ文脈的定義を提供する。 同様に、私たちは防衛をオラクル機能を強化したり、セキュリティ資産チェックを行うメカニズムとして再編成します。 最後に,本フレームワークによって実現されるいくつかの重要な研究方向性について論じる。

関連論文リスト

• Towards Verifiably Safe Tool Use for LLM Agents [53.55621104327779]
  大規模言語モデル(LLM)ベースのAIエージェントは、データソース、API、検索エンジン、コードサンドボックス、さらにはその他のエージェントなどのツールへのアクセスを可能にすることで、機能を拡張する。 LLMは意図しないツールインタラクションを起動し、機密データを漏洩したり、クリティカルレコードを上書きしたりするリスクを発生させる。 モデルベースセーフガードのようなリスクを軽減するための現在のアプローチは、エージェントの信頼性を高めるが、システムの安全性を保証することはできない。
  論文  参考訳（メタデータ） (2026-01-12T21:31:38Z)
• Indirect Prompt Injections: Are Firewalls All You Need, or Stronger Benchmarks? [58.48689960350828]
  エージェントインタフェースにおけるシンプルでモジュール的で,モデルに依存しないディフェンスが,高ユーティリティで完全なセキュリティを実現することを示す。 ツール入力ファイアウォール(最小限のファイアウォール)とツール出力ファイアウォール(サニタイザ)の2つのファイアウォールをベースとしたディフェンスを採用している。
  論文  参考訳（メタデータ） (2025-10-06T18:09:02Z)
• VeriGuard: Enhancing LLM Agent Safety via Verified Code Generation [40.594947933580464]
  医療などのセンシティブなドメインに自律的なAIエージェントを配置することは、安全性、セキュリティ、プライバシに重大なリスクをもたらす。 LLMをベースとしたエージェントに対して、正式な安全保証を提供する新しいフレームワークであるVeriGuardを紹介する。
  論文  参考訳（メタデータ） (2025-10-03T04:11:43Z)
• STAC: When Innocent Tools Form Dangerous Chains to Jailbreak LLM Agents [38.755035623707656]
  本稿では,エージェントツールの利用を生かした新しいマルチターンアタックフレームワークSTACについて紹介する。 我々は,483のSTACケースを自動生成し,評価するために,1,352セットのユーザエージェント環境相互作用を特徴とするフレームワークを適用した。 GPT-4.1を含む最先端のLSMエージェントはSTACに対して極めて脆弱であり,攻撃成功率(ASR)は90%以上である。
  論文  参考訳（メタデータ） (2025-09-30T00:31:44Z)
• Servant, Stalker, Predator: How An Honest, Helpful, And Harmless (3H) Agent Unlocks Adversarial Skills [3.0620527758972496]
  本稿では,モデルコンテキストプロトコルに基づくエージェントシステムにおいて,新たな脆弱性クラスを特定し,解析する。 このアタックチェーンは、有害な緊急行動を生み出すために、個々に認可された個々のタスクをどのように編成するかを説明し、実証する。
  論文  参考訳（メタデータ） (2025-08-27T01:11:59Z)
• LLM Agents Should Employ Security Principles [60.03651084139836]
  本稿では,大規模言語モデル(LLM)エージェントを大規模に展開する際には,情報セキュリティの確立した設計原則を採用するべきであることを論じる。 AgentSandboxは、エージェントのライフサイクル全体を通して保護を提供するために、これらのセキュリティ原則を組み込んだ概念的なフレームワークである。
  論文  参考訳（メタデータ） (2025-05-29T21:39:08Z)
• LlamaFirewall: An open source guardrail system for building secure AI agents [0.5603362829699733]
  大規模言語モデル(LLM)は、単純なチャットボットから複雑なタスクを実行できる自律エージェントへと進化してきた。 リスクを軽減するための決定論的解決策が欠如していることを考えると、リアルタイムガードレールモニターが不可欠である。 私たちはオープンソースのセキュリティにフォーカスしたガードレールフレームワークであるLlamaFirewallを紹介します。
  論文  参考訳（メタデータ） (2025-05-06T14:34:21Z)
• Tit-for-Tat: Safeguarding Large Vision-Language Models Against Jailbreak Attacks via Adversarial Defense [90.71884758066042]
  大きな視覚言語モデル(LVLM)は、視覚入力による悪意のある攻撃に対する感受性という、ユニークな脆弱性を導入している。 本稿では,脆弱性発生源からアクティブ防衛機構へ視覚空間を変換するための新しい手法であるESIIIを提案する。
  論文  参考訳（メタデータ） (2025-03-14T17:39:45Z)
• The Task Shield: Enforcing Task Alignment to Defend Against Indirect Prompt Injection in LLM Agents [6.829628038851487]
  大きな言語モデル(LLM)エージェントは、ツール統合を通じて複雑な現実世界のタスクを実行できる対話アシスタントとして、ますます多くデプロイされている。 特に間接的なプロンプトインジェクション攻撃は、外部データソースに埋め込まれた悪意のある命令が、エージェントを操作してユーザの意図を逸脱させる、重大な脅威となる。 我々は,エージェントのセキュリティが有害な行為を防止し,タスクアライメントを確保するためには,すべてのエージェントアクションをユーザ目的に役立てる必要がある,という新たな視点を提案する。
  論文  参考訳（メタデータ） (2024-12-21T16:17:48Z)
• Purple-teaming LLMs with Adversarial Defender Training [57.535241000787416]
  本稿では,PAD(Adversarial Defender Training)を用いたPurple-teaming LLMを提案する。 PADは、赤チーム(アタック)技術と青チーム(セーフティトレーニング)技術を新たに取り入れることで、LSMを保護するために設計されたパイプラインである。 PADは、効果的な攻撃と堅牢な安全ガードレールの確立の両方において、既存のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2024-07-01T23:25:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。