論文の概要: ACE: A Security Architecture for LLM-Integrated App Systems

• arxiv url: http://arxiv.org/abs/2504.20984v1
• Date: Tue, 29 Apr 2025 17:55:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:55.028948
• Title: ACE: A Security Architecture for LLM-Integrated App Systems
• Title（参考訳）: ACE: LLM統合アプリケーションシステムのセキュリティアーキテクチャ
• Authors: Evan Li, Tushin Mallick, Evan Rose, William Robertson, Alina Oprea, Cristina Nita-Rotaru,
• Abstract要約: Abstract-Concrete-Executeは、システム計画と実行のセキュリティを保証する。 我々は,INJECAGENTベンチマークによる攻撃に対して,本システムが安全であることを実験的に示す。
• 参考スコア（独自算出の注目度）: 11.558287180266522
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM-integrated app systems extend the utility of Large Language Models (LLMs) with third-party apps that are invoked by a system LLM using interleaved planning and execution phases to answer user queries. These systems introduce new attack vectors where malicious apps can cause integrity violation of planning or execution, availability breakdown, or privacy compromise during execution. In this work, we identify new attacks impacting the integrity of planning, as well as the integrity and availability of execution in LLM-integrated apps, and demonstrate them against IsolateGPT, a recent solution designed to mitigate attacks from malicious apps. We propose Abstract-Concrete-Execute (ACE), a new secure architecture for LLM-integrated app systems that provides security guarantees for system planning and execution. Specifically, ACE decouples planning into two phases by first creating an abstract execution plan using only trusted information, and then mapping the abstract plan to a concrete plan using installed system apps. We verify that the plans generated by our system satisfy user-specified secure information flow constraints via static analysis on the structured plan output. During execution, ACE enforces data and capability barriers between apps, and ensures that the execution is conducted according to the trusted abstract plan. We show experimentally that our system is secure against attacks from the INJECAGENT benchmark, a standard benchmark for control flow integrity in the face of indirect prompt injection attacks, and our newly introduced attacks. Our architecture represents a significant advancement towards hardening LLM-based systems containing system facilities of varying levels of trustworthiness.
• Abstract（参考訳）: LLM統合されたアプリケーションシステムは、大規模言語モデル(LLM)のユーティリティを拡張し、ユーザクエリに応答するためにインターリーブされた計画と実行フェーズを使用するシステムLLMによって起動されるサードパーティアプリに拡張する。 これらのシステムは、悪意のあるアプリが、計画や実行の完全性、可用性の低下、実行中のプライバシの妥協を損なう可能性のある、新たな攻撃ベクタを導入している。 本研究では,LSM統合アプリケーションにおける計画の整合性や実行の整合性,可用性に影響を及ぼす新たな攻撃を特定し,悪意のあるアプリからの攻撃を軽減するために設計された最近のソリューションであるIsolateGPTに対して,それらを実証する。 LLM統合アプリケーションシステムのための新しいセキュアなアーキテクチャであるACE(Abstract-Concrete-Execute)を提案する。 具体的には、ACEは、まず信頼された情報のみを使用して抽象的な実行計画を作成し、次にインストールされたシステムアプリを使用して抽象的な計画を具体的な計画にマッピングすることで、計画を2つのフェーズに分離する。 本システムにより生成された計画が,構造化された計画出力の静的解析によりユーザ指定のセキュアな情報フロー制約を満たすことを検証した。 実行中、ACEはアプリ間のデータと機能バリアを強制し、信頼できる抽象計画に従って実行が実行されることを保証する。 InJECAGENTベンチマーク、間接的インジェクション攻撃に直面したフロー整合性制御のための標準ベンチマーク、および新たに導入した攻撃に対して,本システムが安全であることを実験的に示す。 我々のアーキテクチャは、様々なレベルの信頼度を持つシステム設備を含むLCMベースのシステムの強化に向けた大きな進歩を示している。

関連論文リスト

• Output Constraints as Attack Surface: Exploiting Structured Generation to Bypass LLM Safety Mechanisms [0.9091225937132784]
  我々は、従来のデータプレーンの脆弱性に対して、重要な制御プレーン攻撃面を明らかにする。 本稿では、構造的出力制約を武器として安全機構をバイパスする新しいジェイルブレイククラスであるConstrained Decoding Attackを紹介する。 本研究は, 現状のLLMアーキテクチャにおける重要なセキュリティ盲点を明らかにし, 制御面脆弱性に対処するため, LLM安全性のパラダイムシフトを促すものである。
  論文  参考訳（メタデータ） (2025-03-31T15:08:06Z)
• Prompt Flow Integrity to Prevent Privilege Escalation in LLM Agents [12.072737324367937]
  大規模言語モデル(LLM)における特権エスカレーションを防止するために,PFI(Prompt Flow Integrity)を提案する。 PFIは、エージェントアイソレーション、セキュアな信頼できないデータ処理、特権エスカレーションガードレールの3つの緩和技術を備えている。 評価の結果, PFI は LLM エージェントの有効性を保ちながら, 特権エスカレーション攻撃を効果的に軽減できることが示唆された。
  論文  参考訳（メタデータ） (2025-03-17T05:27:57Z)
• POEX: Understanding and Mitigating Policy Executable Jailbreak Attacks against Embodied AI [10.87920459386508]
  複雑な命令を実行可能なポリシに変換する計画モジュールとしてLLMを統合することで、Embodied AIシステムは急速に進化している。 本稿では,従来のLLMジェイルブレイク攻撃をEAIシステムに適用する可能性と理性について検討する。
  論文  参考訳（メタデータ） (2024-12-21T13:58:27Z)
• System-Level Defense against Indirect Prompt Injection Attacks: An Information Flow Control Perspective [24.583984374370342]
  LLMシステム(Large Language Model-based System)は、情報処理およびクエリ処理システムである。 本稿では,情報フロー制御の原理に基づくシステムレベルの防衛システムについて述べる。
  論文  参考訳（メタデータ） (2024-09-27T18:41:58Z)
• Compromising Embodied Agents with Contextual Backdoor Attacks [69.71630408822767]
  大型言語モデル(LLM)は、エンボディドインテリジェンスの発展に変化をもたらした。 本稿では,このプロセスにおけるバックドアセキュリティの重大な脅威を明らかにする。 ほんの少しの文脈的デモンストレーションを毒殺しただけで、攻撃者はブラックボックスLDMの文脈的環境を隠蔽することができる。
  論文  参考訳（メタデータ） (2024-08-06T01:20:12Z)
• Ask-before-Plan: Proactive Language Agents for Real-World Planning [68.08024918064503]
  プロアクティブエージェントプランニングでは、ユーザエージェントの会話とエージェント環境のインタラクションに基づいて、言語エージェントが明確化のニーズを予測する必要がある。 本稿では,明確化,実行,計画の3つのエージェントからなる新しいマルチエージェントフレームワーク,Clarification-Execution-Planning(textttCEP)を提案する。
  論文  参考訳（メタデータ） (2024-06-18T14:07:28Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• IsolateGPT: An Execution Isolation Architecture for LLM-Based Agentic Systems [34.92643238651264]
  大規模言語モデル(LLM)は、サードパーティアプリケーションのサポートを開始した。 これらのアプリは、LLMの事実上の自然言語ベースの自動実行パラダイムを活用する。 サードパーティのアプリは、自然言語インターフェースの不正確さによって、信頼できなくなり、さらに悪化する可能性があるため、現在のデザインは、ユーザにとってセキュリティとプライバシのリスクをもたらす。
  論文  参考訳（メタデータ） (2024-03-08T00:02:30Z)
• AdaPlanner: Adaptive Planning from Feedback with Language Models [56.367020818139665]
  大規模言語モデル(LLM)は、最近、シーケンシャルな意思決定タスクの自律的エージェントとして機能する可能性を実証している。 本研究では,LLMエージェントが環境フィードバックに応じて自己生成計画を適応的に改善することのできるクローズドループアプローチであるAdaPlannerを提案する。 幻覚を緩和するために,様々なタスク,環境,エージェント機能にまたがる計画生成を容易にするコードスタイルのLCMプロンプト構造を開発した。
  論文  参考訳（メタデータ） (2023-05-26T05:52:27Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)
• STRIPS Action Discovery [67.73368413278631]
  近年のアプローチでは、すべての中間状態が欠如している場合でも、アクションモデルを合成する古典的な計画が成功している。 アクションシグネチャが不明な場合に,従来のプランナーを用いてSTRIPSアクションモデルを教師なしで合成するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-01-30T17:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。