論文の概要: IsolateGPT: An Execution Isolation Architecture for LLM-Based Agentic Systems

• arxiv url: http://arxiv.org/abs/2403.04960v2
• Date: Thu, 30 Jan 2025 22:55:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:00:18.216143
• Title: IsolateGPT: An Execution Isolation Architecture for LLM-Based Agentic Systems
• Title（参考訳）: IsolateGPT: LLMベースのエージェントシステムのための実行分離アーキテクチャ
• Authors: Yuhao Wu, Franziska Roesner, Tadayoshi Kohno, Ning Zhang, Umar Iqbal,
• Abstract要約: 大規模言語モデル(LLM)は、サードパーティアプリケーションのサポートを開始した。 これらのアプリは、LLMの事実上の自然言語ベースの自動実行パラダイムを活用する。 サードパーティのアプリは、自然言語インターフェースの不正確さによって、信頼できなくなり、さらに悪化する可能性があるため、現在のデザインは、ユーザにとってセキュリティとプライバシのリスクをもたらす。
• 参考スコア（独自算出の注目度）: 34.92643238651264
• License:
• Abstract: Large language models (LLMs) extended as systems, such as ChatGPT, have begun supporting third-party applications. These LLM apps leverage the de facto natural language-based automated execution paradigm of LLMs: that is, apps and their interactions are defined in natural language, provided access to user data, and allowed to freely interact with each other and the system. These LLM app ecosystems resemble the settings of earlier computing platforms, where there was insufficient isolation between apps and the system. Because third-party apps may not be trustworthy, and exacerbated by the imprecision of natural language interfaces, the current designs pose security and privacy risks for users. In this paper, we evaluate whether these issues can be addressed through execution isolation and what that isolation might look like in the context of LLM-based systems, where there are arbitrary natural language-based interactions between system components, between LLM and apps, and between apps. To that end, we propose IsolateGPT, a design architecture that demonstrates the feasibility of execution isolation and provides a blueprint for implementing isolation, in LLM-based systems. We evaluate IsolateGPT against a number of attacks and demonstrate that it protects against many security, privacy, and safety issues that exist in non-isolated LLM-based systems, without any loss of functionality. The performance overhead incurred by IsolateGPT to improve security is under 30% for three-quarters of tested queries.
• Abstract（参考訳）: ChatGPTのようなシステムとして拡張された大規模言語モデル(LLM)は、サードパーティアプリケーションのサポートを開始した。 これらのLLMアプリは、LLMの事実上の自然言語ベースの自動実行パラダイムを活用している。つまり、アプリとそのインタラクションは自然言語で定義され、ユーザデータへのアクセスを提供し、互いに自由に対話することができる。 これらのLDMアプリのエコシステムは、アプリとシステムの間には分離が不十分な、以前のコンピューティングプラットフォームの設定に似ています。 サードパーティのアプリは、自然言語インターフェースの不正確さによって、信頼できなくなり、さらに悪化する可能性があるため、現在のデザインは、ユーザにとってセキュリティとプライバシのリスクをもたらす。 本稿では,LLMベースのシステムでは,システムコンポーネント間の任意の自然言語ベースのインタラクション,LLMとアプリ間のインタラクション,アプリ間のインタラクションといった状況において,これらの問題が実行アイソレーションを通じて対処できるかどうかを評価する。 そこで本研究では,実行アイソレーションの実現可能性を示す設計アーキテクチャであるIsolateGPTを提案し,LCMベースのシステムでアイソレーションを実装するための青写真を提供する。 我々はIsolateGPTを多数の攻撃に対して評価し、無機能なLCMシステムに存在する多くのセキュリティ、プライバシ、安全上の問題に対して、機能を失うことなく防御できることを実証した。 IsolateGPTがセキュリティを改善するために発生したパフォーマンスオーバーヘッドは、テストクエリの4分の3に対して30%未満である。

関連論文リスト

• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Language Agents Meet Causality -- Bridging LLMs and Causal World Models [50.79984529172807]
  因果表現学習を大規模言語モデルと統合する枠組みを提案する。 このフレームワークは、自然言語表現に関連付けられた因果変数を持つ因果世界モデルを学ぶ。 本研究では,時間的スケールと環境の複雑さを考慮した因果推論と計画課題の枠組みを評価する。
  論文  参考訳（メタデータ） (2024-10-25T18:36:37Z)
• System-Level Defense against Indirect Prompt Injection Attacks: An Information Flow Control Perspective [24.583984374370342]
  LLMシステム(Large Language Model-based System)は、情報処理およびクエリ処理システムである。 本稿では,情報フロー制御の原理に基づくシステムレベルの防衛システムについて述べる。
  論文  参考訳（メタデータ） (2024-09-27T18:41:58Z)
• SecureLLM: Using Compositionality to Build Provably Secure Language Models for Private, Sensitive, and Secret Data [12.873248205613827]
  従来のセキュリティメカニズムは、アクセスすべきでないユーザからリソースを分離する。 我々は、このようなセキュリティ機構の構成特性をLLMの構造に反映し、確実にセキュアなLLMを構築する。 SecureLLMは、アクセスセキュリティと微調整メソッドをブレンドする。 我々は、難易度の高い新しい自然言語翻訳タスクと、今日安全な環境にモデルをデプロイできるLLMセキュリティに関する新しい視点の両方に貢献する。
  論文  参考訳（メタデータ） (2024-05-16T04:25:53Z)
• A New Era in LLM Security: Exploring Security Concerns in Real-World LLM-based Systems [47.18371401090435]
  我々は,LLMではなく,Large Language Model(LLM)システムのセキュリティを分析する。 我々は,多層・多段階のアプローチを提案し,これを最先端のOpenAI GPT4に適用する。 OpenAI GPT4は安全機能を改善するために多くの安全制約を設計しているが、これらの安全制約は攻撃者に対して脆弱である。
  論文  参考訳（メタデータ） (2024-02-28T19:00:12Z)
• LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
  不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。 テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。 研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
  論文  参考訳（メタデータ） (2023-11-13T15:08:59Z)
• LLM Platform Security: Applying a Systematic Evaluation Framework to OpenAI's ChatGPT Plugins [31.678328189420483]
  大規模言語モデル(LLM)プラットフォームは先頃,インターネット上のサードパーティサービスとインターフェースするアプリエコシステムの提供を開始した。 これらのアプリはLLMプラットフォームの機能を拡張しているが、任意のサードパーティによって開発されており、暗黙的に信頼できない。 LLMプラットフォーム設計者のための基盤を築き,現在および将来のサードパーティのLDMプラットフォームのセキュリティ,プライバシ,安全性を解析し,改善するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-19T02:20:10Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。