論文の概要: SecGPT: An Execution Isolation Architecture for LLM-Based Systems
- arxiv url: http://arxiv.org/abs/2403.04960v1
- Date: Fri, 8 Mar 2024 00:02:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 21:24:50.455783
- Title: SecGPT: An Execution Isolation Architecture for LLM-Based Systems
- Title（参考訳）: SecGPT: LLMベースのシステムのための実行隔離アーキテクチャ
- Authors: Yuhao Wu, Franziska Roesner, Tadayoshi Kohno, Ning Zhang, Umar Iqbal
- Abstract要約: SecGPTは、サードパーティアプリの実行に伴うセキュリティとプライバシの問題を軽減することを目的としている。
我々はSecGPTをいくつかのケーススタディアタックに対して評価し、多くのセキュリティ、プライバシ、安全性の問題から保護されていることを実証する。
- 参考スコア（独自算出の注目度）: 37.47068167748932
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) extended as systems, such as ChatGPT, have begun
supporting third-party applications. These LLM apps leverage the de facto
natural language-based automated execution paradigm of LLMs: that is, apps and
their interactions are defined in natural language, provided access to user
data, and allowed to freely interact with each other and the system. These LLM
app ecosystems resemble the settings of earlier computing platforms, where
there was insufficient isolation between apps and the system. Because
third-party apps may not be trustworthy, and exacerbated by the imprecision of
the natural language interfaces, the current designs pose security and privacy
risks for users. In this paper, we propose SecGPT, an architecture for
LLM-based systems that aims to mitigate the security and privacy issues that
arise with the execution of third-party apps. SecGPT's key idea is to isolate
the execution of apps and more precisely mediate their interactions outside of
their isolated environments. We evaluate SecGPT against a number of case study
attacks and demonstrate that it protects against many security, privacy, and
safety issues that exist in non-isolated LLM-based systems. The performance
overhead incurred by SecGPT to improve security is under 0.3x for
three-quarters of the tested queries. To foster follow-up research, we release
SecGPT's source code at https://github.com/llm-platform-security/SecGPT.
- Abstract（参考訳）: ChatGPTのようなシステムとして拡張された大規模言語モデル(LLM)は、サードパーティアプリケーションのサポートを開始した。
これらのLLMアプリは、LLMの事実上の自然言語ベースの自動実行パラダイムを活用している。つまり、アプリとそのインタラクションは自然言語で定義され、ユーザデータへのアクセスを提供し、互いに自由に対話することができる。
これらのLDMアプリのエコシステムは、アプリとシステムの間には分離が不十分な、以前のコンピューティングプラットフォームの設定に似ています。
サードパーティのアプリは信頼に値するものではなく、自然言語インターフェースの不備によって悪化する可能性があるため、現在のデザインはユーザーにとってセキュリティとプライバシーのリスクをもたらす。
本稿では,サードパーティアプリケーションの実行に伴うセキュリティとプライバシの問題を軽減することを目的とした,llmベースのシステムのためのアーキテクチャであるsecgptを提案する。
SecGPTのキーとなる考え方は、アプリの実行を分離し、分離された環境外でのインタラクションをより正確に仲介することだ。
我々はSecGPTをいくつかのケーススタディアタックに対して評価し、非分離LDMシステムに存在する多くのセキュリティ、プライバシー、安全性の問題から保護されていることを示す。
SecGPTがセキュリティを改善するために発生したパフォーマンスオーバーヘッドは、テストクエリの4分の3に対して0.3倍以下である。
フォローアップ研究を促進するため、SecGPTのソースコードはhttps://github.com/llm-platform-security/SecGPTで公開しています。
関連論文リスト
- LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。
LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。
LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
論文 参考訳（メタデータ） (2025-02-15T02:55:22Z) - Language Agents Meet Causality -- Bridging LLMs and Causal World Models [50.79984529172807]
因果表現学習を大規模言語モデルと統合する枠組みを提案する。
このフレームワークは、自然言語表現に関連付けられた因果変数を持つ因果世界モデルを学ぶ。
本研究では,時間的スケールと環境の複雑さを考慮した因果推論と計画課題の枠組みを評価する。
論文 参考訳（メタデータ） (2024-10-25T18:36:37Z) - System-Level Defense against Indirect Prompt Injection Attacks: An Information Flow Control Perspective [24.583984374370342]
LLMシステム(Large Language Model-based System)は、情報処理およびクエリ処理システムである。
本稿では,情報フロー制御の原理に基づくシステムレベルの防衛システムについて述べる。
論文 参考訳（メタデータ） (2024-09-27T18:41:58Z) - SecureLLM: Using Compositionality to Build Provably Secure Language Models for Private, Sensitive, and Secret Data [12.873248205613827]
従来のセキュリティメカニズムは、アクセスすべきでないユーザからリソースを分離する。
我々は、このようなセキュリティ機構の構成特性をLLMの構造に反映し、確実にセキュアなLLMを構築する。
SecureLLMは、アクセスセキュリティと微調整メソッドをブレンドする。
我々は、難易度の高い新しい自然言語翻訳タスクと、今日安全な環境にモデルをデプロイできるLLMセキュリティに関する新しい視点の両方に貢献する。
論文 参考訳（メタデータ） (2024-05-16T04:25:53Z) - A New Era in LLM Security: Exploring Security Concerns in Real-World
LLM-based Systems [47.18371401090435]
我々は,LLMではなく,Large Language Model(LLM)システムのセキュリティを分析する。
我々は,多層・多段階のアプローチを提案し,これを最先端のOpenAI GPT4に適用する。
OpenAI GPT4は安全機能を改善するために多くの安全制約を設計しているが、これらの安全制約は攻撃者に対して脆弱である。
論文 参考訳（メタデータ） (2024-02-28T19:00:12Z) - LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。
テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。
研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
論文 参考訳（メタデータ） (2023-11-13T15:08:59Z) - LLM Platform Security: Applying a Systematic Evaluation Framework to OpenAI's ChatGPT Plugins [31.678328189420483]
大規模言語モデル(LLM)プラットフォームは先頃,インターネット上のサードパーティサービスとインターフェースするアプリエコシステムの提供を開始した。
これらのアプリはLLMプラットフォームの機能を拡張しているが、任意のサードパーティによって開発されており、暗黙的に信頼できない。
LLMプラットフォーム設計者のための基盤を築き,現在および将来のサードパーティのLDMプラットフォームのセキュリティ,プライバシ,安全性を解析し,改善するフレームワークを提案する。
論文 参考訳（メタデータ） (2023-09-19T02:20:10Z) - Not what you've signed up for: Compromising Real-World LLM-Integrated
Applications with Indirect Prompt Injection [64.67495502772866]
大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。
本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。
我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
論文 参考訳（メタデータ） (2023-02-23T17:14:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。