論文の概要: SecGPT: An Execution Isolation Architecture for LLM-Based Systems
- arxiv url: http://arxiv.org/abs/2403.04960v1
- Date: Fri, 8 Mar 2024 00:02:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 21:24:50.455783
- Title: SecGPT: An Execution Isolation Architecture for LLM-Based Systems
- Title（参考訳）: SecGPT: LLMベースのシステムのための実行隔離アーキテクチャ
- Authors: Yuhao Wu, Franziska Roesner, Tadayoshi Kohno, Ning Zhang, Umar Iqbal
- Abstract要約: SecGPTは、サードパーティアプリの実行に伴うセキュリティとプライバシの問題を軽減することを目的としている。
我々はSecGPTをいくつかのケーススタディアタックに対して評価し、多くのセキュリティ、プライバシ、安全性の問題から保護されていることを実証する。
- 参考スコア（独自算出の注目度）: 37.47068167748932
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) extended as systems, such as ChatGPT, have begun
supporting third-party applications. These LLM apps leverage the de facto
natural language-based automated execution paradigm of LLMs: that is, apps and
their interactions are defined in natural language, provided access to user
data, and allowed to freely interact with each other and the system. These LLM
app ecosystems resemble the settings of earlier computing platforms, where
there was insufficient isolation between apps and the system. Because
third-party apps may not be trustworthy, and exacerbated by the imprecision of
the natural language interfaces, the current designs pose security and privacy
risks for users. In this paper, we propose SecGPT, an architecture for
LLM-based systems that aims to mitigate the security and privacy issues that
arise with the execution of third-party apps. SecGPT's key idea is to isolate
the execution of apps and more precisely mediate their interactions outside of
their isolated environments. We evaluate SecGPT against a number of case study
attacks and demonstrate that it protects against many security, privacy, and
safety issues that exist in non-isolated LLM-based systems. The performance
overhead incurred by SecGPT to improve security is under 0.3x for
three-quarters of the tested queries. To foster follow-up research, we release
SecGPT's source code at https://github.com/llm-platform-security/SecGPT.
- Abstract（参考訳）: ChatGPTのようなシステムとして拡張された大規模言語モデル(LLM)は、サードパーティアプリケーションのサポートを開始した。
これらのLLMアプリは、LLMの事実上の自然言語ベースの自動実行パラダイムを活用している。つまり、アプリとそのインタラクションは自然言語で定義され、ユーザデータへのアクセスを提供し、互いに自由に対話することができる。
これらのLDMアプリのエコシステムは、アプリとシステムの間には分離が不十分な、以前のコンピューティングプラットフォームの設定に似ています。
サードパーティのアプリは信頼に値するものではなく、自然言語インターフェースの不備によって悪化する可能性があるため、現在のデザインはユーザーにとってセキュリティとプライバシーのリスクをもたらす。
本稿では,サードパーティアプリケーションの実行に伴うセキュリティとプライバシの問題を軽減することを目的とした,llmベースのシステムのためのアーキテクチャであるsecgptを提案する。
SecGPTのキーとなる考え方は、アプリの実行を分離し、分離された環境外でのインタラクションをより正確に仲介することだ。
我々はSecGPTをいくつかのケーススタディアタックに対して評価し、非分離LDMシステムに存在する多くのセキュリティ、プライバシー、安全性の問題から保護されていることを示す。
SecGPTがセキュリティを改善するために発生したパフォーマンスオーバーヘッドは、テストクエリの4分の3に対して0.3倍以下である。
フォローアップ研究を促進するため、SecGPTのソースコードはhttps://github.com/llm-platform-security/SecGPTで公開しています。
関連論文リスト
- System-Level Defense against Indirect Prompt Injection Attacks: An Information Flow Control Perspective [24.583984374370342]
LLMシステム(Large Language Model-based System)は、情報処理およびクエリ処理システムである。
本稿では,情報フロー制御の原理に基づくシステムレベルの防衛システムについて述べる。
論文 参考訳（メタデータ） (2024-09-27T18:41:58Z) - Attacks on Third-Party APIs of Large Language Models [15.823694509708302]
大規模言語モデル(LLM)サービスは最近、サードパーティのAPIサービスと対話するプラグインエコシステムの提供を開始した。
このイノベーションはLLMの能力を高めるが、リスクも導入する。
本稿では,サードパーティサービスを含むLDMプラットフォームにおけるセキュリティと安全性の脆弱性を調査する新たな攻撃フレームワークを提案する。
論文 参考訳（メタデータ） (2024-04-24T19:27:02Z) - AdaShield: Safeguarding Multimodal Large Language Models from Structure-based Attack via Adaptive Shield Prompting [54.931241667414184]
textbfAdaptive textbfShield Promptingを提案する。これは、MLLMを構造ベースのジェイルブレイク攻撃から守るための防御プロンプトで入力をプリペイドする。
我々の手法は、構造に基づくジェイルブレイク攻撃に対するMLLMの堅牢性を一貫して改善することができる。
論文 参考訳（メタデータ） (2024-03-14T15:57:13Z) - A New Era in LLM Security: Exploring Security Concerns in Real-World
LLM-based Systems [47.18371401090435]
我々は,LLMではなく,Large Language Model(LLM)システムのセキュリティを分析する。
我々は,多層・多段階のアプローチを提案し,これを最先端のOpenAI GPT4に適用する。
OpenAI GPT4は安全機能を改善するために多くの安全制約を設計しているが、これらの安全制約は攻撃者に対して脆弱である。
論文 参考訳（メタデータ） (2024-02-28T19:00:12Z) - LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。
テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。
研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
論文 参考訳（メタデータ） (2023-11-13T15:08:59Z) - Identifying and Mitigating Vulnerabilities in LLM-Integrated
Applications [37.316238236750415]
LLM統合アプリケーションのバックエンドとして,大規模言語モデル(LLM)がますます多くデプロイされている。
本研究では,ユーザとLLMがLLM統合アプリケーションを介して,中間で対話する環境について考察する。
悪意のあるアプリケーション開発者や外部からの脅威から生じる可能性のある潜在的な脆弱性を特定します。
我々は、内部の脅威と外部の脅威の両方を緩和する軽量で脅威に依存しない防御を開発する。
論文 参考訳（メタデータ） (2023-11-07T20:13:05Z) - SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。
敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
論文 参考訳（メタデータ） (2023-10-05T17:01:53Z) - LLM Platform Security: Applying a Systematic Evaluation Framework to OpenAI's ChatGPT Plugins [31.678328189420483]
大規模言語モデル(LLM)プラットフォームは先頃,インターネット上のサードパーティサービスとインターフェースするアプリエコシステムの提供を開始した。
これらのアプリはLLMプラットフォームの機能を拡張しているが、任意のサードパーティによって開発されており、暗黙的に信頼できない。
LLMプラットフォーム設計者のための基盤を築き,現在および将来のサードパーティのLDMプラットフォームのセキュリティ,プライバシ,安全性を解析し,改善するフレームワークを提案する。
論文 参考訳（メタデータ） (2023-09-19T02:20:10Z) - Not what you've signed up for: Compromising Real-World LLM-Integrated
Applications with Indirect Prompt Injection [64.67495502772866]
大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。
本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。
我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
論文 参考訳（メタデータ） (2023-02-23T17:14:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。