論文の概要: LLM Platform Security: Applying a Systematic Evaluation Framework to OpenAI's ChatGPT Plugins
- arxiv url: http://arxiv.org/abs/2309.10254v2
- Date: Fri, 26 Jul 2024 23:50:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-31 00:46:55.606639
- Title: LLM Platform Security: Applying a Systematic Evaluation Framework to OpenAI's ChatGPT Plugins
- Title(参考訳): LLM Platform Security: OpenAIのChatGPTプラグインにシステム評価フレームワークを適用する
- Authors: Umar Iqbal, Tadayoshi Kohno, Franziska Roesner,
- Abstract要約: 大規模言語モデル(LLM)プラットフォームは先頃,インターネット上のサードパーティサービスとインターフェースするアプリエコシステムの提供を開始した。
これらのアプリはLLMプラットフォームの機能を拡張しているが、任意のサードパーティによって開発されており、暗黙的に信頼できない。
LLMプラットフォーム設計者のための基盤を築き,現在および将来のサードパーティのLDMプラットフォームのセキュリティ,プライバシ,安全性を解析し,改善するフレームワークを提案する。
- 参考スコア(独自算出の注目度): 31.678328189420483
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) platforms, such as ChatGPT, have recently begun offering an app ecosystem to interface with third-party services on the internet. While these apps extend the capabilities of LLM platforms, they are developed by arbitrary third parties and thus cannot be implicitly trusted. Apps also interface with LLM platforms and users using natural language, which can have imprecise interpretations. In this paper, we propose a framework that lays a foundation for LLM platform designers to analyze and improve the security, privacy, and safety of current and future third-party integrated LLM platforms. Our framework is a formulation of an attack taxonomy that is developed by iteratively exploring how LLM platform stakeholders could leverage their capabilities and responsibilities to mount attacks against each other. As part of our iterative process, we apply our framework in the context of OpenAI's plugin (apps) ecosystem. We uncover plugins that concretely demonstrate the potential for the types of issues that we outline in our attack taxonomy. We conclude by discussing novel challenges and by providing recommendations to improve the security, privacy, and safety of present and future LLM-based computing platforms.
- Abstract(参考訳): ChatGPTのような大規模言語モデル(LLM)プラットフォームは最近、インターネット上のサードパーティサービスとインターフェースするためのアプリエコシステムの提供を開始した。
これらのアプリはLLMプラットフォームの機能を拡張しているが、任意のサードパーティによって開発されており、暗黙的に信頼できない。
アプリはLLMプラットフォームや、不正確な解釈を持つ自然言語を使用するユーザとインターフェースする。
本稿では,LLMプラットフォーム設計者のための基盤を築き,現在および将来のサードパーティのLDMプラットフォームにおけるセキュリティ,プライバシ,安全性を解析・改善するフレームワークを提案する。
我々の枠組みは、LLMプラットフォームステークホルダーが互いの能力と責任を利用して攻撃をマウントする方法を反復的に探求することによって開発された攻撃分類の定式化である。
反復的なプロセスの一環として、OpenAIのプラグイン(アプリ)エコシステムのコンテキストにフレームワークを適用します。
攻撃分類で概説した問題の種類を具体的に示すプラグインを明らかにする。
我々は、新しい課題について議論し、現在および将来のLLMベースのコンピューティングプラットフォームのセキュリティ、プライバシ、安全性を改善するための勧告を提供することで、結論付ける。
関連論文リスト
- Demystifying Platform Requirements for Diverse LLM Inference Use Cases [7.233203254714951]
本稿では,大規模言語モデル推論性能とプラットフォーム設計パラメータの関係を明らかにするための分析ツールGenZを提案する。
LLaMA や GPT-4 のような SOTA LLM モデルをサポートするためのプラットフォーム要件を,多様なサービス設定下で定量化する。
結局のところ、この研究は、幅広いアプリケーションにまたがる大きな言語モデルの潜在能力を最大限に活用するためのプラットフォーム設計の考察に光を当てている。
論文 参考訳(メタデータ) (2024-06-03T18:00:50Z) - Attacks on Third-Party APIs of Large Language Models [15.823694509708302]
大規模言語モデル(LLM)サービスは最近、サードパーティのAPIサービスと対話するプラグインエコシステムの提供を開始した。
このイノベーションはLLMの能力を高めるが、リスクも導入する。
本稿では,サードパーティサービスを含むLDMプラットフォームにおけるセキュリティと安全性の脆弱性を調査する新たな攻撃フレームワークを提案する。
論文 参考訳(メタデータ) (2024-04-24T19:27:02Z) - AdaShield: Safeguarding Multimodal Large Language Models from Structure-based Attack via Adaptive Shield Prompting [54.931241667414184]
textbfAdaptive textbfShield Promptingを提案する。これは、MLLMを構造ベースのジェイルブレイク攻撃から守るための防御プロンプトで入力をプリペイドする。
我々の手法は、構造に基づくジェイルブレイク攻撃に対するMLLMの堅牢性を一貫して改善することができる。
論文 参考訳(メタデータ) (2024-03-14T15:57:13Z) - SecGPT: An Execution Isolation Architecture for LLM-Based Systems [37.47068167748932]
SecGPTは、サードパーティアプリの実行に伴うセキュリティとプライバシの問題を軽減することを目的としている。
我々はSecGPTをいくつかのケーススタディアタックに対して評価し、多くのセキュリティ、プライバシ、安全性の問題から保護されていることを実証する。
論文 参考訳(メタデータ) (2024-03-08T00:02:30Z) - A New Era in LLM Security: Exploring Security Concerns in Real-World
LLM-based Systems [47.18371401090435]
我々は,LLMではなく,Large Language Model(LLM)システムのセキュリティを分析する。
我々は,多層・多段階のアプローチを提案し,これを最先端のOpenAI GPT4に適用する。
OpenAI GPT4は安全機能を改善するために多くの安全制約を設計しているが、これらの安全制約は攻撃者に対して脆弱である。
論文 参考訳(メタデータ) (2024-02-28T19:00:12Z) - Video Understanding with Large Language Models: A Survey [97.29126722004949]
言語・マルチモーダルタスクにおける大規模言語モデル(LLM)の顕著な機能を考えると,近年の映像理解の進歩について概観する。
Vid-LLMの創発的能力は驚くほど進歩しており、特にオープンな多粒性推論能力がある。
本調査は,Vid-LLMのタスク,データセット,ベンチマーク,評価方法論に関する総合的研究である。
論文 参考訳(メタデータ) (2023-12-29T01:56:17Z) - LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。
テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。
研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
論文 参考訳(メタデータ) (2023-11-13T15:08:59Z) - Not what you've signed up for: Compromising Real-World LLM-Integrated
Applications with Indirect Prompt Injection [64.67495502772866]
大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。
本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。
我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
論文 参考訳(メタデータ) (2023-02-23T17:14:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。