論文の概要: LLM Platform Security: Applying a Systematic Evaluation Framework to
OpenAI's ChatGPT Plugins
- arxiv url: http://arxiv.org/abs/2309.10254v1
- Date: Tue, 19 Sep 2023 02:20:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 16:47:06.752967
- Title: LLM Platform Security: Applying a Systematic Evaluation Framework to
OpenAI's ChatGPT Plugins
- Title(参考訳): LLM Platform Security: OpenAIのChatGPTプラグインにシステム評価フレームワークを適用する
- Authors: Umar Iqbal, Tadayoshi Kohno, Franziska Roesner
- Abstract要約: 大規模言語モデル(LLM)プラットフォームは先頃,インターネット上のサードパーティサービスとインターフェースするためのプラグインエコシステムの提供を開始した。
これらのプラグインはLLMプラットフォームの機能を拡張しているが、任意のサードパーティによって開発されており、暗黙的に信頼できない。
LLMプラットフォーム設計者のための基盤を築き,現在および将来のプラグイン統合LLMプラットフォームのセキュリティ,プライバシ,安全性を解析し,改善するフレームワークを提案する。
- 参考スコア(独自算出の注目度): 35.60326624535449
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) platforms, such as ChatGPT, have recently begun
offering a plugin ecosystem to interface with third-party services on the
internet. While these plugins extend the capabilities of LLM platforms, they
are developed by arbitrary third parties and thus cannot be implicitly trusted.
Plugins also interface with LLM platforms and users using natural language,
which can have imprecise interpretations. In this paper, we propose a framework
that lays a foundation for LLM platform designers to analyze and improve the
security, privacy, and safety of current and future plugin-integrated LLM
platforms. Our framework is a formulation of an attack taxonomy that is
developed by iteratively exploring how LLM platform stakeholders could leverage
their capabilities and responsibilities to mount attacks against each other. As
part of our iterative process, we apply our framework in the context of
OpenAI's plugin ecosystem. We uncover plugins that concretely demonstrate the
potential for the types of issues that we outline in our attack taxonomy. We
conclude by discussing novel challenges and by providing recommendations to
improve the security, privacy, and safety of present and future LLM-based
computing platforms.
- Abstract(参考訳): ChatGPTのような大規模言語モデル(LLM)プラットフォームは最近、インターネット上のサードパーティサービスと対話するためのプラグインエコシステムの提供を開始した。
これらのプラグインはLLMプラットフォームの機能を拡張しているが、任意のサードパーティによって開発されており、暗黙的に信頼できない。
プラグインは自然言語を使用したllmプラットフォームやユーザとのインターフェースも備えている。
本稿では,LLMプラットフォーム設計者のための基盤を築き,現在および将来のプラグイン統合LLMプラットフォームのセキュリティ,プライバシ,安全性を解析・改善するフレームワークを提案する。
我々の枠組みは、LLMプラットフォームステークホルダーが互いの能力と責任を利用して攻撃をマウントする方法を反復的に探求することによって開発された攻撃分類の定式化である。
反復的なプロセスの一環として、OpenAIのプラグインエコシステムのコンテキストに私たちのフレームワークを適用します。
攻撃分類学で概説するタイプの問題の可能性を具体的に示すプラグインを明らかにする。
我々は、新しい課題について議論し、現在および将来のllmベースのコンピューティングプラットフォームのセキュリティ、プライバシ、安全性を改善するための勧告を提供することで締めくくった。
関連論文リスト
- Attacks on Third-Party APIs of Large Language Models [15.823694509708302]
大規模言語モデル(LLM)サービスは最近、サードパーティのAPIサービスと対話するプラグインエコシステムの提供を開始した。
このイノベーションはLLMの能力を高めるが、リスクも導入する。
本稿では,サードパーティサービスを含むLDMプラットフォームにおけるセキュリティと安全性の脆弱性を調査する新たな攻撃フレームワークを提案する。
論文 参考訳(メタデータ) (2024-04-24T19:27:02Z) - AdaShield: Safeguarding Multimodal Large Language Models from Structure-based Attack via Adaptive Shield Prompting [54.931241667414184]
textbfAdaptive textbfShield Promptingを提案する。これは、MLLMを構造ベースのジェイルブレイク攻撃から守るための防御プロンプトで入力をプリペイドする。
我々の手法は、構造に基づくジェイルブレイク攻撃に対するMLLMの堅牢性を一貫して改善することができる。
論文 参考訳(メタデータ) (2024-03-14T15:57:13Z) - SecGPT: An Execution Isolation Architecture for LLM-Based Systems [37.47068167748932]
SecGPTは、サードパーティアプリの実行に伴うセキュリティとプライバシの問題を軽減することを目的としている。
我々はSecGPTをいくつかのケーススタディアタックに対して評価し、多くのセキュリティ、プライバシ、安全性の問題から保護されていることを実証する。
論文 参考訳(メタデータ) (2024-03-08T00:02:30Z) - A New Era in LLM Security: Exploring Security Concerns in Real-World
LLM-based Systems [47.18371401090435]
我々は,LLMではなく,Large Language Model(LLM)システムのセキュリティを分析する。
我々は,多層・多段階のアプローチを提案し,これを最先端のOpenAI GPT4に適用する。
OpenAI GPT4は安全機能を改善するために多くの安全制約を設計しているが、これらの安全制約は攻撃者に対して脆弱である。
論文 参考訳(メタデータ) (2024-02-28T19:00:12Z) - LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。
テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。
研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
論文 参考訳(メタデータ) (2023-11-13T15:08:59Z) - Can LLMs Patch Security Issues? [0.26107298043931204]
LLM(Large Language Models)は、コード生成に優れた習熟度を示している。
LLMはセキュリティ上の脆弱性や欠陥を含むコードを生成する。
そこで本稿では,Bandit からのフィードバックを受信するための LLM の利用について検討する。
論文 参考訳(メタデータ) (2023-11-13T08:54:37Z) - Augmented Large Language Models with Parametric Knowledge Guiding [72.71468058502228]
大規模言語モデル(LLM)は、言語理解と生成能力に優れた自然言語処理(NLP)を備えています。
それらのパフォーマンスは、関連するデータへの限られた露出のために専門的な知識を必要とするドメイン固有のタスクに最適であるかもしれない。
本稿では,LLMに関連知識にアクセスするための知識誘導モジュールを組み込んだ新しいPKGフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-08T15:05:16Z) - Not what you've signed up for: Compromising Real-World LLM-Integrated
Applications with Indirect Prompt Injection [64.67495502772866]
大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。
本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。
我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
論文 参考訳(メタデータ) (2023-02-23T17:14:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。