論文の概要: LLM Platform Security: Applying a Systematic Evaluation Framework to OpenAI's ChatGPT Plugins

• arxiv url: http://arxiv.org/abs/2309.10254v2
• Date: Fri, 26 Jul 2024 23:50:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-31 00:46:55.606639
• Title: LLM Platform Security: Applying a Systematic Evaluation Framework to OpenAI's ChatGPT Plugins
• Title（参考訳）: LLM Platform Security: OpenAIのChatGPTプラグインにシステム評価フレームワークを適用する
• Authors: Umar Iqbal, Tadayoshi Kohno, Franziska Roesner,
• Abstract要約: 大規模言語モデル(LLM)プラットフォームは先頃,インターネット上のサードパーティサービスとインターフェースするアプリエコシステムの提供を開始した。 これらのアプリはLLMプラットフォームの機能を拡張しているが、任意のサードパーティによって開発されており、暗黙的に信頼できない。 LLMプラットフォーム設計者のための基盤を築き,現在および将来のサードパーティのLDMプラットフォームのセキュリティ,プライバシ,安全性を解析し,改善するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 31.678328189420483
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) platforms, such as ChatGPT, have recently begun offering an app ecosystem to interface with third-party services on the internet. While these apps extend the capabilities of LLM platforms, they are developed by arbitrary third parties and thus cannot be implicitly trusted. Apps also interface with LLM platforms and users using natural language, which can have imprecise interpretations. In this paper, we propose a framework that lays a foundation for LLM platform designers to analyze and improve the security, privacy, and safety of current and future third-party integrated LLM platforms. Our framework is a formulation of an attack taxonomy that is developed by iteratively exploring how LLM platform stakeholders could leverage their capabilities and responsibilities to mount attacks against each other. As part of our iterative process, we apply our framework in the context of OpenAI's plugin (apps) ecosystem. We uncover plugins that concretely demonstrate the potential for the types of issues that we outline in our attack taxonomy. We conclude by discussing novel challenges and by providing recommendations to improve the security, privacy, and safety of present and future LLM-based computing platforms.
• Abstract（参考訳）: ChatGPTのような大規模言語モデル(LLM)プラットフォームは最近、インターネット上のサードパーティサービスとインターフェースするためのアプリエコシステムの提供を開始した。 これらのアプリはLLMプラットフォームの機能を拡張しているが、任意のサードパーティによって開発されており、暗黙的に信頼できない。 アプリはLLMプラットフォームや、不正確な解釈を持つ自然言語を使用するユーザとインターフェースする。 本稿では,LLMプラットフォーム設計者のための基盤を築き,現在および将来のサードパーティのLDMプラットフォームにおけるセキュリティ,プライバシ,安全性を解析・改善するフレームワークを提案する。 我々の枠組みは、LLMプラットフォームステークホルダーが互いの能力と責任を利用して攻撃をマウントする方法を反復的に探求することによって開発された攻撃分類の定式化である。 反復的なプロセスの一環として、OpenAIのプラグイン(アプリ)エコシステムのコンテキストにフレームワークを適用します。 攻撃分類で概説した問題の種類を具体的に示すプラグインを明らかにする。 我々は、新しい課題について議論し、現在および将来のLLMベースのコンピューティングプラットフォームのセキュリティ、プライバシ、安全性を改善するための勧告を提供することで、結論付ける。

関連論文リスト

• Exploring ChatGPT App Ecosystem: Distribution, Deployment and Security [3.0924093890016904]
  ChatGPTは、サードパーティ開発者がChatGPTの機能を拡張するプラグインを作成することを可能にする。 われわれはChatGPTアプリのエコシステムを総合的に調査し、研究コミュニティの景観を照らすことを目的としている。 ChatGPTプラグインの間に不均一な機能の分布が発見され、広く普及し、新たなトピックが浮かび上がっています。
  論文  参考訳（メタデータ） (2024-08-26T15:31:58Z)
• Attacks on Third-Party APIs of Large Language Models [15.823694509708302]
  大規模言語モデル(LLM)サービスは最近、サードパーティのAPIサービスと対話するプラグインエコシステムの提供を開始した。 このイノベーションはLLMの能力を高めるが、リスクも導入する。 本稿では,サードパーティサービスを含むLDMプラットフォームにおけるセキュリティと安全性の脆弱性を調査する新たな攻撃フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-24T19:27:02Z)
• AdaShield: Safeguarding Multimodal Large Language Models from Structure-based Attack via Adaptive Shield Prompting [54.931241667414184]
  textbfAdaptive textbfShield Promptingを提案する。これは、MLLMを構造ベースのジェイルブレイク攻撃から守るための防御プロンプトで入力をプリペイドする。 我々の手法は、構造に基づくジェイルブレイク攻撃に対するMLLMの堅牢性を一貫して改善することができる。
  論文  参考訳（メタデータ） (2024-03-14T15:57:13Z)
• SecGPT: An Execution Isolation Architecture for LLM-Based Systems [37.47068167748932]
  SecGPTは、サードパーティアプリの実行に伴うセキュリティとプライバシの問題を軽減することを目的としている。 我々はSecGPTをいくつかのケーススタディアタックに対して評価し、多くのセキュリティ、プライバシ、安全性の問題から保護されていることを実証する。
  論文  参考訳（メタデータ） (2024-03-08T00:02:30Z)
• A New Era in LLM Security: Exploring Security Concerns in Real-World LLM-based Systems [47.18371401090435]
  我々は,LLMではなく,Large Language Model(LLM)システムのセキュリティを分析する。 我々は,多層・多段階のアプローチを提案し,これを最先端のOpenAI GPT4に適用する。 OpenAI GPT4は安全機能を改善するために多くの安全制約を設計しているが、これらの安全制約は攻撃者に対して脆弱である。
  論文  参考訳（メタデータ） (2024-02-28T19:00:12Z)
• LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
  不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。 テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。 研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
  論文  参考訳（メタデータ） (2023-11-13T15:08:59Z)
• Privacy in Large Language Models: Attacks, Defenses and Future Directions [84.73301039987128]
  大規模言語モデル(LLM)を対象とした現在のプライバシ攻撃を分析し、敵の想定能力に応じて分類する。 本稿では、これらのプライバシー攻撃に対抗するために開発された防衛戦略について概説する。
  論文  参考訳（メタデータ） (2023-10-16T13:23:54Z)
• Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly [62.473245910234304]
  本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。 マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
  論文  参考訳（メタデータ） (2023-10-04T20:27:20Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。