論文の概要: Opening A Pandora's Box: Things You Should Know in the Era of Custom GPTs
- arxiv url: http://arxiv.org/abs/2401.00905v1
- Date: Sun, 31 Dec 2023 16:49:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 12:57:08.120144
- Title: Opening A Pandora's Box: Things You Should Know in the Era of Custom GPTs
- Title(参考訳): Pandoraの箱を開く: カスタムGPTの時代に知っておくべきこと
- Authors: Guanhong Tao, Siyuan Cheng, Zhuo Zhang, Junmin Zhu, Guangyu Shen, Xiangyu Zhang,
- Abstract要約: 我々はOpenAIによるカスタムGPTプラットフォームから生じるセキュリティとプライバシの問題を包括的に分析する。
本研究は,攻撃シナリオを悪質なアクターの役割に基づいた3つの脅威モデルに分類する。
我々は26の潜在的な攻撃ベクトルを特定し、19は実世界の環境で部分的にまたは完全に検証されている。
- 参考スコア(独自算出の注目度): 27.97654690288698
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The emergence of large language models (LLMs) has significantly accelerated the development of a wide range of applications across various fields. There is a growing trend in the construction of specialized platforms based on LLMs, such as the newly introduced custom GPTs by OpenAI. While custom GPTs provide various functionalities like web browsing and code execution, they also introduce significant security threats. In this paper, we conduct a comprehensive analysis of the security and privacy issues arising from the custom GPT platform. Our systematic examination categorizes potential attack scenarios into three threat models based on the role of the malicious actor, and identifies critical data exchange channels in custom GPTs. Utilizing the STRIDE threat modeling framework, we identify 26 potential attack vectors, with 19 being partially or fully validated in real-world settings. Our findings emphasize the urgent need for robust security and privacy measures in the custom GPT ecosystem, especially in light of the forthcoming launch of the official GPT store by OpenAI.
- Abstract(参考訳): 大規模言語モデル(LLM)の出現は、様々な分野にわたる幅広いアプリケーションの開発を著しく加速させてきた。
OpenAI が新たに導入したカスタム GPT など,LSM に基づいた専用プラットフォームの構築が進んでいる。
カスタムのGPTはWebブラウジングやコード実行といったさまざまな機能を提供する一方で、重大なセキュリティ脅威も導入している。
本稿では,カスタムGPTプラットフォームから生じるセキュリティとプライバシの問題を包括的に分析する。
本研究は,攻撃シナリオを悪意のあるアクターの役割に基づく3つの脅威モデルに分類し,GPTにおける重要なデータ交換チャネルを同定する。
STRIDE脅威モデリングフレームワークを利用することで、26の潜在的な攻撃ベクトルを特定し、19は現実の環境で部分的にまたは完全に検証されている。
当社の調査結果は,特にOpenAIによる公式GPTストアのローンチを契機に,カスタムGPTエコシステムにおける堅牢なセキュリティとプライバシ対策の緊急性の必要性を強調した。
関連論文リスト
- Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。
被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。
我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
論文 参考訳(メタデータ) (2024-04-01T16:50:54Z) - A First Look at GPT Apps: Landscape and Vulnerability [15.756329034041872]
我々は,GPT ストアの先駆的な探索を行い,GPT アプリケーション内の脆弱性や盗作について調査する。
GPT作成に対するユーザや開発者の熱意は,GPT作成者やクリエーターの急速な増加によって証明された。
しかし, GPT内部の保護が困難であることや, システムプロンプトの90%近くが容易に保護され, GPT間にかなりの盗作と重複が生じていることも判明した。
論文 参考訳(メタデータ) (2024-02-23T05:30:32Z) - Rapid Adoption, Hidden Risks: The Dual Impact of Large Language Model
Customization [39.55330732545979]
我々は、信頼できないカスタマイズ LLM と統合されたアプリケーションに対して、最初の命令バックドアアタックを提案する。
私たちの攻撃には、単語レベル、構文レベル、意味レベルという3つのレベルの攻撃が含まれています。
このような攻撃を緩和する際の部分的有効性を示すため,命令を無視した防御機構を提案する。
論文 参考訳(メタデータ) (2024-02-14T13:47:35Z) - Exploring the Limits of ChatGPT in Software Security Applications [29.829574588773486]
大規模言語モデル(LLM)は急速な進化を遂げ、近年は顕著な成果を上げている。
OpenAIのChatGPTは、幅広いタスクにまたがる強力な能力のために、すぐに人気を得た。
論文 参考訳(メタデータ) (2023-12-08T03:02:37Z) - Assessing Prompt Injection Risks in 200+ Custom GPTs [24.85202611291107]
本研究は、ユーザカスタマイズGPTに固有の重大なセキュリティ脆弱性である即時インジェクション攻撃を明らかにする。
プロンプトインジェクションによって、相手はカスタマイズされたシステムプロンプトを抽出できるだけでなく、アップロードされたファイルにもアクセスできる。
本稿では,このような攻撃を軽減できる可能性の評価とともに,インパルス注入の直接的解析を行う。
論文 参考訳(メタデータ) (2023-11-20T04:56:46Z) - Fine-tuning Aligned Language Models Compromises Safety, Even When Users
Do Not Intend To! [88.90694413503614]
LLMの安全性は微調整によって損なわれる可能性がある。
我々は、GPT-3.5の安全ガードレールを10種類の例で微調整することで、脱獄した。
我々は、協調LLMのカスタム微調整のための安全プロトコルの強化に向けたさらなる研究を提唱する。
論文 参考訳(メタデータ) (2023-10-05T17:12:17Z) - Large Language Models Can Be Good Privacy Protection Learners [53.07930843882592]
本稿では,プライバシ保護言語モデル(PPLM)を紹介する。
本研究は, コーパスキュレーション, ペナルティに基づくトレーニング損失の相違, 命令に基づくチューニングなど, モデル設計の理論的解析を行う。
特に、肯定的な例と否定的な例の両方による命令チューニングは、モデルの知識を高めながら、個人データを効果的に保護する、有望な方法として際立っている。
論文 参考訳(メタデータ) (2023-10-03T22:37:01Z) - DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT
Models [92.6951708781736]
本稿では,GPT-4とGPT-3.5に着目した大規模言語モデルの総合的信頼性評価を提案する。
GPTモデルは、有害で偏りのある出力を生成し、個人情報を漏らすために、容易に誤解され得る。
我々の研究は、GPTモデルの総合的な信頼性評価を示し、信頼性のギャップに光を当てている。
論文 参考訳(メタデータ) (2023-06-20T17:24:23Z) - Is Vertical Logistic Regression Privacy-Preserving? A Comprehensive
Privacy Analysis and Beyond [57.10914865054868]
垂直ロジスティック回帰(VLR)をミニバッチ降下勾配で訓練した。
我々は、オープンソースのフェデレーション学習フレームワークのクラスにおいて、VLRの包括的で厳密なプライバシー分析を提供する。
論文 参考訳(メタデータ) (2022-07-19T05:47:30Z) - Graph Backdoor [53.70971502299977]
GTAはグラフニューラルネットワーク(GNN)に対する最初のバックドア攻撃である。
GTAは、トポロジカル構造と記述的特徴の両方を含む特定の部分グラフとしてトリガーを定義する。
トランスダクティブ(ノード分類など)とインダクティブ(グラフ分類など)の両方のタスクに対してインスタンス化することができる。
論文 参考訳(メタデータ) (2020-06-21T19:45:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。