論文の概要: Opening A Pandora's Box: Things You Should Know in the Era of Custom GPTs

• arxiv url: http://arxiv.org/abs/2401.00905v1
• Date: Sun, 31 Dec 2023 16:49:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 12:57:08.120144
• Title: Opening A Pandora's Box: Things You Should Know in the Era of Custom GPTs
• Title（参考訳）: Pandoraの箱を開く: カスタムGPTの時代に知っておくべきこと
• Authors: Guanhong Tao, Siyuan Cheng, Zhuo Zhang, Junmin Zhu, Guangyu Shen, Xiangyu Zhang,
• Abstract要約: 我々はOpenAIによるカスタムGPTプラットフォームから生じるセキュリティとプライバシの問題を包括的に分析する。 本研究は,攻撃シナリオを悪質なアクターの役割に基づいた3つの脅威モデルに分類する。 我々は26の潜在的な攻撃ベクトルを特定し、19は実世界の環境で部分的にまたは完全に検証されている。
• 参考スコア（独自算出の注目度）: 27.97654690288698
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The emergence of large language models (LLMs) has significantly accelerated the development of a wide range of applications across various fields. There is a growing trend in the construction of specialized platforms based on LLMs, such as the newly introduced custom GPTs by OpenAI. While custom GPTs provide various functionalities like web browsing and code execution, they also introduce significant security threats. In this paper, we conduct a comprehensive analysis of the security and privacy issues arising from the custom GPT platform. Our systematic examination categorizes potential attack scenarios into three threat models based on the role of the malicious actor, and identifies critical data exchange channels in custom GPTs. Utilizing the STRIDE threat modeling framework, we identify 26 potential attack vectors, with 19 being partially or fully validated in real-world settings. Our findings emphasize the urgent need for robust security and privacy measures in the custom GPT ecosystem, especially in light of the forthcoming launch of the official GPT store by OpenAI.
• Abstract（参考訳）: 大規模言語モデル(LLM)の出現は、様々な分野にわたる幅広いアプリケーションの開発を著しく加速させてきた。 OpenAI が新たに導入したカスタム GPT など,LSM に基づいた専用プラットフォームの構築が進んでいる。 カスタムのGPTはWebブラウジングやコード実行といったさまざまな機能を提供する一方で、重大なセキュリティ脅威も導入している。 本稿では,カスタムGPTプラットフォームから生じるセキュリティとプライバシの問題を包括的に分析する。 本研究は,攻撃シナリオを悪意のあるアクターの役割に基づく3つの脅威モデルに分類し,GPTにおける重要なデータ交換チャネルを同定する。 STRIDE脅威モデリングフレームワークを利用することで、26の潜在的な攻撃ベクトルを特定し、19は現実の環境で部分的にまたは完全に検証されている。 当社の調査結果は,特にOpenAIによる公式GPTストアのローンチを契機に,カスタムGPTエコシステムにおける堅牢なセキュリティとプライバシ対策の緊急性の必要性を強調した。

関連論文リスト

• Privacy Risks of General-Purpose AI Systems: A Foundation for Investigating Practitioner Perspectives [47.17703009473386]
  強力なAIモデルによって、幅広いタスクでパフォーマンスが飛躍的に向上した。 プライバシの懸念は、さまざまなプライバシのリスクとAIモデルの脆弱性をカバーした、豊富な文献につながっている。 我々はこれらの調査論文の体系的なレビューを行い、GPAISにおけるプライバシーリスクの簡潔かつ有用な概観を提供する。
  論文  参考訳（メタデータ） (2024-07-02T07:49:48Z)
• Unveiling the Safety of GPT-4o: An Empirical Study using Jailbreak Attacks [65.84623493488633]
  本稿では,GPT-4oのジェイルブレイク攻撃に対する厳密な評価を行う。 新たに導入されたオーディオモダリティは、GPT-4oに対するジェイルブレイク攻撃のための新しい攻撃ベクトルを開く。 既存のブラックボックスマルチモーダル・ジェイルブレイク攻撃は、GPT-4oとGPT-4Vに対してほとんど効果がない。
  論文  参考訳（メタデータ） (2024-06-10T14:18:56Z)
• Rethinking the Vulnerabilities of Face Recognition Systems:From a Practical Perspective [53.24281798458074]
  顔認識システム(FRS)は、監視やユーザー認証を含む重要なアプリケーションにますます統合されている。 最近の研究によると、FRSの脆弱性は敵(例えば、敵パッチ攻撃)やバックドア攻撃(例えば、データ中毒の訓練)であることが明らかになっている。
  論文  参考訳（メタデータ） (2024-05-21T13:34:23Z)
• GPT Store Mining and Analysis [4.835306415626808]
  GPTストアは、GPT(Generative Pre-trained Transformer)モデルのマーケットプレースとして機能している。 本研究は、GPTの分類、GPTの人気に影響を与える要因、潜在的なセキュリティリスクに焦点をあてる。 我々の研究は、GPTエコシステムの理解を深め、生成型AIの今後の研究、開発、政策立案に有用な洞察を提供することを目的としている。
  論文  参考訳（メタデータ） (2024-05-16T16:00:35Z)
• Reconstruct Your Previous Conversations! Comprehensively Investigating Privacy Leakage Risks in Conversations with GPT Models [20.92843974858305]
  GPTモデルはタスク最適化にますます利用されている。 本稿では,直接的かつ強力な会話再構築攻撃について紹介する。 過去の会話の再構築をめざした2つの先進的な攻撃を提示する。
  論文  参考訳（メタデータ） (2024-02-05T13:18:42Z)
• Exploring the Limits of ChatGPT in Software Security Applications [29.829574588773486]
  大規模言語モデル(LLM)は急速な進化を遂げ、近年は顕著な成果を上げている。 OpenAIのChatGPTは、幅広いタスクにまたがる強力な能力のために、すぐに人気を得た。
  論文  参考訳（メタデータ） (2023-12-08T03:02:37Z)
• Assessing Prompt Injection Risks in 200+ Custom GPTs [21.86130076843285]
  本研究は、ユーザカスタマイズGPTに固有の重大なセキュリティ脆弱性である即時インジェクション攻撃を明らかにする。 プロンプトインジェクションによって、相手はカスタマイズされたシステムプロンプトを抽出できるだけでなく、アップロードされたファイルにもアクセスできる。 本稿では,このような攻撃を軽減できる可能性の評価とともに,インパルス注入の直接的解析を行う。
  論文  参考訳（メタデータ） (2023-11-20T04:56:46Z)
• Privacy in Large Language Models: Attacks, Defenses and Future Directions [84.73301039987128]
  大規模言語モデル(LLM)を対象とした現在のプライバシ攻撃を分析し、敵の想定能力に応じて分類する。 本稿では、これらのプライバシー攻撃に対抗するために開発された防衛戦略について概説する。
  論文  参考訳（メタデータ） (2023-10-16T13:23:54Z)
• DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models [92.6951708781736]
  本稿では,GPT-4とGPT-3.5に着目した大規模言語モデルの総合的信頼性評価を提案する。 GPTモデルは、有害で偏りのある出力を生成し、個人情報を漏らすために、容易に誤解され得る。 我々の研究は、GPTモデルの総合的な信頼性評価を示し、信頼性のギャップに光を当てている。
  論文  参考訳（メタデータ） (2023-06-20T17:24:23Z)
• Is Vertical Logistic Regression Privacy-Preserving? A Comprehensive Privacy Analysis and Beyond [57.10914865054868]
  垂直ロジスティック回帰(VLR)をミニバッチ降下勾配で訓練した。 我々は、オープンソースのフェデレーション学習フレームワークのクラスにおいて、VLRの包括的で厳密なプライバシー分析を提供する。
  論文  参考訳（メタデータ） (2022-07-19T05:47:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。