論文の概要: Privacy and Security Threat for OpenAI GPTs

• arxiv url: http://arxiv.org/abs/2506.04036v1
• Date: Wed, 04 Jun 2025 14:58:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.398325
• Title: Privacy and Security Threat for OpenAI GPTs
• Title（参考訳）: OpenAI GPTのプライバシとセキュリティの脅威
• Authors: Wei Wenying, Zhao Kaifa, Xue Lei, Fan Ming,
• Abstract要約: OpenAIが2023年11月にリリースされて以来、300万以上のカスタムGPTが作成されている。 ディベロッパにとって、命令漏洩攻撃はカスタムGPTにおける命令の知的特性を脅かす。 ユーザにとって、カスタムのGPTや統合されたサードパーティサービスによる不要なデータアクセス行動は、重要なプライバシー上の懸念を引き起こす。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) demonstrate powerful information handling capabilities and are widely integrated into chatbot applications. OpenAI provides a platform for developers to construct custom GPTs, extending ChatGPT's functions and integrating external services. Since its release in November 2023, over 3 million custom GPTs have been created. However, such a vast ecosystem also conceals security and privacy threats. For developers, instruction leaking attacks threaten the intellectual property of instructions in custom GPTs through carefully crafted adversarial prompts. For users, unwanted data access behavior by custom GPTs or integrated third-party services raises significant privacy concerns. To systematically evaluate the scope of threats in real-world LLM applications, we develop three phases instruction leaking attacks target GPTs with different defense level. Our widespread experiments on 10,000 real-world custom GPTs reveal that over 98.8% of GPTs are vulnerable to instruction leaking attacks via one or more adversarial prompts, and half of the remaining GPTs can also be attacked through multiround conversations. We also developed a framework to assess the effectiveness of defensive strategies and identify unwanted behaviors in custom GPTs. Our findings show that 77.5% of custom GPTs with defense strategies are vulnerable to basic instruction leaking attacks. Additionally, we reveal that 738 custom GPTs collect user conversational information, and identified 8 GPTs exhibiting data access behaviors that are unnecessary for their intended functionalities. Our findings raise awareness among GPT developers about the importance of integrating specific defensive strategies in their instructions and highlight users' concerns about data privacy when using LLM-based applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)は強力な情報処理能力を示し、チャットボットアプリケーションに広く統合されている。 OpenAIは、開発者がカスタムGPTを構築するためのプラットフォームを提供し、ChatGPTの機能を拡張し、外部サービスを統合する。 2023年11月にリリースされて以来、300万以上のカスタムGPTが作成されている。 しかし、このような巨大なエコシステムは、セキュリティとプライバシーの脅威を隠蔽している。 ディベロッパにとって、命令漏洩攻撃は、慎重に構築された敵のプロンプトを通じて、カスタムGPTの命令の知的特性を脅かす。 ユーザにとって、カスタムのGPTや統合されたサードパーティサービスによる不要なデータアクセス行動は、重要なプライバシー上の懸念を引き起こす。 実世界のLLMアプリケーションにおける脅威範囲を体系的に評価するために,防衛レベルが異なる攻撃対象のGPTを3段階リークする命令を提示する。 1万件以上の実世界のカスタムGPTに関する広範な実験では、98.8%以上のGPTが、1つ以上の敵のプロンプトを介して攻撃を誘導する命令の漏洩に対して脆弱であり、残りのGPTの半分はマルチラウンドの会話を通じて攻撃可能であることが判明した。 我々はまた、防衛戦略の有効性を評価し、カスタムGPTにおける望ましくない行動を特定するためのフレームワークを開発した。 その結果,防衛戦略を持つカスタムGPTの77.5%が,基本的な命令漏洩攻撃に対して脆弱であることがわかった。 さらに、738個のカスタムGPTがユーザの会話情報を収集し、意図した機能に不要なデータアクセス動作を示す8個のGPTを特定した。 この結果から,GPT開発者の間では,具体的な防衛戦略を指示に組み込むことの重要性が認識され,LCMベースのアプリケーションを使用する際のユーザのデータプライバシに関する懸念が浮き彫りになった。

関連論文リスト

• A Large-Scale Empirical Analysis of Custom GPTs' Vulnerabilities in the OpenAI Ecosystem [5.455788617334495]
  我々は、14,904個のカスタムGPTを分析し、7つの悪用可能な脅威に対する感受性を評価する。 以上の結果から,95%以上のカスタムGPTには適切なセキュリティ保護が欠如していることが判明した。 これらの結果は、セキュリティ対策の強化とコンテンツモデレーションの厳格化に対する緊急の必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-05-13T00:51:07Z)
• Towards Safer Chatbots: A Framework for Policy Compliance Evaluation of Custom GPTs [7.687215328455751]
  オープンAIの利用ポリシーに対するカスタムGPTの自動評価のためのフレームワークを提案する。 我々は,ロマン主義,サイバーセキュリティ,アカデミックGPTの3つのカテゴリにまたがって,722のカスタムGPTを用いた大規模研究を通じて評価を行った。 その結果、分析されたモデルの58.7%は、非準拠の兆候を示し、GPTストアのレビューと承認プロセスの弱点を明らかにしていることが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-03T15:19:28Z)
• A First Look at GPT Apps: Landscape and Vulnerability [14.869850673247631]
  本研究は,2つのGPTアプリストアである textitGPTStore.AI と公式 textitOpenAI GPT Store に焦点を当てた。 具体的には、2つの自動ツールとTriLevel構成抽出戦略を開発し、これら2つのストアにまたがる全GPTアプリのメタデータを効率的に収集する。 1) GPTアプリのユーザへの熱意は一貫して上昇し, 2) GPTアプリのローンチから3ヶ月以内にクリエーターの関心高原が増加し, (2) GPTアプリの構成が不安定なため,システムプロンプトの90%近くが容易にアクセス可能である。
  論文  参考訳（メタデータ） (2024-02-23T05:30:32Z)
• Reconstruct Your Previous Conversations! Comprehensively Investigating Privacy Leakage Risks in Conversations with GPT Models [20.92843974858305]
  GPTモデルはタスク最適化にますます利用されている。 本稿では,直接的かつ強力な会話再構築攻撃について紹介する。 過去の会話の再構築をめざした2つの先進的な攻撃を提示する。
  論文  参考訳（メタデータ） (2024-02-05T13:18:42Z)
• Opening A Pandora's Box: Things You Should Know in the Era of Custom GPTs [27.97654690288698]
  我々はOpenAIによるカスタムGPTプラットフォームから生じるセキュリティとプライバシの問題を包括的に分析する。 本研究は,攻撃シナリオを悪質なアクターの役割に基づいた3つの脅威モデルに分類する。 我々は26の潜在的な攻撃ベクトルを特定し、19は実世界の環境で部分的にまたは完全に検証されている。
  論文  参考訳（メタデータ） (2023-12-31T16:49:12Z)
• Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
  我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。 注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。 以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
  論文  参考訳（メタデータ） (2023-11-11T11:01:13Z)
• DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models [92.6951708781736]
  本稿では,GPT-4とGPT-3.5に着目した大規模言語モデルの総合的信頼性評価を提案する。 GPTモデルは、有害で偏りのある出力を生成し、個人情報を漏らすために、容易に誤解され得る。 我々の研究は、GPTモデルの総合的な信頼性評価を示し、信頼性のギャップに光を当てている。
  論文  参考訳（メタデータ） (2023-06-20T17:24:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。