論文の概要: A Large-Scale Empirical Analysis of Custom GPTs' Vulnerabilities in the OpenAI Ecosystem

• arxiv url: http://arxiv.org/abs/2505.08148v1
• Date: Tue, 13 May 2025 00:51:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.382736
• Title: A Large-Scale Empirical Analysis of Custom GPTs' Vulnerabilities in the OpenAI Ecosystem
• Title（参考訳）: OpenAIエコシステムにおけるカスタムGPTの脆弱性の大規模実証分析
• Authors: Sunday Oyinlola Ogundoyin, Muhammad Ikram, Hassan Jameel Asghar, Benjamin Zi Hao Zhao, Dali Kaafar,
• Abstract要約: 我々は、14,904個のカスタムGPTを分析し、7つの悪用可能な脅威に対する感受性を評価する。 以上の結果から,95%以上のカスタムGPTには適切なセキュリティ保護が欠如していることが判明した。 これらの結果は、セキュリティ対策の強化とコンテンツモデレーションの厳格化に対する緊急の必要性を浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 5.455788617334495
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Millions of users leverage generative pretrained transformer (GPT)-based language models developed by leading model providers for a wide range of tasks. To support enhanced user interaction and customization, many platforms-such as OpenAI-now enable developers to create and publish tailored model instances, known as custom GPTs, via dedicated repositories or application stores. These custom GPTs empower users to browse and interact with specialized applications designed to meet specific needs. However, as custom GPTs see growing adoption, concerns regarding their security vulnerabilities have intensified. Existing research on these vulnerabilities remains largely theoretical, often lacking empirical, large-scale, and statistically rigorous assessments of associated risks. In this study, we analyze 14,904 custom GPTs to assess their susceptibility to seven exploitable threats, such as roleplay-based attacks, system prompt leakage, phishing content generation, and malicious code synthesis, across various categories and popularity tiers within the OpenAI marketplace. We introduce a multi-metric ranking system to examine the relationship between a custom GPT's popularity and its associated security risks. Our findings reveal that over 95% of custom GPTs lack adequate security protections. The most prevalent vulnerabilities include roleplay-based vulnerabilities (96.51%), system prompt leakage (92.20%), and phishing (91.22%). Furthermore, we demonstrate that OpenAI's foundational models exhibit inherent security weaknesses, which are often inherited or amplified in custom GPTs. These results highlight the urgent need for enhanced security measures and stricter content moderation to ensure the safe deployment of GPT-based applications.
• Abstract（参考訳）: 何百万というユーザが、GPT(Generative Pretrained Transformer)ベースの言語モデルを活用している。 ユーザインタラクションとカスタマイズの強化をサポートするため、OpenAIのようなプラットフォームでは、開発者は専用のリポジトリやアプリケーションストアを通じてカスタムGPTとして知られるカスタマイズされたモデルインスタンスを作成および公開できるようになった。 これらのカスタムGPTは、ユーザが特定のニーズを満たすように設計された専用アプリケーションを閲覧し、対話することを可能にする。 しかし、カスタムGPTの採用が増えるにつれて、セキュリティ脆弱性に関する懸念が高まっている。 これらの脆弱性に関する既存の研究は、主に理論的であり、しばしば経験的、大規模、統計的に厳密なリスク評価を欠いている。 本研究では、ロールプレイベースの攻撃、システムプロンプトリーク、フィッシングコンテンツ生成、悪意のあるコード合成など、OpenAIマーケットプレース内のさまざまなカテゴリや人気層において、悪用可能な7つの脅威に対する感受性を評価するために、14,904個のカスタムGPTを分析した。 我々は、カスタムGPTの人気と関連するセキュリティリスクとの関係を検討するために、マルチメトリックランキングシステムを導入する。 以上の結果から,95%以上のカスタムGPTには適切なセキュリティ保護が欠如していることが判明した。 最も多い脆弱性はロールプレイベースの脆弱性(96.51%)、システムプロンプトリーク(92.20%)、フィッシング(91.22%)である。 さらに、OpenAIの基本モデルは固有のセキュリティの弱点を示しており、しばしばカスタムGPTで継承または増幅される。 これらの結果は、GPTベースのアプリケーションの安全なデプロイを保証するために、セキュリティ対策の強化とコンテンツモデレーションの厳格化の必要性を強調している。

関連論文リスト

• Towards Safer Chatbots: A Framework for Policy Compliance Evaluation of Custom GPTs [7.687215328455751]
  オープンAIの利用ポリシーに対するカスタムGPTの自動評価のためのフレームワークを提案する。 我々は,ロマン主義,サイバーセキュリティ,アカデミックGPTの3つのカテゴリにまたがって,722のカスタムGPTを用いた大規模研究を通じて評価を行った。 その結果、分析されたモデルの58.7%は、非準拠の兆候を示し、GPTストアのレビューと承認プロセスの弱点を明らかにしていることが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-03T15:19:28Z)
• Rethinking the Vulnerabilities of Face Recognition Systems:From a Practical Perspective [53.24281798458074]
  顔認識システム(FRS)は、監視やユーザー認証を含む重要なアプリケーションにますます統合されている。 最近の研究によると、FRSの脆弱性は敵(例えば、敵パッチ攻撃)やバックドア攻撃(例えば、データ中毒の訓練)であることが明らかになっている。
  論文  参考訳（メタデータ） (2024-05-21T13:34:23Z)
• Opening A Pandora's Box: Things You Should Know in the Era of Custom GPTs [27.97654690288698]
  我々はOpenAIによるカスタムGPTプラットフォームから生じるセキュリティとプライバシの問題を包括的に分析する。 本研究は,攻撃シナリオを悪質なアクターの役割に基づいた3つの脅威モデルに分類する。 我々は26の潜在的な攻撃ベクトルを特定し、19は実世界の環境で部分的にまたは完全に検証されている。
  論文  参考訳（メタデータ） (2023-12-31T16:49:12Z)
• Assessing Prompt Injection Risks in 200+ Custom GPTs [21.86130076843285]
  本研究は、ユーザカスタマイズGPTに固有の重大なセキュリティ脆弱性である即時インジェクション攻撃を明らかにする。 プロンプトインジェクションによって、相手はカスタマイズされたシステムプロンプトを抽出できるだけでなく、アップロードされたファイルにもアクセスできる。 本稿では,このような攻撃を軽減できる可能性の評価とともに,インパルス注入の直接的解析を行う。
  論文  参考訳（メタデータ） (2023-11-20T04:56:46Z)
• DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models [92.6951708781736]
  本稿では,GPT-4とGPT-3.5に着目した大規模言語モデルの総合的信頼性評価を提案する。 GPTモデルは、有害で偏りのある出力を生成し、個人情報を漏らすために、容易に誤解され得る。 我々の研究は、GPTモデルの総合的な信頼性評価を示し、信頼性のギャップに光を当てている。
  論文  参考訳（メタデータ） (2023-06-20T17:24:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。