論文の概要: Assessing Prompt Injection Risks in 200+ Custom GPTs
- arxiv url: http://arxiv.org/abs/2311.11538v1
- Date: Mon, 20 Nov 2023 04:56:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-21 19:52:44.676090
- Title: Assessing Prompt Injection Risks in 200+ Custom GPTs
- Title(参考訳): 200以上のカスタムGPTにおけるプロンプト注入リスクの評価
- Authors: Jiahao Yu, Yuhang Wu, Dong Shu, Mingyu Jin, Xinyu Xing
- Abstract要約: 本研究は、ユーザカスタマイズGPTに固有の重大なセキュリティ脆弱性である即時インジェクション攻撃を明らかにする。
プロンプトインジェクションによって、相手はカスタマイズされたシステムプロンプトを抽出できるだけでなく、アップロードされたファイルにもアクセスできる。
本稿では,このような攻撃を軽減できる可能性の評価とともに,インパルス注入の直接的解析を行う。
- 参考スコア(独自算出の注目度): 24.85202611291107
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the rapidly evolving landscape of artificial intelligence, ChatGPT has
been widely used in various applications. The new feature: customization of
ChatGPT models by users to cater to specific needs has opened new frontiers in
AI utility. However, this study reveals a significant security vulnerability
inherent in these user-customized GPTs: prompt injection attacks. Through
comprehensive testing of over 200 user-designed GPT models via adversarial
prompts, we demonstrate that these systems are susceptible to prompt
injections. Through prompt injection, an adversary can not only extract the
customized system prompts but also access the uploaded files. This paper
provides a first-hand analysis of the prompt injection, alongside the
evaluation of the possible mitigation of such attacks. Our findings underscore
the urgent need for robust security frameworks in the design and deployment of
customizable GPT models. The intent of this paper is to raise awareness and
prompt action in the AI community, ensuring that the benefits of GPT
customization do not come at the cost of compromised security and privacy.
- Abstract(参考訳): 人工知能の急速な発展の中で、ChatGPTは様々な用途で広く利用されている。
新機能: 特定のニーズに対応するためにユーザがChatGPTモデルをカスタマイズすることで、AIユーティリティの新たなフロンティアが開かれた。
しかし,本研究では,これらのユーザカスタマイズGPTに固有の重大なセキュリティ脆弱性が明らかとなった。
ユーザ設計した200以上のGPTモデルの総合的なテストを通じて,これらのシステムがインジェクションの促進につながることを実証した。
プロンプトインジェクションによって、相手はカスタマイズされたシステムプロンプトを抽出できるだけでなく、アップロードされたファイルにもアクセスできる。
本稿では,これらの攻撃の軽減の可能性を評価するとともに,プロンプトインジェクションの直接解析を行う。
当社の調査結果は、カスタマイズ可能なgptモデルの設計とデプロイにおいて、堅牢なセキュリティフレームワークの必要性を浮き彫りにしている。
本論文の目的は,GPTカスタマイズのメリットがセキュリティとプライバシの侵害の犠牲にならないように,AIコミュニティにおける意識を高め,行動を促すことである。
関連論文リスト
- FaultGuard: A Generative Approach to Resilient Fault Prediction in Smart Electrical Grids [53.2306792009435]
FaultGuardは、障害タイプとゾーン分類のための最初のフレームワークであり、敵攻撃に耐性がある。
本稿では,ロバスト性を高めるために,低複雑性故障予測モデルとオンライン逆行訓練手法を提案する。
本モデルでは,耐故障予測ベンチマークの最先端を最大0.958の精度で上回っている。
論文 参考訳(メタデータ) (2024-03-26T08:51:23Z) - Signed-Prompt: A New Approach to Prevent Prompt Injection Attacks
Against LLM-Integrated Applications [0.0]
本稿では,早期のインジェクション攻撃に対する新しい解決策として,Signed-Prompt法を提案する。
この研究には、権限のあるユーザによるコマンドセグメント内の機密命令の署名が含まれており、LLMは信頼できる命令ソースを識別することができる。
実験はSigned-Prompt法の有効性を示し、様々な種類のプロンプトインジェクション攻撃に対してかなりの抵抗を示した。
論文 参考訳(メタデータ) (2024-01-15T11:44:18Z) - Opening A Pandora's Box: Things You Should Know in the Era of Custom GPTs [27.97654690288698]
我々はOpenAIによるカスタムGPTプラットフォームから生じるセキュリティとプライバシの問題を包括的に分析する。
本研究は,攻撃シナリオを悪質なアクターの役割に基づいた3つの脅威モデルに分類する。
我々は26の潜在的な攻撃ベクトルを特定し、19は実世界の環境で部分的にまたは完全に検証されている。
論文 参考訳(メタデータ) (2023-12-31T16:49:12Z) - Maatphor: Automated Variant Analysis for Prompt Injection Attacks [7.93367270029538]
現在のプロンプトインジェクション技術に対する防御のベストプラクティスは、システムにガードレールを追加することである。
本稿では,既知のプロンプトインジェクション攻撃の自動変種解析において,ディフェンダーを支援するツールを提案する。
論文 参考訳(メタデータ) (2023-12-12T14:22:20Z) - Text generation for dataset augmentation in security classification
tasks [55.70844429868403]
本研究では、複数のセキュリティ関連テキスト分類タスクにおいて、このデータギャップを埋めるための自然言語テキストジェネレータの適用性を評価する。
我々は,GPT-3データ拡張戦略において,既知の正のクラスサンプルに厳しい制約がある状況において,大きなメリットを見出した。
論文 参考訳(メタデータ) (2023-10-22T22:25:14Z) - Prompt-Enhanced Software Vulnerability Detection Using ChatGPT [9.35868869848051]
GPTのような大規模言語モデル(LLM)は、その驚くべき知性のためにかなりの注目を集めている。
本稿では,ChatGPTを用いたソフトウェア脆弱性検出の性能について検討する。
論文 参考訳(メタデータ) (2023-08-24T10:30:33Z) - When Authentication Is Not Enough: On the Security of Behavioral-Based Driver Authentication Systems [53.2306792009435]
本研究では,機械学習(ML)とディープラーニング(DL)アーキテクチャに基づく軽量な行動ベースドライバ認証システムの開発を行う。
我々は、新たな回避攻撃のクラスであるGAN-CANを初めて提案し、攻撃者が完璧な攻撃成功率でこれらのシステムをどのように活用できるかを示した。
コントリビューションを通じて、これらのシステムを安全に採用する実践者を支援し、車の盗難を軽減し、ドライバーのセキュリティを高める。
論文 参考訳(メタデータ) (2023-06-09T14:33:26Z) - Not what you've signed up for: Compromising Real-World LLM-Integrated
Applications with Indirect Prompt Injection [64.67495502772866]
大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。
本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。
我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
論文 参考訳(メタデータ) (2023-02-23T17:14:38Z) - Face Presentation Attack Detection [59.05779913403134]
顔認識技術は、チェックインやモバイル支払いといった日々の対話的アプリケーションで広く利用されている。
しかしながら、プレゼンテーションアタック(PA)に対する脆弱性は、超セキュアなアプリケーションシナリオにおける信頼性の高い使用を制限する。
論文 参考訳(メタデータ) (2022-12-07T14:51:17Z) - Towards Automated Classification of Attackers' TTPs by combining NLP
with ML Techniques [77.34726150561087]
我々は,NLP(Natural Language Processing)と,研究におけるセキュリティ情報抽出に使用される機械学習技術の評価と比較を行った。
本研究では,攻撃者の戦術や手法に従って非構造化テキストを自動的に分類するデータ処理パイプラインを提案する。
論文 参考訳(メタデータ) (2022-07-18T09:59:21Z) - Texture-based Presentation Attack Detection for Automatic Speaker
Verification [21.357976330739245]
本稿では,音声スペクトログラム画像の解析に応用したテクスチャ記述子の探索について報告する。
特に, 生成モデルに基づく一般的な漁獲量ベクトルの特徴空間を提案する。
せいぜい100頭中16頭が拒否され、100頭中1頭のみが受理される。
論文 参考訳(メタデータ) (2020-10-08T15:03:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。