論文の概要: Raccoon: Prompt Extraction Benchmark of LLM-Integrated Applications

• arxiv url: http://arxiv.org/abs/2406.06737v2
• Date: Sat, 26 Oct 2024 03:01:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:15:44.309997
• Title: Raccoon: Prompt Extraction Benchmark of LLM-Integrated Applications
• Title（参考訳）: Raccoon: LLM統合アプリケーションのプロンプト抽出ベンチマーク
• Authors: Junlin Wang, Tianyi Yang, Roy Xie, Bhuwan Dhingra,
• Abstract要約: 本稿では,抽出攻撃に対するモデルの感受性を包括的に評価するRacoonベンチマークを提案する。 本手法は,無防備シナリオと防御シナリオの両方でモデルを評価する。 本研究は,防衛の欠如を契機に,盗難を助長するための普遍的感受性を強調し,保護時に顕著なレジリエンスを示すOpenAIモデルを示した。
• 参考スコア（独自算出の注目度）: 8.51254190797079
• License:
• Abstract: With the proliferation of LLM-integrated applications such as GPT-s, millions are deployed, offering valuable services through proprietary instruction prompts. These systems, however, are prone to prompt extraction attacks through meticulously designed queries. To help mitigate this problem, we introduce the Raccoon benchmark which comprehensively evaluates a model's susceptibility to prompt extraction attacks. Our novel evaluation method assesses models under both defenseless and defended scenarios, employing a dual approach to evaluate the effectiveness of existing defenses and the resilience of the models. The benchmark encompasses 14 categories of prompt extraction attacks, with additional compounded attacks that closely mimic the strategies of potential attackers, alongside a diverse collection of defense templates. This array is, to our knowledge, the most extensive compilation of prompt theft attacks and defense mechanisms to date. Our findings highlight universal susceptibility to prompt theft in the absence of defenses, with OpenAI models demonstrating notable resilience when protected. This paper aims to establish a more systematic benchmark for assessing LLM robustness against prompt extraction attacks, offering insights into their causes and potential countermeasures. Resources of Raccoon are publicly available at https://github.com/M0gician/RaccoonBench.
• Abstract（参考訳）: GPT-sのようなLCM統合アプリケーションの普及に伴い、数百万がデプロイされ、プロプライエタリな命令プロンプトを通じて貴重なサービスを提供する。 しかし、これらのシステムは厳密に設計されたクエリを通じて攻撃を抽出する傾向にある。 この問題を軽減するために,モデルが抽出攻撃を迅速化するための感受性を包括的に評価するRacoonベンチマークを導入する。 本手法は,既存の防御の有効性とモデルのレジリエンスを評価するための2つのアプローチを用いて,無防備シナリオと無防備シナリオの両方でモデルを評価する。 ベンチマークには14のカテゴリのプロンプト抽出攻撃が含まれており、様々な防御テンプレートのコレクションとともに、潜在的な攻撃者の戦略を忠実に模倣する複合攻撃が加えられている。 この配列は、我々の知る限り、これまでで最も広範な盗難攻撃と防御機構のコンパイルである。 本研究は,防衛の欠如を契機に,盗難を助長するための普遍的感受性を強調し,保護時に顕著なレジリエンスを示すOpenAIモデルを示した。 本稿では,LSMの迅速な抽出攻撃に対するロバスト性を評価するための,より体系的なベンチマークを確立することを目的としている。 Raccoonのリソースはhttps://github.com/M0gician/RaccoonBench.comで公開されている。

関連論文リスト

• CALoR: Towards Comprehensive Model Inversion Defense [43.2642796582236]
  Model Inversion Attacks (MIAs)は、プライバシに敏感なトレーニングデータを、リリースされた機械学習モデルにエンコードされた知識から回復することを目的としている。 MIA分野の最近の進歩は、複数のシナリオにおける攻撃性能を大幅に向上させた。 信頼性適応と低ランク圧縮を統合した堅牢な防御機構を提案する。
  論文  参考訳（メタデータ） (2024-10-08T08:44:01Z)
• DV-FSR: A Dual-View Target Attack Framework for Federated Sequential Recommendation [4.980393474423609]
  フェデレートされたレコメンデーション(FedRec)は、パーソナライズされたモデルの分散トレーニングを可能にすることによって、ユーザのプライバシを保護します。 本稿では,DV-FSRと呼ばれる新しいデュアルビューアタックフレームワークを提案する。このフレームワークは,サンプリングに基づく明示的戦略と対照的な学習に基づく暗黙的勾配戦略を組み合わせて,協調攻撃を編成する。
  論文  参考訳（メタデータ） (2024-09-10T15:24:13Z)
• Jailbreaking as a Reward Misspecification Problem [80.52431374743998]
  本稿では,この脆弱性をアライメントプロセス中に不特定性に対処する新たな視点を提案する。 本稿では,報酬の相違の程度を定量化し,その有効性を実証する指標ReGapを紹介する。 ReMissは、報酬ミスの空間で敵のプロンプトを生成する自動レッドチームリングシステムである。
  論文  参考訳（メタデータ） (2024-06-20T15:12:27Z)
• MirrorCheck: Efficient Adversarial Defense for Vision-Language Models [55.73581212134293]
  本稿では,視覚言語モデルにおける対角的サンプル検出のための,新しい,しかしエレガントなアプローチを提案する。 本手法は,テキスト・トゥ・イメージ(T2I)モデルを用いて,ターゲットVLMが生成したキャプションに基づいて画像を生成する。 異なるデータセットで実施した経験的評価により,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-06-13T15:55:04Z)
• Defending Large Language Models Against Attacks With Residual Stream Activation Analysis [0.0]
  大規模言語モデル(LLM)は敵の脅威に対して脆弱である。 本稿では, LLM へのホワイトボックスアクセスを前提とした, 革新的な防御戦略を提案する。 そこで本研究では,アタックプロンプト分類のための残差ストリームの固有なアクティベーションパターンを解析するための新しい手法を適用した。
  論文  参考訳（メタデータ） (2024-06-05T13:06:33Z)
• A Novel Evaluation Framework for Assessing Resilience Against Prompt Injection Attacks in Large Language Models [0.0]
  本研究では,アプリケーションのレジリエンスを定量化する新しいフレームワークを提案する。 このフレームワークには、代表性、解釈可能性、堅牢性を保証するために設計された革新的な技術が含まれている。 その結果, 新しいモデルであるLlama2はChatGLMよりも高いレジリエンスを示した。
  論文  参考訳（メタデータ） (2024-01-02T02:06:48Z)
• Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [82.98081731588717]
  大規模な言語モデルと外部コンテンツの統合は、間接的にインジェクション攻撃を行うアプリケーションを公開する。 本稿では,BIPIAと呼ばれる間接的インジェクション攻撃のリスクを評価するための最初のベンチマークについて紹介する。 我々は,素早い学習に基づく2つのブラックボックス法と,逆行訓練による微調整に基づくホワイトボックス防御法を開発した。
  論文  参考訳（メタデータ） (2023-12-21T01:08:39Z)
• BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive Learning [85.2564206440109]
  本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。 バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
  論文  参考訳（メタデータ） (2023-11-20T02:21:49Z)
• A Unified Evaluation of Textual Backdoor Learning: Frameworks and Benchmarks [72.7373468905418]
  我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。 また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
  論文  参考訳（メタデータ） (2022-06-17T02:29:23Z)
• Defense for Black-box Attacks on Anti-spoofing Models by Self-Supervised Learning [71.17774313301753]
  本研究では,自己指導型高水準表現の堅牢性について,敵攻撃に対する防御に利用して検討する。 ASVspoof 2019データセットの実験結果は、Mockingjayによって抽出されたハイレベルな表現が、敵の例の転送可能性を妨げることを示した。
  論文  参考訳（メタデータ） (2020-06-05T03:03:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。