論文の概要: PRSA: PRompt Stealing Attacks against Large Language Models

• arxiv url: http://arxiv.org/abs/2402.19200v2
• Date: Sat, 8 Jun 2024 03:43:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 01:03:43.116050
• Title: PRSA: PRompt Stealing Attacks against Large Language Models
• Title（参考訳）: PRSA:大規模言語モデルに対する挑発的な攻撃
• Authors: Yong Yang, Changjiang Li, Yi Jiang, Xi Chen, Haoyu Wang, Xuhong Zhang, Zonghui Wang, Shouling Ji,
• Abstract要約: サービスとしてのプロンプト」は、大規模言語モデル(LLM)の実用性を大幅に向上させた。 我々は,LSMに対する攻撃を迅速に盗むために設計された新しい攻撃フレームワークPRSAを紹介する。 PRSAは主に2つの重要な段階、即時突然変異と即時切断から構成される。
• 参考スコア（独自算出の注目度）: 42.07328505384544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, "prompt as a service" has greatly enhanced the utility of large language models (LLMs) by enabling them to perform various downstream tasks efficiently without fine-tuning. This has also increased the commercial value of prompts. However, the potential risk of leakage in these commercialized prompts remains largely underexplored. In this paper, we introduce a novel attack framework, PRSA, designed for prompt stealing attacks against LLMs. The main idea of PRSA is to infer the intent behind a prompt by analyzing its input-output content, enabling the generation of a surrogate prompt that replicates the original's functionality. Specifically, PRSA mainly consists of two key phases: prompt mutation and prompt pruning. In the mutation phase, we propose a prompt attention algorithm based on output difference. The algorithm facilitates the generation of effective surrogate prompts by learning key factors that influence the accurate inference of prompt intent. During the pruning phase, we employ a two-step related word identification strategy to detect and mask words that are highly related to the input, thus improving the generalizability of the surrogate prompts. We verify the actual threat of PRSA through evaluation in both real-world settings, non-interactive and interactive prompt services. The results strongly confirm the PRSA's effectiveness and generalizability. We have reported these findings to prompt service providers and actively collaborate with them to implement defensive measures.
• Abstract（参考訳）: 近年,大規模言語モデル(LLM)の実用性を大幅に向上し,様々な下流タスクを微調整なしで効率的に実行できるようになった。 これにより、プロンプトの商業的価値も高まった。 しかし、これらの商業化プロンプトの漏洩の潜在的なリスクは、まだ明らかにされていない。 本稿では,LSMに対する攻撃の迅速化を目的とした,新たな攻撃フレームワークであるPRSAを紹介する。 PRSAの主な考え方は、インプット出力の内容を分析してプロンプトの背後にある意図を推論し、元の機能を複製するサロゲートプロンプトを生成することである。 具体的には、PRSAは主に2つの重要な段階、即時突然変異と即時切断から構成される。 突然変異相では,出力差に基づく急激な注意アルゴリズムを提案する。 このアルゴリズムは、プロンプト意図の正確な推論に影響を与える重要な要因を学習することにより、効果的なサロゲートプロンプトの生成を促進する。 刈り取り段階では,2段階の単語識別戦略を用いて,入力に高い関連性を持つ単語を検出し,マスキングし,サロゲートプロンプトの一般化性を向上させる。 我々は,実環境設定,非対話型,対話型両方のプロンプトサービスの評価を通じて,PRSAの実際の脅威を検証する。 その結果,PRSAの有効性と一般化性が強く確認された。 我々は,これらの知見をサービス提供者に促し,積極的に協力し,防衛対策を実施するために報告した。

関連論文リスト

• ProSA: Assessing and Understanding the Prompt Sensitivity of LLMs [72.13489820420726]
  ProSAは、大規模な言語モデルにおいて、迅速な感度を評価し、理解するために設計されたフレームワークである。 我々の研究は、データセットやモデル間で迅速に感度が変動することを発見し、より大きなモデルでは堅牢性が向上することを示した。
  論文  参考訳（メタデータ） (2024-10-16T09:38:13Z)
• Applying Pre-trained Multilingual BERT in Embeddings for Improved Malicious Prompt Injection Attacks Detection [5.78117257526028]
  大きな言語モデル(LLM)は、その優れた能力と広範囲のアプリケーションに適用できることで有名である。 この研究は、実際のLLMアプリケーションに最も危険な脆弱性の1つである悪意のあるプロンプトインジェクション攻撃の影響に焦点を当てている。 正規のプロンプトから悪意のあるプロンプトを分類するために、多言語BERTやDistilBertのような様々なBERT(Bidirectional Representations from Transformers)を適用する。
  論文  参考訳（メタデータ） (2024-09-20T08:48:51Z)
• Why Are My Prompts Leaked? Unraveling Prompt Extraction Threats in Customized Large Language Models [15.764672596793352]
  我々は,突発的漏洩のメカニズムを解析し,その機構を即発的記憶と呼び,対応する防御戦略を開発する。 現在のLSMは、GPT-4のような安全アライメントを持つものでさえ、抽出攻撃の迅速化に非常に脆弱であることがわかった。
  論文  参考訳（メタデータ） (2024-08-05T12:20:39Z)
• Imposter.AI: Adversarial Attacks with Hidden Intentions towards Aligned Large Language Models [13.225041704917905]
  本研究では,大規模言語モデルから有害情報を抽出するために,人間の会話戦略を活かした攻撃機構を明らかにする。 明示的な悪意のある応答をターゲットとする従来の手法とは異なり、我々のアプローチは応答で提供される情報の性質を深く掘り下げている。
  論文  参考訳（メタデータ） (2024-07-22T06:04:29Z)
• Human-Interpretable Adversarial Prompt Attack on Large Language Models with Situational Context [49.13497493053742]
  本研究は,無意味な接尾辞攻撃を状況駆動型文脈書き換えによって意味のあるプロンプトに変換することを検討する。 我々は、独立して意味のある敵の挿入と映画から派生した状況を組み合わせて、LLMを騙せるかどうかを確認します。 当社のアプローチでは,オープンソースとプロプライエタリなLLMの両方で,状況駆動型攻撃を成功させることが実証されている。
  論文  参考訳（メタデータ） (2024-07-19T19:47:26Z)
• Defending Against Indirect Prompt Injection Attacks With Spotlighting [11.127479817618692]
  一般的なアプリケーションでは、複数の入力は1つのテキストストリームにまとめることで処理できる。 間接的なプロンプトインジェクション攻撃は、ユーザコマンドと共に処理されている信頼できないデータに、敵命令を埋め込むことによって、この脆弱性を利用する。 我々は,複数の入力源を識別するLLMの能力を向上させるために,迅速なエンジニアリング技術群であるスポットライティングを紹介した。
  論文  参考訳（メタデータ） (2024-03-20T15:26:23Z)
• Prompt Perturbation in Retrieval-Augmented Generation based Large Language Models [9.688626139309013]
  Retrieval-Augmented Generationは、大規模言語モデルからテキスト生成の信頼性を向上させる手段として考えられている。 本研究では,プロンプトに短い接頭辞を挿入しても,実際の正解から遠く離れたアウトプットを生成することを発見した。 グラディエントガイドプロンプト摂動法(Gradient Guided Prompt Perturbation)と呼ばれる新しい最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-02-11T12:25:41Z)
• Token-Level Adversarial Prompt Detection Based on Perplexity Measures and Contextual Information [67.78183175605761]
  大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。 この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。 トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-20T03:17:21Z)
• AutoDAN: Generating Stealthy Jailbreak Prompts on Aligned Large Language Models [54.95912006700379]
  本稿では,大規模言語モデルに対する新たなジェイルブレイク攻撃であるAutoDANを紹介する。 AutoDANは、慎重に設計された階層型遺伝的アルゴリズムによって、ステルスなジェイルブレイクプロンプトを自動的に生成できる。
  論文  参考訳（メタデータ） (2023-10-03T19:44:37Z)
• Exhaustivity and anti-exhaustivity in the RSA framework: Testing the effect of prior beliefs [68.8204255655161]
  我々は,先行に対する感受性が合理的音声法(RSA)フレームワークの直感的予測に繋がる事例に着目した。 本研究では, ベースラインRSAモデルにおいて, 一定の条件下では, 反排他的読解が予測されることを示す。 RSAフレームワーク全体で予測されるように、メッセージ選択は事前に敏感である。
  論文  参考訳（メタデータ） (2022-02-14T20:35:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。