論文の概要: Investigating the prompt leakage effect and black-box defenses for multi-turn LLM interactions

• arxiv url: http://arxiv.org/abs/2404.16251v2
• Date: Fri, 26 Apr 2024 07:47:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-29 12:06:07.867130
• Title: Investigating the prompt leakage effect and black-box defenses for multi-turn LLM interactions
• Title（参考訳）: マルチターンLDM相互作用における急速漏洩効果とブラックボックス防御の検討
• Authors: Divyansh Agarwal, Alexander R. Fabbri, Philippe Laban, Ben Risher, Shafiq Joty, Caiming Xiong, Chien-Sheng Wu,
• Abstract要約: 大きな言語モデル(LLM)の漏洩は、セキュリティとプライバシの重大な脅威を引き起こす。 マルチターンLDM相互作用の漏洩と緩和戦略は、標準化された方法では研究されていない。 本稿では,4つの異なるドメインと10のクローズドおよびオープンソース LLM にまたがる急激なリークに対するLSM 脆弱性について検討する。
• 参考スコア（独自算出の注目度）: 125.21418304558948
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt leakage in large language models (LLMs) poses a significant security and privacy threat, particularly in retrieval-augmented generation (RAG) systems. However, leakage in multi-turn LLM interactions along with mitigation strategies has not been studied in a standardized manner. This paper investigates LLM vulnerabilities against prompt leakage across 4 diverse domains and 10 closed- and open-source LLMs. Our unique multi-turn threat model leverages the LLM's sycophancy effect and our analysis dissects task instruction and knowledge leakage in the LLM response. In a multi-turn setting, our threat model elevates the average attack success rate (ASR) to 86.2%, including a 99% leakage with GPT-4 and claude-1.3. We find that some black-box LLMs like Gemini show variable susceptibility to leakage across domains - they are more likely to leak contextual knowledge in the news domain compared to the medical domain. Our experiments measure specific effects of 6 black-box defense strategies, including a query-rewriter in the RAG scenario. Our proposed multi-tier combination of defenses still has an ASR of 5.3% for black-box LLMs, indicating room for enhancement and future direction for LLM security research.
• Abstract（参考訳）: 大規模言語モデル(LLM)のプロンプトリークは、特に検索強化世代(RAG)システムにおいて、重大なセキュリティとプライバシの脅威を引き起こす。 しかし, マルチターンLDM相互作用と緩和戦略のリークは, 標準化された方法では研究されていない。 本稿では,4つの異なるドメインと10のクローズドおよびオープンソース LLM にまたがる急激なリークに対するLSM 脆弱性について検討する。 我々のユニークなマルチターン脅威モデルでは, LLMのサイコファンシー効果を活用し, LLM応答におけるタスク命令と知識リークを識別する。 マルチターン環境では,GPT-4およびclaude-1.3による99%のリークを含む平均攻撃成功率(ASR)が86.2%に上昇する。 GeminiのようなブラックボックスのLCMの中には、ドメイン間のリークに対する様々な感受性を示すものもあります - 医療ドメインと比較して、ニュースドメインのコンテキスト知識をリークする傾向があります。 実験では,RAGシナリオにおけるクエリリライタを含む6つのブラックボックス防衛戦略の具体的な効果を測定した。 提案する多層防御の組み合わせは, ブラックボックスLLMのASRは5.3%であり, LLMセキュリティ研究の強化と今後の方向性を示す余地がある。

関連論文リスト

• Cognitive Overload Attack:Prompt Injection for Long Context [39.61095361609769]
  大規模言語モデル(LLM)は、明示的な再訓練を必要とせずにタスクを実行する際、顕著な能力を示した。 この機能は、ICL(In-Context Learning)と呼ばれ、安全訓練されたLLMを操作して望ましくないあるいは有害な出力を生成する敵のプロンプトやジェイルブレイクにLLMを公開する。 我々は、認知負荷理論の原則をLLMに適用し、人間の認知と同様、LLMも認知負荷に悩まされていることを実証的に検証する。 GPT-4, Claude-3.5 Sonnet, Claude-3 OPUS, Llama-3-70B-Instruct, Gemini-1.0-Pro などの高度なモデルを示す。
  論文  参考訳（メタデータ） (2024-10-15T04:53:34Z)
• MaPPing Your Model: Assessing the Impact of Adversarial Attacks on LLM-based Programming Assistants [14.947665219536708]
  本稿では,攻撃者がプログラムタスクのプロンプトに少量のテキストを付加するMalicious Programming Prompt(MaPP)攻撃を紹介する。 我々の迅速な戦略は、LSMが他の方法で正しいコードを書き続けながら脆弱性を追加する可能性があることを示しています。
  論文  参考訳（メタデータ） (2024-07-12T22:30:35Z)
• A Survey of Attacks on Large Vision-Language Models: Resources, Advances, and Future Trends [78.3201480023907]
  LVLM(Large Vision-Language Models)は、多モーダルな理解と推論タスクにまたがる顕著な能力を示す。 LVLMの脆弱性は比較的過小評価されており、日々の使用において潜在的なセキュリティリスクを生じさせる。 本稿では,既存のLVLM攻撃の様々な形態について概説する。
  論文  参考訳（メタデータ） (2024-07-10T06:57:58Z)
• Purple-teaming LLMs with Adversarial Defender Training [57.535241000787416]
  本稿では,PAD(Adversarial Defender Training)を用いたPurple-teaming LLMを提案する。 PADは、赤チーム(アタック)技術と青チーム(セーフティトレーニング)技術を新たに取り入れることで、LSMを保護するために設計されたパイプラインである。 PADは、効果的な攻撃と堅牢な安全ガードレールの確立の両方において、既存のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2024-07-01T23:25:30Z)
• A New Era in LLM Security: Exploring Security Concerns in Real-World LLM-based Systems [47.18371401090435]
  我々は,LLMではなく,Large Language Model(LLM)システムのセキュリティを分析する。 我々は,多層・多段階のアプローチを提案し,これを最先端のOpenAI GPT4に適用する。 OpenAI GPT4は安全機能を改善するために多くの安全制約を設計しているが、これらの安全制約は攻撃者に対して脆弱である。
  論文  参考訳（メタデータ） (2024-02-28T19:00:12Z)
• MART: Improving LLM Safety with Multi-round Automatic Red-Teaming [72.2127916030909]
  本稿では,自動対向的なプロンプト書き込みと安全な応答生成の両方を組み込んだMulti-round Automatic Red-Teaming(MART)手法を提案する。 敵のプロンプトベンチマークでは、安全アライメントが制限されたLDMの違反率は、MARTの4ラウンド後に84.7%まで減少する。 特に、非敵対的なプロンプトに対するモデルの有用性は反復を通して安定しており、LLMは命令に対する強い性能を維持していることを示している。
  論文  参考訳（メタデータ） (2023-11-13T19:13:29Z)
• Attack Prompt Generation for Red Teaming and Defending Large Language Models [70.157691818224]
  大規模言語モデル (LLM) は、有害なコンテンツを生成するためにLSMを誘導するレッド・チーム・アタックの影響を受けやすい。 本稿では、手動と自動の手法を組み合わせて、高品質な攻撃プロンプトを経済的に生成する統合的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-19T06:15:05Z)
• PoisonPrompt: Backdoor Attack on Prompt-based Large Language Models [11.693095252994482]
  硬質および軟質のプロンプトベースのLLMを両立させる新しいバックドアアタックであるPOISONPROMPTを提案する。 本研究は,プロンプトをベースとしたLSMに対するバックドア攻撃によるセキュリティの脅威を浮き彫りにし,さらなる研究の必要性を強調した。
  論文  参考訳（メタデータ） (2023-10-19T03:25:28Z)
• SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
  SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。 敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
  論文  参考訳（メタデータ） (2023-10-05T17:01:53Z)
• Goal-Oriented Prompt Attack and Safety Evaluation for LLMs [43.93613764464993]
  高品質なプロンプト攻撃サンプルを構築するパイプラインと、CPADと呼ばれる中国のプロンプト攻撃データセットを導入する。 我々のプロンプトは、慎重に設計されたいくつかのプロンプトアタックテンプレートで、予期せぬ出力を生成するためにLSMを誘導することを目的としている。 GPT-3.5に対する攻撃成功率は70%程度であった。
  論文  参考訳（メタデータ） (2023-09-21T07:07:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。