論文の概要: PLeak: Prompt Leaking Attacks against Large Language Model Applications

• arxiv url: http://arxiv.org/abs/2405.06823v2
• Date: Tue, 14 May 2024 15:03:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-15 18:12:57.023775
• Title: PLeak: Prompt Leaking Attacks against Large Language Model Applications
• Title（参考訳）: PLeak: 大規模言語モデルアプリケーションに対する攻撃を急襲
• Authors: Bo Hui, Haolin Yuan, Neil Gong, Philippe Burlina, Yinzhi Cao,
• Abstract要約: プロンプトリークと呼ばれる自然な攻撃は、LLMアプリケーションからシステムプロンプトを盗むことである。 本稿では, PLeak と呼ばれる新しいクローズドボックス・プロンプト・リーク・アタック・フレームワークを設計し, 対向クエリを最適化する。 この結果から,PLeakはシステムプロンプトを効果的にリークし,手動でクエリをキュレートするベースラインだけでなく,性能も著しく向上することが示された。
• 参考スコア（独自算出の注目度）: 20.122631273512255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) enable a new ecosystem with many downstream applications, called LLM applications, with different natural language processing tasks. The functionality and performance of an LLM application highly depend on its system prompt, which instructs the backend LLM on what task to perform. Therefore, an LLM application developer often keeps a system prompt confidential to protect its intellectual property. As a result, a natural attack, called prompt leaking, is to steal the system prompt from an LLM application, which compromises the developer's intellectual property. Existing prompt leaking attacks primarily rely on manually crafted queries, and thus achieve limited effectiveness. In this paper, we design a novel, closed-box prompt leaking attack framework, called PLeak, to optimize an adversarial query such that when the attacker sends it to a target LLM application, its response reveals its own system prompt. We formulate finding such an adversarial query as an optimization problem and solve it with a gradient-based method approximately. Our key idea is to break down the optimization goal by optimizing adversary queries for system prompts incrementally, i.e., starting from the first few tokens of each system prompt step by step until the entire length of the system prompt. We evaluate PLeak in both offline settings and for real-world LLM applications, e.g., those on Poe, a popular platform hosting such applications. Our results show that PLeak can effectively leak system prompts and significantly outperforms not only baselines that manually curate queries but also baselines with optimized queries that are modified and adapted from existing jailbreaking attacks. We responsibly reported the issues to Poe and are still waiting for their response. Our implementation is available at this repository: https://github.com/BHui97/PLeak.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、LLMアプリケーションと呼ばれる多くの下流アプリケーションと異なる自然言語処理タスクを備えた新しいエコシステムを実現する。 LLMアプリケーションの機能と性能はシステムプロンプトに大きく依存しており、どのタスクを実行するかをバックエンドのLCMに指示する。 したがって、LLMアプリケーション開発者は、しばしばその知的財産を保護するためにシステムプロンプトを秘密にしておく。 結果として、プロンプトリークと呼ばれる自然な攻撃は、LLMアプリケーションからシステムプロンプトを盗み、開発者の知的財産権を侵害する。 既存の即時リーク攻撃は主に手作業によるクエリに依存しており、有効性は限られている。 本稿では, PLeak と呼ばれる新しいクローズドボックスプロンプトリーク攻撃フレームワークを設計し, 攻撃者がLLMアプリケーションに送信すると, その応答が独自のシステムプロンプトを示すように, 対向クエリを最適化する。 このような逆クエリを最適化問題として定式化し、勾配法を略して解決する。 我々のキーとなる考え方は、システムのプロンプトに対する逆クエリを漸進的に最適化することで最適化の目標を分解することである。 我々はPLeakをオフライン設定と現実世界のLLMアプリケーションの両方で評価する。 以上の結果から,PLeakはシステムプロンプトを効果的にリークし,クエリを手動でキュレートするベースラインだけでなく,既存のjailbreak攻撃から修正および適応する最適化されたクエリでベースラインを著しく上回ることを示す。 われわれは責任を持って問題をPoeに報告し、まだ回答を待っている。 私たちの実装はこのリポジトリで利用可能です。

関連論文リスト

• QROA: A Black-Box Query-Response Optimization Attack on LLMs [2.7624021966289605]
  大規模言語モデル(LLM)は近年人気が高まっているが、操作時に有害なコンテンツを生成する能力を持っている。 本研究は,問合せのみの相互作用を通じてLCMを利用する最適化戦略であるクエリ応答最適化攻撃(QROA)を紹介する。
  論文  参考訳（メタデータ） (2024-06-04T07:27:36Z)
• Defending Large Language Models Against Jailbreak Attacks via Layer-specific Editing [14.094372002702476]
  大規模言語モデル(LLM)は、広範囲の現実世界のアプリケーションで採用されつつある。 近年の研究では、LSMは故意に構築された敵のプロンプトに弱いことが示されている。 そこで本研究では,新しい防衛手法である textbfLayer-specific textbfEditing (LED) を提案する。
  論文  参考訳（メタデータ） (2024-05-28T13:26:12Z)
• AdvPrompter: Fast Adaptive Adversarial Prompting for LLMs [51.217126257318924]
  本稿では,AdvPrompterと呼ばれる新たな大規模言語モデルを用いて,人間可読な逆数プロンプトを数秒で生成する手法を提案する。 我々は、ターゲットLLMの勾配にアクセスする必要がない新しいアルゴリズムを用いてAdvPrompterを訓練する。 訓練されたAdvPrompterは、TargetLLMを誘引して有害な応答を与えるように、意味を変えずに入力命令を無効にする接尾辞を生成する。
  論文  参考訳（メタデータ） (2024-04-21T22:18:13Z)
• DrAttack: Prompt Decomposition and Reconstruction Makes Powerful LLM Jailbreakers [80.18953043605696]
  我々はjailbreak textbfAttack (DrAttack) のための自動プロンプト textbfDecomposition と textbfReconstruction フレームワークを導入する。 DrAttack には3つの重要な要素が含まれている: (a) プロンプトをサブプロンプトに分解する; (b) セマンティックに類似しているが無害な再組み立てデモで暗黙的にこれらのサブプロンプトを再構築する; (c) サブプロンプトのシンノニム検索する; サブプロンプトのシノニムを見つけることを目的としたサブプロンプトのシノニムを見つけること。
  論文  参考訳（メタデータ） (2024-02-25T17:43:29Z)
• StruQ: Defending Against Prompt Injection with Structured Queries [10.22774624798198]
  大きな言語モデル(LLM)は、高度な言語理解機能を利用することで、テキストベースのタスクを実行できる。 プロンプトインジェクション攻撃は重要な脅威であり、モデルを騙して元のアプリケーションの命令から逸脱させ、代わりにユーザーディレクティブに従う。 この問題に対処するための一般的なアプローチである構造化クエリを導入する。 本システムでは, インジェクション攻撃に対する抵抗性を著しく改善し, 実用性にはほとんど, あるいは全く影響を与えない。
  論文  参考訳（メタデータ） (2024-02-09T12:15:51Z)
• A Wolf in Sheep's Clothing: Generalized Nested Jailbreak Prompts can Fool Large Language Models Easily [51.63085197162279]
  大きな言語モデル(LLM)は有用で安全な応答を提供するように設計されている。 ジェイルブレイク」と呼ばれる 敵のプロンプトは 保護を回避できる 有効なジェイルブレイクプロンプトを生成するためにLLM自体を活用する自動フレームワークであるReNeLLMを提案する。
  論文  参考訳（メタデータ） (2023-11-14T16:02:16Z)
• SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
  SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。 敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
  論文  参考訳（メタデータ） (2023-10-05T17:01:53Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。