Fugu-MT 論文翻訳(概要): DrAttack: Prompt Decomposition and Reconstruction Makes Powerful LLM Jailbreakers

論文の概要: DrAttack: Prompt Decomposition and Reconstruction Makes Powerful LLM Jailbreakers

arxiv url: http://arxiv.org/abs/2402.16914v1
Date: Sun, 25 Feb 2024 17:43:29 GMT
ステータス: 処理完了
システム内更新日: 2024-02-28 19:13:50.362624
Title: DrAttack: Prompt Decomposition and Reconstruction Makes Powerful LLM Jailbreakers
Title（参考訳）: drattack:迅速な分解と再構築で強力なllmジェイルブレイクが可能に
Authors: Xirui Li, Ruochen Wang, Minhao Cheng, Tianyi Zhou, Cho-Jui Hsieh
Abstract要約: 我々はjailbreak textbfAttack (DrAttack) のための自動プロンプト textbfDecomposition と textbfReconstruction フレームワークを導入する。 DrAttack には3つの重要な要素が含まれている: (a) プロンプトをサブプロンプトに分解する; (b) セマンティックに類似しているが無害な再組み立てデモで暗黙的にこれらのサブプロンプトを再構築する; (c) サブプロンプトのシンノニム検索する; サブプロンプトのシノニムを見つけることを目的としたサブプロンプトのシノニムを見つけること。
参考スコア（独自算出の注目度）: 80.18953043605696
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The safety alignment of Large Language Models (LLMs) is vulnerable to both manual and automated jailbreak attacks, which adversarially trigger LLMs to output harmful content. However, current methods for jailbreaking LLMs, which nest entire harmful prompts, are not effective at concealing malicious intent and can be easily identified and rejected by well-aligned LLMs. This paper discovers that decomposing a malicious prompt into separated sub-prompts can effectively obscure its underlying malicious intent by presenting it in a fragmented, less detectable form, thereby addressing these limitations. We introduce an automatic prompt \textbf{D}ecomposition and \textbf{R}econstruction framework for jailbreak \textbf{Attack} (DrAttack). DrAttack includes three key components: (a) `Decomposition' of the original prompt into sub-prompts, (b) `Reconstruction' of these sub-prompts implicitly by in-context learning with semantically similar but harmless reassembling demo, and (c) a `Synonym Search' of sub-prompts, aiming to find sub-prompts' synonyms that maintain the original intent while jailbreaking LLMs. An extensive empirical study across multiple open-source and closed-source LLMs demonstrates that, with a significantly reduced number of queries, DrAttack obtains a substantial gain of success rate over prior SOTA prompt-only attackers. Notably, the success rate of 78.0\% on GPT-4 with merely 15 queries surpassed previous art by 33.1\%.
Abstract（参考訳）: 大規模言語モデル(llms)の安全性アライメントは、手動および自動ジェイルブレイク攻撃の両方に脆弱であり、反対に有害なコンテンツを出力するためにllmをトリガーする。しかし、有害なプロンプト全体をネストする現在のLLMのジェイルブレイク方法は、悪意のある意図を隠蔽するには有効ではなく、適切に整列されたLLMによって容易に識別され、拒否される。本稿では,悪意のあるプロンプトを分離したサブプロンプトに分解することで,その下位にある悪意の意図を,断片化された,検出不能な形式で表現することにより,効果的に隠蔽できることを示す。我々はjailbreak \textbf{Attack} (DrAttack) のための自動プロンプト \textbf{D}ecomposition と \textbf{R}econstruction フレームワークを導入する。 drattackには3つの重要なコンポーネントがある。 (a)原プロンプトのサブプロンプトへの'デコンポジション' b) 意味的に類似しているが無害な再組み立てデモによる文脈内学習によるこれらのサブプロンプトの「再構成」 c) llmをジェイルブレイクしながら、元の意図を維持するサブプロンプトのシノニムを見つけることを目的としたサブプロンプトの ‘synonym search' 。複数のオープンソースおよびクローズドソース LLM にまたがる広範な実証研究により、Drattack はクエリ数が大幅に減少し、以前の SOTA プロンプトのみの攻撃者よりもかなりの成功率を得ることを示した。特に GPT-4 での成功率は 78.0 % で、前作よりわずか15クエリで33.1 % 上回った。

関連論文リスト

Multi-round jailbreak attack on large language models [2.540971544359496]
私たちは"ジェイルブレイク"攻撃をよりよく理解するために、マルチラウンドのジェイルブレイクアプローチを導入します。この方法は危険なプロンプトを書き換え、有害でない一連のサブクエストに分解する。実験の結果,ラマ2-7Bは94%の成功率を示した。
論文参考訳（メタデータ） (2024-10-15T12:08:14Z)
RePD: Defending Jailbreak Attack through a Retrieval-based Prompt Decomposition Process [23.66988994636578]
我々は,大規模言語モデル(LLM)に対するジェイルブレイク攻撃のリスクを軽減するために設計された,革新的な攻撃フレームワークであるPDを導入する。 RePDはワンショットの学習モデルで動作し、Jailbreakプロンプトテンプレートのデータベースにアクセスして、ユーザプロンプトに埋め込まれた有害な問い合わせを特定して分解する。我々は,典型的なユーザ要求に応答する際の性能を損なうことなく,LDMのジェイルブレイク攻撃に対するレジリエンスを高めるためのRePDの有効性を実証した。
論文参考訳（メタデータ） (2024-10-11T09:39:11Z)
Why Are My Prompts Leaked? Unraveling Prompt Extraction Threats in Customized Large Language Models [15.764672596793352]
我々は,突発的漏洩のメカニズムを解析し,その機構を即発的記憶と呼び,対応する防御戦略を開発する。現在のLSMは、GPT-4のような安全アライメントを持つものでさえ、抽出攻撃の迅速化に非常に脆弱であることがわかった。
論文参考訳（メタデータ） (2024-08-05T12:20:39Z)
Human-Interpretable Adversarial Prompt Attack on Large Language Models with Situational Context [49.13497493053742]
本研究は,無意味な接尾辞攻撃を状況駆動型文脈書き換えによって意味のあるプロンプトに変換することを検討する。我々は、独立して意味のある敵の挿入と映画から派生した状況を組み合わせて、LLMを騙せるかどうかを確認します。当社のアプローチでは,オープンソースとプロプライエタリなLLMの両方で,状況駆動型攻撃を成功させることが実証されている。
論文参考訳（メタデータ） (2024-07-19T19:47:26Z)
AdvPrompter: Fast Adaptive Adversarial Prompting for LLMs [51.217126257318924]
本稿では,AdvPrompterと呼ばれる新たな大規模言語モデルを用いて,人間可読な逆数プロンプトを数秒で生成する手法を提案する。我々は、ターゲットLLMの勾配にアクセスする必要がない新しいアルゴリズムを用いてAdvPrompterを訓練する。訓練されたAdvPrompterは、TargetLLMを誘引して有害な応答を与えるように、意味を変えずに入力命令を無効にする接尾辞を生成する。
論文参考訳（メタデータ） (2024-04-21T22:18:13Z)
AdaShield: Safeguarding Multimodal Large Language Models from Structure-based Attack via Adaptive Shield Prompting [54.931241667414184]
textbfAdaptive textbfShield Promptingを提案する。これは、MLLMを構造ベースのジェイルブレイク攻撃から守るための防御プロンプトで入力をプリペイドする。我々の手法は、構造に基づくジェイルブレイク攻撃に対するMLLMの堅牢性を一貫して改善することができる。
論文参考訳（メタデータ） (2024-03-14T15:57:13Z)
ASETF: A Novel Method for Jailbreak Attack on LLMs through Translate Suffix Embeddings [58.82536530615557]
本稿では, 連続的な逆接接尾辞埋め込みを一貫性のある, 理解可能なテキストに変換するために, ASETF (Adversarial Suffix Embedding Translation Framework) を提案する。本手法は,逆接接尾辞の計算時間を著しく短縮し,既存の手法よりもはるかに優れた攻撃成功率を実現する。
論文参考訳（メタデータ） (2024-02-25T06:46:27Z)
LLMs Can Defend Themselves Against Jailbreaking in a Practical Manner: A Vision Paper [16.078682415975337]
Jailbreakingは、既成の大規模言語モデル(LLM)に配置された安全アライメントをバイパスする、新たな敵攻撃である。本稿では,SELFDEFENDと呼ばれる軽量で実用的な防御手法を提案する。 jailbreakプロンプトが最小限の遅延と、通常のユーザプロンプトが無視できる遅延で、既存のjailbreak攻撃を防げます。
論文参考訳（メタデータ） (2024-02-24T05:34:43Z)
A Wolf in Sheep's Clothing: Generalized Nested Jailbreak Prompts can Fool Large Language Models Easily [51.63085197162279]
大きな言語モデル(LLM)は有用で安全な応答を提供するように設計されている。ジェイルブレイク」と呼ばれる敵のプロンプトは保護を回避できる有効なジェイルブレイクプロンプトを生成するためにLLM自体を活用する自動フレームワークであるReNeLLMを提案する。
論文参考訳（メタデータ） (2023-11-14T16:02:16Z)
An LLM can Fool Itself: A Prompt-Based Adversarial Attack [26.460067102821476]
本稿では, プロンプトベースの対向攻撃(PromptAttack)を用いて, LLMの対向ロバスト性を評価する効率的なツールを提案する。 PromptAttackは、敵のテキスト攻撃を攻撃プロンプトに変換することで、被害者のLSMが敵のサンプルを不正に出力する可能性がある。 Llama2とGPT-3.5を使った総合的な実験結果から、PromptAttackはAdvGLUEやAdvGLUE++に比べて攻撃成功率がずっと高いことが証明されている。
論文参考訳（メタデータ） (2023-10-20T08:16:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。