論文の概要: ObscurePrompt: Jailbreaking Large Language Models via Obscure Input

• arxiv url: http://arxiv.org/abs/2406.13662v1
• Date: Wed, 19 Jun 2024 16:09:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 19:04:39.337901
• Title: ObscurePrompt: Jailbreaking Large Language Models via Obscure Input
• Title（参考訳）: ObscurePrompt: Obscure入力による大規模言語モデルのジェイルブレーク
• Authors: Yue Huang, Jingyu Tang, Dongping Chen, Bingda Tang, Yao Wan, Lichao Sun, Xiangliang Zhang,
• Abstract要約: 本稿では,LLMをジェイルブレイクするための単純で斬新な手法であるObscurePromptを紹介する。 まず、脱獄過程における決定境界を定式化し、次にLLMの倫理的決定境界に不明瞭な文章がどう影響するかを考察する。 本手法は,2つの防御機構に対する有効性を保ちながら,攻撃効果の観点から従来の手法を大幅に改善する。
• 参考スコア（独自算出の注目度）: 32.00508793605316
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, Large Language Models (LLMs) have garnered significant attention for their exceptional natural language processing capabilities. However, concerns about their trustworthiness remain unresolved, particularly in addressing "jailbreaking" attacks on aligned LLMs. Previous research predominantly relies on scenarios with white-box LLMs or specific and fixed prompt templates, which are often impractical and lack broad applicability. In this paper, we introduce a straightforward and novel method, named ObscurePrompt, for jailbreaking LLMs, inspired by the observed fragile alignments in Out-of-Distribution (OOD) data. Specifically, we first formulate the decision boundary in the jailbreaking process and then explore how obscure text affects LLM's ethical decision boundary. ObscurePrompt starts with constructing a base prompt that integrates well-known jailbreaking techniques. Powerful LLMs are then utilized to obscure the original prompt through iterative transformations, aiming to bolster the attack's robustness. Comprehensive experiments show that our approach substantially improves upon previous methods in terms of attack effectiveness, maintaining efficacy against two prevalent defense mechanisms. We believe that our work can offer fresh insights for future research on enhancing LLM alignment.
• Abstract（参考訳）: 近年,Large Language Models (LLMs) は,自然言語処理能力に顕著な注目を集めている。 しかしながら、彼らの信頼性に関する懸念は未解決のままであり、特にLLMに対する「ジェイルブレイク」攻撃に対処している。 従来の研究は主に、ホワイトボックスのLSMや特定のプロンプトテンプレートを使ったシナリオに依存しており、これは多くの場合実用的ではなく、適用性に乏しい。 本稿では,アウト・オブ・ディストリビューション(OOD, Out-of-Distribution, Out-of-Distribution, OOD)データにおける脆弱なアライメントから着想を得た,単純な,新しい手法であるObscurePromptを紹介した。 具体的には、まず、脱獄過程における決定境界を定式化し、次にLLMの倫理的決定境界に不明瞭な文章がどのように影響するかを考察する。 ObscurePromptは、よく知られたジェイルブレイクテクニックを統合するベースプロンプトの構築から始まる。 強力なLSMは、攻撃の堅牢性を強化するために、反復的な変換を通じて元のプロンプトを曖昧にするために使用される。 包括的実験により,本手法は従来手法よりも攻撃効果を著しく向上し,2つの防御機構に対する有効性を維持した。 我々はLLMアライメントの強化に関する今後の研究に新たな洞察を与えることができると信じている。

関連論文リスト

• How Alignment and Jailbreak Work: Explain LLM Safety through Intermediate Hidden States [65.45603614354329]
  大規模言語モデル(LLM)は、悪意のあるユーザ入力に対する応答を避けるために、安全アライメントに依存している。 ジェイルブレイクは安全ガードレールを回避でき、LLMは有害な内容を生成する。 中間隠蔽状態を通してLSMの安全性を説明するために弱い分類器を用いる。
  論文  参考訳（メタデータ） (2024-06-09T05:04:37Z)
• Jailbreak Vision Language Models via Bi-Modal Adversarial Prompt [60.54666043358946]
  本稿では,テキストと視覚のプロンプトを協調的に最適化することにより,ジェイルブレイクを実行するバイモーダル・アドバイサル・プロンプト・アタック(BAP)を提案する。 特に,大規模言語モデルを用いてジェイルブレイクの失敗を分析し,テキストのプロンプトを洗練させるために連鎖推論を採用する。
  論文  参考訳（メタデータ） (2024-06-06T13:00:42Z)
• Efficient LLM-Jailbreaking by Introducing Visual Modality [28.925716670778076]
  本稿では,大規模言語モデル(LLM)に対するジェイルブレイク攻撃に焦点を当てた。 我々のアプローチは、ターゲットのLLMに視覚モジュールを組み込むことで、MLLM(Multimodal large language model)を構築することから始まる。 我々は, EmbJS をテキスト空間に変換し, ターゲット LLM のジェイルブレイクを容易にする。
  論文  参考訳（メタデータ） (2024-05-30T12:50:32Z)
• Defending Large Language Models Against Jailbreak Attacks via Layer-specific Editing [14.094372002702476]
  大規模言語モデル(LLM)は、広範囲の現実世界のアプリケーションで採用されつつある。 近年の研究では、LSMは故意に構築された敵のプロンプトに弱いことが示されている。 そこで本研究では,新しい防衛手法である textbfLayer-specific textbfEditing (LED) を提案する。
  論文  参考訳（メタデータ） (2024-05-28T13:26:12Z)
• Subtoxic Questions: Dive Into Attitude Change of LLM's Response in Jailbreak Attempts [13.176057229119408]
  Prompt Jailbreakingの言語モデル(LLM)がますます注目を集めています。 本稿では,ジェイルブレイクのプロンプトに対して本質的により敏感な,対象とする一連の質問に焦点をあてて,新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-12T08:08:44Z)
• Tastle: Distract Large Language Models for Automatic Jailbreak Attack [9.137714258654842]
  大規模言語モデル(LLM)の自動レッドチーム化のためのブラックボックスジェイルブレイクフレームワークを提案する。 我々のフレームワークは、有効性、スケーラビリティ、転送性において優れている。 また,攻撃に対する既存のジェイルブレイク防御手法の有効性についても検討した。
  論文  参考訳（メタデータ） (2024-03-13T11:16:43Z)
• Defending LLMs against Jailbreaking Attacks via Backtranslation [61.878363293735624]
  「我々は、バックトランスレーションによる脱獄攻撃からLLMを守る新しい方法を提案する。」 推測されたプロンプトは、元のプロンプトの実際の意図を明らかにする傾向にある、逆転プロンプトと呼ばれる。 我々は、我々の防衛がベースラインを大幅に上回っていることを実証的に実証した。
  論文  参考訳（メタデータ） (2024-02-26T10:03:33Z)
• Leveraging the Context through Multi-Round Interactions for Jailbreaking Attacks [60.7432588386185]
  大規模言語モデル(LLM)は、脱獄攻撃の影響を受けやすい。 脱獄攻撃は、攻撃クエリを微調整することで有害な情報を抽出することを目的としている。 我々は、コンテキストインタラクションアタックと呼ばれる新しい攻撃形式に焦点を当てる。
  論文  参考訳（メタデータ） (2024-02-14T13:45:19Z)
• A Wolf in Sheep's Clothing: Generalized Nested Jailbreak Prompts can Fool Large Language Models Easily [51.63085197162279]
  大きな言語モデル(LLM)は有用で安全な応答を提供するように設計されている。 ジェイルブレイク」と呼ばれる 敵のプロンプトは 保護を回避できる 有効なジェイルブレイクプロンプトを生成するためにLLM自体を活用する自動フレームワークであるReNeLLMを提案する。
  論文  参考訳（メタデータ） (2023-11-14T16:02:16Z)
• SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
  SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。 敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
  論文  参考訳（メタデータ） (2023-10-05T17:01:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。