論文の概要: Enhancing Jailbreak Attack Against Large Language Models through Silent Tokens

• arxiv url: http://arxiv.org/abs/2405.20653v1
• Date: Fri, 31 May 2024 07:41:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 15:16:48.631475
• Title: Enhancing Jailbreak Attack Against Large Language Models through Silent Tokens
• Title（参考訳）: 無音トークンによる大規模言語モデルに対するジェイルブレイク攻撃の強化
• Authors: Jiahao Yu, Haozheng Luo, Jerry Yao-Chieh, Wenbo Guo, Han Liu, Xinyu Xing,
• Abstract要約: 既存のジェイルブレイク攻撃では、人間の専門家か、複雑なアルゴリズムを使ってプロンプトを作らなければならない。 eosトークンのみを活用する単純な攻撃であるBOOSTを導入する。 LLMがジェイルブレイク攻撃に対して脆弱であることが判明し、強力な安全アライメントアプローチの開発が動機となった。
• 参考スコア（独自算出の注目度）: 21.871299859359237
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Along with the remarkable successes of Language language models, recent research also started to explore the security threats of LLMs, including jailbreaking attacks. Attackers carefully craft jailbreaking prompts such that a target LLM will respond to the harmful question. Existing jailbreaking attacks require either human experts or leveraging complicated algorithms to craft jailbreaking prompts. In this paper, we introduce BOOST, a simple attack that leverages only the eos tokens. We demonstrate that rather than constructing complicated jailbreaking prompts, the attacker can simply append a few eos tokens to the end of a harmful question. It will bypass the safety alignment of LLMs and lead to successful jailbreaking attacks. We further apply BOOST to four representative jailbreak methods and show that the attack success rates of these methods can be significantly enhanced by simply adding eos tokens to the prompt. To understand this simple but novel phenomenon, we conduct empirical analyses. Our analysis reveals that adding eos tokens makes the target LLM believe the input is much less harmful, and eos tokens have low attention values and do not affect LLM's understanding of the harmful questions, leading the model to actually respond to the questions. Our findings uncover how fragile an LLM is against jailbreak attacks, motivating the development of strong safety alignment approaches.
• Abstract（参考訳）: 言語モデルの顕著な成功に加えて、最近の研究は、脱獄攻撃を含むLLMのセキュリティ脅威の調査も開始した。 攻撃者は、標的のLSMが有害な質問に応答するように、ジェイルブレイクのプロンプトを慎重に作成する。 既存のジェイルブレイク攻撃では、人間の専門家か複雑なアルゴリズムを使ってジェイルブレイクのプロンプトを作らなければならない。 本稿では,eosトークンのみを利用する単純な攻撃であるBOOSTを紹介する。 我々は、複雑なジェイルブレイクプロンプトを構築する代わりに、攻撃者は有害な質問の最後にいくつかのeosトークンを追加するだけでよいことを示した。 LLMの安全アライメントを回避し、脱獄攻撃を成功させる。 さらに, BOOST を 4 つの代表的なjailbreak 手法に適用し, プロンプトに eos トークンを追加するだけで, 攻撃成功率を大幅に向上できることを示す。 この単純だが斬新な現象を理解するために、我々は経験的分析を行う。 分析の結果、eosトークンを追加することで、ターゲットのLSMは入力がより有害であると信じ、eosトークンは注意値が低く、有害な質問に対するLLMの理解に影響を与えないことが明らかとなり、モデルが実際に質問に答える結果となった。 LLMがジェイルブレイク攻撃に対して脆弱であることが判明し、強力な安全アライメントアプローチの開発が動機となった。

関連論文リスト

• Rewrite to Jailbreak: Discover Learnable and Transferable Implicit Harmfulness Instruction [32.04296423547049]
  大規模言語モデル(LLM)は様々な領域に広く適用されている。 LLMを攻撃するための転送可能なブラックボックスジェイルブレイク法であるRewrite to Jailbreak (R2J)アプローチを提案する。
  論文  参考訳（メタデータ） (2025-02-16T11:43:39Z)
• Layer-Level Self-Exposure and Patch: Affirmative Token Mitigation for Jailbreak Attack Defense [55.77152277982117]
  私たちは、jailbreak攻撃から防御するために設計された方法であるLayer-AdvPatcherを紹介します。 私たちは、自己拡張データセットを通じて、大規模言語モデル内の特定のレイヤにパッチを適用するために、未学習の戦略を使用します。 我々の枠組みは、脱獄攻撃の有害性と攻撃の成功率を減らす。
  論文  参考訳（メタデータ） (2025-01-05T19:06:03Z)
• Token Highlighter: Inspecting and Mitigating Jailbreak Prompts for Large Language Models [61.916827858666906]
  大規模言語モデル(LLM)は、ユーザクエリに対する応答を提供するために、ChatGPTなどのサービスに統合されつつある。 本稿では,Token Highlighterという手法を提案する。
  論文  参考訳（メタデータ） (2024-12-24T05:10:02Z)
• Deciphering the Chaos: Enhancing Jailbreak Attacks via Adversarial Prompt Translation [71.92055093709924]
  そこで本稿では, ガーブレッドの逆数プロンプトを, 一貫性のある, 可読性のある自然言語の逆数プロンプトに"翻訳"する手法を提案する。 また、jailbreakプロンプトの効果的な設計を発見し、jailbreak攻撃の理解を深めるための新しいアプローチも提供する。 本稿では,AdvBench上でのLlama-2-Chatモデルに対する攻撃成功率は90%以上である。
  論文  参考訳（メタデータ） (2024-10-15T06:31:04Z)
• EnJa: Ensemble Jailbreak on Large Language Models [69.13666224876408]
  大きな言語モデル(LLM)は、安全クリティカルなアプリケーションにますますデプロイされている。 LLMは、悪質なプロンプトを慎重に作り、ポリシーに違反するコンテンツを生成することで、まだジェイルブレイクされる可能性がある。 本稿では,プロンプトレベルのジェイルブレイクを用いて有害な命令を隠蔽し,グラデーションベースの攻撃で攻撃成功率を高め,テンプレートベースのコネクタを介して2種類のジェイルブレイク攻撃を接続する新しいEnJa攻撃を提案する。
  論文  参考訳（メタデータ） (2024-08-07T07:46:08Z)
• Towards Understanding Jailbreak Attacks in LLMs: A Representation Space Analysis [47.81417828399084]
  大規模言語モデル(LLM)は、有害な内容を出力するためにLLMを誤解させるジェイルブレーキング(jailbreaking)と呼ばれるタイプの攻撃を受けやすい。 本稿では, LLMの表現空間における有害かつ無害なプロンプトの挙動を考察し, ジェイルブレイク攻撃の本質的特性について検討する。
  論文  参考訳（メタデータ） (2024-06-16T03:38:48Z)
• SafeDecoding: Defending against Jailbreak Attacks via Safety-Aware Decoding [35.750885132167504]
  我々は,大規模言語モデル(LLM)の安全性を意識したデコーディング戦略であるSafeDecodingを導入し,ユーザクエリに対する有用かつ無害な応答を生成する。 この結果から,SafeDecodingは,ユーザクエリに対する応答の利便性を損なうことなく,攻撃成功率やジェイルブレイク攻撃の有害性を著しく低下させることがわかった。
  論文  参考訳（メタデータ） (2024-02-14T06:54:31Z)
• Weak-to-Strong Jailbreaking on Large Language Models [96.50953637783581]
  大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱である。 既存のジェイルブレイク法は計算コストがかかる。 我々は、弱々しく強固な脱獄攻撃を提案する。
  論文  参考訳（メタデータ） (2024-01-30T18:48:37Z)
• A Wolf in Sheep's Clothing: Generalized Nested Jailbreak Prompts can Fool Large Language Models Easily [51.63085197162279]
  大きな言語モデル(LLM)は有用で安全な応答を提供するように設計されている。 ジェイルブレイク」と呼ばれる 敵のプロンプトは 保護を回避できる 有効なジェイルブレイクプロンプトを生成するためにLLM自体を活用する自動フレームワークであるReNeLLMを提案する。
  論文  参考訳（メタデータ） (2023-11-14T16:02:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。