論文の概要: Comprehensive Assessment of Jailbreak Attacks Against LLMs

• arxiv url: http://arxiv.org/abs/2402.05668v1
• Date: Thu, 8 Feb 2024 13:42:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-09 14:52:21.805100
• Title: Comprehensive Assessment of Jailbreak Attacks Against LLMs
• Title（参考訳）: llmsに対する脱獄攻撃の包括的評価
• Authors: Junjie Chu and Yugeng Liu and Ziqing Yang and Xinyue Shen and Michael Backes and Yang Zhang
• Abstract要約: 4つのカテゴリから13の最先端ジェイルブレイク法,16の違反カテゴリから160の質問,6つの人気のあるLDMについて検討した。 実験の結果, 最適化されたジェイルブレイクは高い攻撃成功率を確実に達成することが示された。 攻撃性能と効率のトレードオフについて論じるとともに、脱獄プロンプトの転送性は依然として維持可能であることを示す。
• 参考スコア（独自算出の注目度）: 28.58973312098698
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Misuse of the Large Language Models (LLMs) has raised widespread concern. To address this issue, safeguards have been taken to ensure that LLMs align with social ethics. However, recent findings have revealed an unsettling vulnerability bypassing the safeguards of LLMs, known as jailbreak attacks. By applying techniques, such as employing role-playing scenarios, adversarial examples, or subtle subversion of safety objectives as a prompt, LLMs can produce an inappropriate or even harmful response. While researchers have studied several categories of jailbreak attacks, they have done so in isolation. To fill this gap, we present the first large-scale measurement of various jailbreak attack methods. We concentrate on 13 cutting-edge jailbreak methods from four categories, 160 questions from 16 violation categories, and six popular LLMs. Our extensive experimental results demonstrate that the optimized jailbreak prompts consistently achieve the highest attack success rates, as well as exhibit robustness across different LLMs. Some jailbreak prompt datasets, available from the Internet, can also achieve high attack success rates on many LLMs, such as ChatGLM3, GPT-3.5, and PaLM2. Despite the claims from many organizations regarding the coverage of violation categories in their policies, the attack success rates from these categories remain high, indicating the challenges of effectively aligning LLM policies and the ability to counter jailbreak attacks. We also discuss the trade-off between the attack performance and efficiency, as well as show that the transferability of the jailbreak prompts is still viable, becoming an option for black-box models. Overall, our research highlights the necessity of evaluating different jailbreak methods. We hope our study can provide insights for future research on jailbreak attacks and serve as a benchmark tool for evaluating them for practitioners.
• Abstract（参考訳）: 大規模言語モデル(llms)の誤用は、広く懸念されている。 この問題に対処するため、llmが社会倫理に適合するように保護措置が講じられている。 しかし、最近の発見では、脱獄攻撃として知られるLSMの安全を守るために、不安定な脆弱性が発見された。 ロールプレイングシナリオや敵の例、あるいは安全性目標の微妙なサブバージョンをプロンプトとして採用することで、llmは不適切な、あるいは有害な応答を生み出すことができる。 研究者はジェイルブレイク攻撃のいくつかのカテゴリを研究しているが、それらは単独で行われている。 このギャップを埋めるため,様々な脱獄攻撃方法の大規模測定を初めて実施する。 4つのカテゴリから13の最先端脱獄方法,16の違反カテゴリから160の質問,そして6つの人気のあるllmに注目した。 我々の広範な実験結果から、最適化されたジェイルブレイクプロンプトは最高攻撃成功率を継続的に達成し、異なるLSM間で堅牢性を示すことが示されている。 インターネットから利用できるいくつかのjailbreakプロンプトデータセットは、ChatGLM3、GPT-3.5、PaLM2など、多くのLLM上で高い攻撃成功率を達成することができる。 ポリシーに違反するカテゴリをカバーするという多くの組織からの主張にもかかわらず、これらのカテゴリからの攻撃成功率は高いままであり、llmポリシーを効果的に調整することの課題とジェイルブレイク攻撃に対抗する能力を示している。 また,攻撃性能と効率のトレードオフについても論じるとともに,脱獄プロンプトの転送可能性も引き続き有効であることを示し,ブラックボックスモデルの選択肢となる。 本研究は総合的に異なるジェイルブレイク法を評価する必要性を強調している。 我々の研究が将来のジェイルブレイク攻撃研究の洞察を与え、実践者のためにそれらを評価するためのベンチマークツールとして機能することを願っている。

関連論文リスト

• Layer-Level Self-Exposure and Patch: Affirmative Token Mitigation for Jailbreak Attack Defense [55.77152277982117]
  私たちは、jailbreak攻撃から防御するために設計された方法であるLayer-AdvPatcherを紹介します。 私たちは、自己拡張データセットを通じて、大規模言語モデル内の特定のレイヤにパッチを適用するために、未学習の戦略を使用します。 我々の枠組みは、脱獄攻撃の有害性と攻撃の成功率を減らす。
  論文  参考訳（メタデータ） (2025-01-05T19:06:03Z)
• Shaping the Safety Boundaries: Understanding and Defending Against Jailbreaks in Large Language Models [59.25318174362368]
  大規模言語モデル(LLM)におけるジェイルブレークは、LLMを騙して有害なテキストを生成するというセキュリティ上の問題である。 我々は7つの異なるジェイルブレイク法を詳細に分析し、不一致が不十分な観察サンプルから生じることを確認した。 安全境界内でのアクティベーションを適応的に制限する「textbfActivation Boundary Defense (ABD)」という新しい防衛法を提案する。
  論文  参考訳（メタデータ） (2024-12-22T14:18:39Z)
• Immune: Improving Safety Against Jailbreaks in Multi-modal LLMs via Inference-Time Alignment [97.38766396447369]
  訓練時安全アライメントにもかかわらず、MLLMは脱獄攻撃に弱いままである。 我々は、安全な報酬モデルを利用してジェイルブレイク攻撃を防御する推論時防衛フレームワークImmuneを提案する。
  論文  参考訳（メタデータ） (2024-11-27T19:00:10Z)
• Rapid Response: Mitigating LLM Jailbreaks with a Few Examples [13.841146655178585]
  我々は,少数の攻撃を観測した後に,脱獄のクラス全体をブロックするために,迅速な応答手法を開発した。 我々は5つの迅速応答法を評価し,それぞれがジェイルブレイク増殖を利用した。 我々の最強の方法は、ジェイルブレイクの非分配セットで240以上、アウト・オブ・ディストリビューションセットで15以上、攻撃成功率で240以上削減する。
  論文  参考訳（メタデータ） (2024-11-12T02:44:49Z)
• What Features in Prompts Jailbreak LLMs? Investigating the Mechanisms Behind Attacks [3.0700566896646047]
  異なるジェイルブレイク手法が、異なる非線形特徴を介してプロンプトで動作することを示す。 これらの機械的ジェイルブレイクは、トレーニングされた35のテクニックのうち34つよりも確実にGemma-7B-ITをジェイルブレイクすることができる。
  論文  参考訳（メタデータ） (2024-11-02T17:29:47Z)
• EnJa: Ensemble Jailbreak on Large Language Models [69.13666224876408]
  大きな言語モデル(LLM)は、安全クリティカルなアプリケーションにますますデプロイされている。 LLMは、悪質なプロンプトを慎重に作り、ポリシーに違反するコンテンツを生成することで、まだジェイルブレイクされる可能性がある。 本稿では,プロンプトレベルのジェイルブレイクを用いて有害な命令を隠蔽し,グラデーションベースの攻撃で攻撃成功率を高め,テンプレートベースのコネクタを介して2種類のジェイルブレイク攻撃を接続する新しいEnJa攻撃を提案する。
  論文  参考訳（メタデータ） (2024-08-07T07:46:08Z)
• Bag of Tricks: Benchmarking of Jailbreak Attacks on LLMs [13.317364896194903]
  大規模言語モデル(LLM)は、ゼロショット方式で複雑なタスクを実行する上で重要な機能を示している。 LLMはジェイルブレイク攻撃の影響を受けやすく、有害な出力を生成するために操作することができる。
  論文  参考訳（メタデータ） (2024-06-13T17:01:40Z)
• JailbreakEval: An Integrated Toolkit for Evaluating Jailbreak Attempts Against Large Language Models [21.854909839996612]
  ジェイルブレイク攻撃は、有害な応答を生成するために大規模言語モデル(LLM)を誘導する。 ジェイルブレイクの評価には合意がない。 JailbreakEvalは、jailbreakの試みを評価するツールキットである。
  論文  参考訳（メタデータ） (2024-06-13T16:59:43Z)
• EasyJailbreak: A Unified Framework for Jailbreaking Large Language Models [53.87416566981008]
  本稿では,大規模言語モデル(LLM)に対するジェイルブレイク攻撃の構築と評価を容易にする統合フレームワークであるEasyJailbreakを紹介する。 Selector、Mutator、Constraint、Evaluatorの4つのコンポーネントを使ってJailbreak攻撃を構築する。 10の異なるLSMで検証した結果、さまざまなジェイルブレイク攻撃で平均60%の侵入確率で重大な脆弱性が判明した。
  論文  参考訳（メタデータ） (2024-03-18T18:39:53Z)
• "Do Anything Now": Characterizing and Evaluating In-The-Wild Jailbreak Prompts on Large Language Models [50.22128133926407]
  我々は2022年12月から2023年12月までの1,405件の脱獄プロンプトを包括的に分析する。 131のjailbreakコミュニティを特定し,Jailbreakプロンプトの特徴とその主要な攻撃戦略を明らかにする。 また,ChatGPT (GPT-3.5) と GPT-4 の攻撃成功率 0.95 を達成できる5つの有効なジェイルブレイクプロンプトを同定した。
  論文  参考訳（メタデータ） (2023-08-07T16:55:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。