論文の概要: A StrongREJECT for Empty Jailbreaks

• arxiv url: http://arxiv.org/abs/2402.10260v2
• Date: Tue, 27 Aug 2024 03:32:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 19:49:00.158674
• Title: A StrongREJECT for Empty Jailbreaks
• Title（参考訳）: エンプティ・ジェイルブレイクのためのストロングREJECT
• Authors: Alexandra Souly, Qingyuan Lu, Dillon Bowen, Tu Trinh, Elvis Hsieh, Sana Pandey, Pieter Abbeel, Justin Svegliato, Scott Emmons, Olivia Watkins, Sam Toyer,
• Abstract要約: StrongREJECTは、ジェイルブレイクのパフォーマンスを評価するための高品質なベンチマークである。 これは、被害者モデルが禁止されたプロンプトに対する応答の有害性を評価する。 それは、ジェイルブレイクの有効性の人間の判断と最先端の合意を達成します。
• 参考スコア（独自算出の注目度）: 72.8807309802266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most jailbreak papers claim the jailbreaks they propose are highly effective, often boasting near-100% attack success rates. However, it is perhaps more common than not for jailbreak developers to substantially exaggerate the effectiveness of their jailbreaks. We suggest this problem arises because jailbreak researchers lack a standard, high-quality benchmark for evaluating jailbreak performance, leaving researchers to create their own. To create a benchmark, researchers must choose a dataset of forbidden prompts to which a victim model will respond, along with an evaluation method that scores the harmfulness of the victim model's responses. We show that existing benchmarks suffer from significant shortcomings and introduce the StrongREJECT benchmark to address these issues. StrongREJECT's dataset contains prompts that victim models must answer with specific, harmful information, while its automated evaluator measures the extent to which a response gives useful information to forbidden prompts. In doing so, the StrongREJECT evaluator achieves state-of-the-art agreement with human judgments of jailbreak effectiveness. Notably, we find that existing evaluation methods significantly overstate jailbreak effectiveness compared to human judgments and the StrongREJECT evaluator. We describe a surprising and novel phenomenon that explains this discrepancy: jailbreaks bypassing a victim model's safety fine-tuning tend to reduce its capabilities. Together, our findings underscore the need for researchers to use a high-quality benchmark, such as StrongREJECT, when developing new jailbreak attacks. We release the StrongREJECT code and data at https://strong-reject.readthedocs.io/en/latest/.
• Abstract（参考訳）: ほとんどのジェイルブレイク論文は、彼らが提案するジェイルブレイクは非常に効果的であり、しばしば攻撃の成功率のほぼ100%を誇っていると主張している。 しかし、Jailbreak開発者がジェイルブレイクの有効性を著しく誇張しないよりは、おそらくより一般的である。 私たちは、ジェイルブレイク研究者がジェイルブレイクのパフォーマンスを評価するための標準で高品質なベンチマークを欠いているため、この問題が生じることを示唆している。 ベンチマークを作成するには、研究者は、被害者モデルが反応するであろう禁止されたプロンプトのデータセットと、被害者モデルの応答の有害性を評価する評価方法を選択する必要がある。 既存のベンチマークは重大な欠点に悩まされており、これらの問題に対処するためにStrongREJECTベンチマークを導入している。 StrongREJECTのデータセットには、被害者のモデルが特定の有害な情報に答えなければならないというプロンプトが含まれている。 そうすることで、StrongREJECT評価者は、ジェイルブレイクの有効性の人間の判断と最先端の合意を達成できる。 特に,既存の評価手法は,人的判断やStrongREJECT評価器に比べて脱獄効果を著しく上回ることがわかった。 ジェイルブレイクは、被害者モデルの安全性を微調整することで、その能力を低下させる傾向がある。 今回の発見は、新たなジェイルブレイク攻撃の開発において、StrongREJECTのような高品質なベンチマークを使用する必要性を裏付けるものです。 StrongREJECTのコードとデータはhttps://strong-reject.readthedocs.io/en/latest/で公開しています。

関連論文リスト

• JailbreakLens: Interpreting Jailbreak Mechanism in the Lens of Representation and Circuit [21.380057443286034]
  大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱である。 脱獄攻撃は多いが、根底にあるメカニズムの理解は依然として限られている。
  論文  参考訳（メタデータ） (2024-11-17T16:08:34Z)
• Rapid Response: Mitigating LLM Jailbreaks with a Few Examples [13.841146655178585]
  我々は,少数の攻撃を観測した後に,脱獄のクラス全体をブロックするために,迅速な応答手法を開発した。 我々は5つの迅速応答法を評価し,それぞれがジェイルブレイク増殖を利用した。 我々の最強の方法は、ジェイルブレイクの非分配セットで240以上、アウト・オブ・ディストリビューションセットで15以上、攻撃成功率で240以上削減する。
  論文  参考訳（メタデータ） (2024-11-12T02:44:49Z)
• Stealthy Jailbreak Attacks on Large Language Models via Benign Data Mirroring [47.40698758003993]
  そこで本研究では,ターゲットブラックボックスモデルのミラーモデルを良質なデータ蒸留により局所的に訓練することにより,悪意あるプロンプト構築を誘導するトランスファー攻撃法を提案する。 提案手法は最大攻撃成功率92%, バランス値80%を達成し, GPT-3.5 Turboに対して平均1.5のジェイルブレイククエリが検出された。
  論文  参考訳（メタデータ） (2024-10-28T14:48:05Z)
• EnJa: Ensemble Jailbreak on Large Language Models [69.13666224876408]
  大きな言語モデル(LLM)は、安全クリティカルなアプリケーションにますますデプロイされている。 LLMは、悪質なプロンプトを慎重に作り、ポリシーに違反するコンテンツを生成することで、まだジェイルブレイクされる可能性がある。 本稿では,プロンプトレベルのジェイルブレイクを用いて有害な命令を隠蔽し,グラデーションベースの攻撃で攻撃成功率を高め,テンプレートベースのコネクタを介して2種類のジェイルブレイク攻撃を接続する新しいEnJa攻撃を提案する。
  論文  参考訳（メタデータ） (2024-08-07T07:46:08Z)
• WildTeaming at Scale: From In-the-Wild Jailbreaks to (Adversarially) Safer Language Models [66.34505141027624]
  我々は、WildTeamingを紹介した。これは自動LLM安全リチームフレームワークで、Wild-Chatbotインタラクションをマイニングし、新しいジェイルブレイク戦術の5.7Kのユニークなクラスタを発見する。 WildTeamingは、未確認のフロンティアLSMの脆弱性を明らかにし、最大4.6倍の多様性と敵の攻撃に成功した。
  論文  参考訳（メタデータ） (2024-06-26T17:31:22Z)
• JailbreakEval: An Integrated Toolkit for Evaluating Jailbreak Attempts Against Large Language Models [21.854909839996612]
  Jailbreak攻撃は、禁止命令に対する有害な応答を生成するために、LLM(Large Language Models)を誘導することを目的としている。 ジェイルブレイクの試みが成功するかどうかを評価する方法には(当然のことながら)合意がない。 JailbreakEvalは、Jailbreakの試みの評価に焦点を当てた、ユーザフレンドリーなツールキットである。
  論文  参考訳（メタデータ） (2024-06-13T16:59:43Z)
• AutoJailbreak: Exploring Jailbreak Attacks and Defenses through a Dependency Lens [83.08119913279488]
  本稿では,ジェイルブレイク攻撃と防衛技術における依存関係の体系的解析について述べる。 包括的な、自動化された、論理的な3つのフレームワークを提案します。 このアンサンブル・ジェイルブレイク・アタックと防衛の枠組みは,既存の研究を著しく上回る結果となった。
  論文  参考訳（メタデータ） (2024-06-06T07:24:41Z)
• Rethinking How to Evaluate Language Model Jailbreak [16.301224741410312]
  言語モデルジェイルブレイクを評価するために, 3つの指標, 保護違反, 情報性, 相対真理性を提案する。 3つの悪意のある意図的データセットと3つのジェイルブレイクシステムから生成されたベンチマークデータセットで、我々の測定値を評価する。
  論文  参考訳（メタデータ） (2024-04-09T15:54:16Z)
• JailbreakBench: An Open Robustness Benchmark for Jailbreaking Large Language Models [123.66104233291065]
  ジェイルブレイク攻撃は、大きな言語モデル(LLM)が有害、非倫理的、またはその他の不快なコンテンツを生成する原因となる。 これらの攻撃を評価することは、現在のベンチマークと評価テクニックの収集が適切に対処していない、多くの課題を提示します。 JailbreakBenchは、以下のコンポーネントを備えたオープンソースのベンチマークである。
  論文  参考訳（メタデータ） (2024-03-28T02:44:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。