論文の概要: An Empirical Measurement of Jailbreaking Evaluators

• arxiv url: http://arxiv.org/abs/2609.10594v1
• Date: Mon, 07 Sep 2026 03:16:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.072438
• Title: An Empirical Measurement of Jailbreaking Evaluators
• Title（参考訳）: 脱獄評価器の実証測定
• Abstract要約: 近年のジェイルブレイク攻撃と防衛研究で再発した6つの評価器を系統的に比較した。 我々の知る限りでは、制御された設定の下で、同一のラベル付きデータ上で6つすべてを評価する事前調査は行われていない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Expert evaluation of jailbreak responses is costly and difficult to scale, so the community increasingly relies on automated evaluators to determine whether an attack succeeds. However, jailbreak studies typically validate their chosen evaluator independently, repeatedly spending resources on similar evaluation efforts while making results across papers difficult to compare. Different evaluators also encode different definitions of jailbreak success, meaning that reported attack strength and apparent progress can depend substantially on which evaluator is used. We systematically compare six evaluators that recur in recent jailbreak attack and defense research: HarmBench, JailbreakBench, JailbreakRadar, StrongReject, JADES, and JailMeter. To our knowledge, no prior study has evaluated all six on the same human-labeled data under a controlled setup. We evaluate them on JailbreakQR and JailMeter-Eva, using human judgments as the reference, and measure agreement with humans, error types, and consistency across attack families. For evaluators that require a general-purpose LLM judge, we use a shared backbone to control for model-specific variation. We found that JADES exhibits the best overall performance, while HarmBench and StrongReject also demonstrate good performance.
• Abstract（参考訳）: ジェイルブレイク対応のエキスパート評価は費用がかかり、スケールが難しいため、コミュニティは攻撃が成功するかどうかを自動評価に頼っている。 しかし、ジェイルブレイクの研究は通常、選択した評価指標を独立に検証し、同様の評価努力に繰り返しリソースを費やし、その結果を論文間で比較するのが困難である。 異なる評価者は、異なるジェイルブレイクの成功の定義を符号化する。つまり、報告された攻撃強度と明らかな進歩は、どの評価器が使用されるかに大きく依存する。 我々は、最近のジェイルブレイク攻撃と防衛研究で再発した6つの評価器(HarmBench、JailbreakBench、JailbreakRadar、StrongReject、JADES、JailMeter)を体系的に比較した。 我々の知る限りでは、制御された設定の下で、同一のラベル付きデータ上で6つすべてを評価する事前調査は行われていない。 本研究では,JailbreakQR と JailMeter-Eva 上で,人間の判断を基準として評価し,攻撃家族間の人間との一致,エラータイプ,一貫性を測定する。 汎用LLM判断器を必要とする評価器に対しては,モデル固有の変動の制御に共有バックボーンを用いる。 JADESが最高の全体的なパフォーマンスを示すのに対して、HarmBenchとStrongRejectは優れたパフォーマンスを示しています。

関連論文リスト

• JailMeter: An Evidence-Based Evaluation Framework for Jailbreak Attacks on Large Language Models [17.431914320093565]
  大規模言語モデルに対するジェイルブレイク攻撃の評価は、現在、一貫性のない評価基準と方法に悩まされている。 我々はジェイルブレイクの有効性をより忠実に測定するエビデンスベースの評価フレームワークであるJailMeterを提案する。
  論文  参考訳（メタデータ） (2026-07-20T12:38:49Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• How Real is Your Jailbreak? Fine-grained Jailbreak Evaluation with Anchored Reference [20.565609053126384]
  FJARは、アンロックされた参照を持つきめ細かいジェイルブレイク評価フレームワークである。 まず、jailbreakレスポンスを5つの細かいカテゴリに分類します。 そこで我々は,高品質なアンカード参照を構築するために,新しい無害木分解手法を提案する。
  論文  参考訳（メタデータ） (2026-01-04T07:54:24Z)
• JADES: A Universal Framework for Jailbreak Assessment via Decompositional Scoring [45.76641811031552]
  本稿では,JADES(Jailbreak Assessment via Decompositional Scoring)について紹介する。 その鍵となるメカニズムは、入力された有害な質問を一連の重み付けされたサブ問合せに自動的に分解し、各サブ問合せをスコアし、サブスコアを最終決定に重み付けすることである。 JADES on JailbreakQRは400対のjailbreakプロンプトと応答からなる新しいベンチマークで、それぞれが人間によって細心の注意を払って注釈付けされている。
  論文  参考訳（メタデータ） (2025-08-28T14:40:27Z)
• WildTeaming at Scale: From In-the-Wild Jailbreaks to (Adversarially) Safer Language Models [66.34505141027624]
  我々は、WildTeamingを紹介した。これは自動LLM安全リチームフレームワークで、Wild-Chatbotインタラクションをマイニングし、新しいジェイルブレイク戦術の5.7Kのユニークなクラスタを発見する。 WildTeamingは、未確認のフロンティアLSMの脆弱性を明らかにし、最大4.6倍の多様性と敵の攻撃に成功した。
  論文  参考訳（メタデータ） (2024-06-26T17:31:22Z)
• JailbreakEval: An Integrated Toolkit for Evaluating Jailbreak Attempts Against Large Language Models [21.854909839996612]
  ジェイルブレイク攻撃は、有害な応答を生成するために大規模言語モデル(LLM)を誘導する。 ジェイルブレイクの評価には合意がない。 JailbreakEvalは、jailbreakの試みを評価するツールキットである。
  論文  参考訳（メタデータ） (2024-06-13T16:59:43Z)
• AutoJailbreak: Exploring Jailbreak Attacks and Defenses through a Dependency Lens [83.08119913279488]
  本稿では,ジェイルブレイク攻撃と防衛技術における依存関係の体系的解析について述べる。 包括的な、自動化された、論理的な3つのフレームワークを提案します。 このアンサンブル・ジェイルブレイク・アタックと防衛の枠組みは,既存の研究を著しく上回る結果となった。
  論文  参考訳（メタデータ） (2024-06-06T07:24:41Z)
• JailbreakBench: An Open Robustness Benchmark for Jailbreaking Large Language Models [123.66104233291065]
  ジェイルブレイク攻撃は、大きな言語モデル(LLM)が有害、非倫理的、またはその他の不快なコンテンツを生成する原因となる。 これらの攻撃を評価することは、現在のベンチマークと評価テクニックの収集が適切に対処していない、多くの課題を提示します。 JailbreakBenchは、以下のコンポーネントを備えたオープンソースのベンチマークである。
  論文  参考訳（メタデータ） (2024-03-28T02:44:02Z)
• A StrongREJECT for Empty Jailbreaks [72.8807309802266]
  StrongREJECTは、ジェイルブレイクのパフォーマンスを評価するための高品質なベンチマークである。 これは、被害者モデルが禁止されたプロンプトに対する応答の有害性を評価する。 それは、ジェイルブレイクの有効性の人間の判断と最先端の合意を達成します。
  論文  参考訳（メタデータ） (2024-02-15T18:58:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。