論文の概要: JailMeter: An Evidence-Based Evaluation Framework for Jailbreak Attacks on Large Language Models
- arxiv url: http://arxiv.org/abs/2607.19424v1
- Date: Mon, 20 Jul 2026 12:38:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-23 18:51:37.885575
- Title: JailMeter: An Evidence-Based Evaluation Framework for Jailbreak Attacks on Large Language Models
- Title（参考訳）: JailMeter: 大規模言語モデル上でのJailbreak攻撃に対するエビデンスベースの評価フレームワーク
- Abstract要約: 大規模言語モデルに対するジェイルブレイク攻撃の評価は、現在、一貫性のない評価基準と方法に悩まされている。
我々はジェイルブレイクの有効性をより忠実に測定するエビデンスベースの評価フレームワークであるJailMeterを提案する。
- 参考スコア（独自算出の注目度）: 17.431914320093565
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The assessment of jailbreak attacks against large language models currently suffers from inconsistent evaluation criteria and methods, leading to unreliable estimates of attack success rates. We propose JailMeter, an evidence-based evaluation framework designed to more faithfully measure jailbreak effectiveness. Inspired by the Information Bottleneck theory, JailMeter applies dual-feedback optimization to filter jailbreak noise from model responses while preserving content relevant to the original malicious question. This process produces concise evidence for a rigorous assessment under which an attack is validated only when the response captures the malicious intent and delivers a complete answer, thereby signaling a substantive bypass of model safety alignment. We evaluate JailMeter on JailMeter-Eva, a challenging benchmark containing 330 human-labeled, non-rejected jailbreak instances. JailMeter achieves an accuracy of 97.27%, substantially outperforming existing evaluation methods. To support large-scale evaluation, we further distill JailMeter into a small language model, JailMeter\textsubscript{SLM}, which maintains comparable reliability with significantly reduced computational costs. Code and dataset are available at https://github.com/Magi2B0y/JailMeter.
- Abstract（参考訳）: 大規模言語モデルに対するジェイルブレイク攻撃の評価は、現在、不整合評価基準と方法に悩まされており、攻撃成功率の信頼できない見積もりにつながっている。
我々はジェイルブレイクの有効性をより忠実に測定するエビデンスベースの評価フレームワークであるJailMeterを提案する。
Information Bottleneck理論にインスパイアされたJailMeterは、元の悪意のある質問に関連するコンテンツを保存しながら、モデル応答からジェイルブレイクノイズをフィルタリングするために、デュアルフィードバック最適化を適用している。
このプロセスは、応答が悪意のある意図を捕捉し、完全な回答を与える場合にのみ攻撃が検証される厳密な評価の簡潔な証拠を生成し、モデル安全アライメントの実質的バイパスをシグナルとする。
JailMeter on JailMeter-Eva, a challenge benchmark with 330 human-labeled, non-rejected jailbreak instance。
JailMeterは97.27%の精度を達成し、既存の評価手法を大幅に上回っている。
大規模評価を支援するため,JailMeter を小言語モデル JailMeter\textsubscript{SLM} に蒸留し,計算コストを大幅に削減した。
コードとデータセットはhttps://github.com/Magi2B0y/JailMeter.comで入手できる。
関連論文リスト
- An Empirical Measurement of Jailbreaking Evaluators [0.0]
近年のジェイルブレイク攻撃と防衛研究で再発した6つの評価器を系統的に比較した。
我々の知る限りでは、制御された設定の下で、同一のラベル付きデータ上で6つすべてを評価する事前調査は行われていない。
論文 参考訳（メタデータ） (2026-09-07T03:16:25Z) - Defending Jailbreak Attacks on Large Language Models via Manifold Trajectory Kinetics [50.36375380196006]
ジェイルブレイクプロンプトは、大規模な言語モデルにおけるアライメントガードレールをバイパスすることができる。
先行検出アプローチは固定距離空間に大きく依存する。
この仮定は,意図によって無視されるが,安全関連キーワードを含む疑似悪質なプロンプトの下で破られることを示す。
本稿では, LLM を入力を出力に変換する運動系として扱う Manifold Trajectory Kinetics (MTK) を提案する。
論文 参考訳（メタデータ） (2026-06-05T14:49:26Z) - How Real is Your Jailbreak? Fine-grained Jailbreak Evaluation with Anchored Reference [20.565609053126384]
FJARは、アンロックされた参照を持つきめ細かいジェイルブレイク評価フレームワークである。
まず、jailbreakレスポンスを5つの細かいカテゴリに分類します。
そこで我々は,高品質なアンカード参照を構築するために,新しい無害木分解手法を提案する。
論文 参考訳（メタデータ） (2026-01-04T07:54:24Z) - Bag of Tricks for Subverting Reasoning-based Safety Guardrails [62.139297207938036]
推論に基づくガードレールを覆い隠すジェイルブレイク手法の袋を提示する。
攻撃対象は白、グレー、ブラックボックスの設定で、無駄なテンプレート操作から完全に自動化された最適化までさまざまです。
論文 参考訳（メタデータ） (2025-10-13T16:16:44Z) - JADES: A Universal Framework for Jailbreak Assessment via Decompositional Scoring [45.76641811031552]
本稿では,JADES(Jailbreak Assessment via Decompositional Scoring)について紹介する。
その鍵となるメカニズムは、入力された有害な質問を一連の重み付けされたサブ問合せに自動的に分解し、各サブ問合せをスコアし、サブスコアを最終決定に重み付けすることである。
JADES on JailbreakQRは400対のjailbreakプロンプトと応答からなる新しいベンチマークで、それぞれが人間によって細心の注意を払って注釈付けされている。
論文 参考訳（メタデータ） (2025-08-28T14:40:27Z) - JailbreakEval: An Integrated Toolkit for Evaluating Jailbreak Attempts Against Large Language Models [21.854909839996612]
ジェイルブレイク攻撃は、有害な応答を生成するために大規模言語モデル(LLM)を誘導する。
ジェイルブレイクの評価には合意がない。
JailbreakEvalは、jailbreakの試みを評価するツールキットである。
論文 参考訳（メタデータ） (2024-06-13T16:59:43Z) - AutoJailbreak: Exploring Jailbreak Attacks and Defenses through a Dependency Lens [83.08119913279488]
本稿では,ジェイルブレイク攻撃と防衛技術における依存関係の体系的解析について述べる。
包括的な、自動化された、論理的な3つのフレームワークを提案します。
このアンサンブル・ジェイルブレイク・アタックと防衛の枠組みは,既存の研究を著しく上回る結果となった。
論文 参考訳（メタデータ） (2024-06-06T07:24:41Z) - Rethinking How to Evaluate Language Model Jailbreak [16.301224741410312]
言語モデルジェイルブレイクを評価するために, 3つの指標, 保護違反, 情報性, 相対真理性を提案する。
3つの悪意のある意図的データセットと3つのジェイルブレイクシステムから生成されたベンチマークデータセットで、我々の測定値を評価する。
論文 参考訳（メタデータ） (2024-04-09T15:54:16Z) - JailbreakBench: An Open Robustness Benchmark for Jailbreaking Large Language Models [123.66104233291065]
ジェイルブレイク攻撃は、大きな言語モデル(LLM)が有害、非倫理的、またはその他の不快なコンテンツを生成する原因となる。
これらの攻撃を評価することは、現在のベンチマークと評価テクニックの収集が適切に対処していない、多くの課題を提示します。
JailbreakBenchは、以下のコンポーネントを備えたオープンソースのベンチマークである。
論文 参考訳（メタデータ） (2024-03-28T02:44:02Z) - A StrongREJECT for Empty Jailbreaks [72.8807309802266]
StrongREJECTは、ジェイルブレイクのパフォーマンスを評価するための高品質なベンチマークである。
これは、被害者モデルが禁止されたプロンプトに対する応答の有害性を評価する。
それは、ジェイルブレイクの有効性の人間の判断と最先端の合意を達成します。
論文 参考訳（メタデータ） (2024-02-15T18:58:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。