論文の概要: Single-Configuration Attack Success Rate Is Not Enough: Jailbreak Evaluations Should Report Distributional Attack Success

• arxiv url: http://arxiv.org/abs/2605.09070v1
• Date: Sat, 09 May 2026 17:26:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.055129
• Title: Single-Configuration Attack Success Rate Is Not Enough: Jailbreak Evaluations Should Report Distributional Attack Success
• Title（参考訳）: 単一構成による攻撃成功率はまだ十分ではない。Jailbreakの評価は分散攻撃成功を報告すべき
• Abstract要約: VSM(Variant Sensitivity Measure)とUC(Union Coverage)の2つの新しいジェイルブレイク攻撃対策を提案する。 VSMは、テストされた変量空間の平均 ASR から、最も報告された ASR がどこまでずれるかを定量化し、UC は、安全でない応答をもたらすプロンプトの総数である。 3つのオープンソースターゲットモデルにまたがる2つのアタック・ファミリーを用いて,これらの対策の重要性を実証的に示す。
• 参考スコア（独自算出の注目度）: 19.04544141221272
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many jailbreak attack research papers report attack success rates for a limited number of parameter settings, even though there are many combinations of parameter settings that could be used. Further, when new jailbreak papers are released, they often benchmark results against single configurations of existing attacks. This position paper argues such practices are fundamentally insufficient for characterising the threat posed by parameterised jailbreak attacks, and comparing attacks. Most jailbreak attacks expose multiple internal parameters, system prompt templates, conversation rounds, cipher dispersion, teaching shots, and ASR varies substantially across these parameters. Reporting only the best-case configuration discards two pieces of information that defenders genuinely need: how typical that performance is across the variant space, and how much of the attack surface is missed by selecting a single variant. We propose two new measures for jailbreak attacks: the Variant Sensitivity Measure (VSM) and Union Coverage (UC). VSM quantifies how far the best reported ASR deviates from the mean ASR across the tested variant space, UC is the total fraction of prompts resulting in unsafe responses across all tested configurations. We empirically demonstrate the importance of these measures using two attack families across three open-source target models. For PAIR, the best template reaches 69% ASR on Mistral-7B and 75% on Qwen3-0.6B, while UC rises to 88% and 93%, respectively. For bijection on Mistral-7B, the best variant reaches 81% ASR, but the 36-variant union covers 100% of HarmBench-100 prompts. We argue that distributional reporting, publishing VSM alongside ASR and enumerating variant coverage as fully as compute allows, should become the new minimum standard for parameterised jailbreak evaluation.
• Abstract（参考訳）: 多くのジェイルブレイク攻撃研究論文は、パラメータ設定に多くの組み合わせがあるにもかかわらず、限られた数のパラメータ設定に対する攻撃成功率を報告している。 さらに、新しいjailbreak論文がリリースされると、既存の攻撃の単一構成に対して結果をベンチマークすることが多い。 このポジションペーパーでは、パラメータ化されたジェイルブレイク攻撃による脅威を特徴づけたり、攻撃を比較したりする上で、このようなプラクティスは基本的に不十分であると論じている。 ほとんどのjailbreak攻撃は複数の内部パラメータを公開しており、システムプロンプトテンプレート、会話ラウンド、暗号分散、教示ショット、ASRはこれらのパラメータによって大きく異なる。 ベストケースの設定のみを報告することで、ディフェンダーが本当に必要とする2つの情報を捨てる。 本稿では,VSM(Variant Sensitivity Measure)とUC(Union Coverage)の2つの新しいジェイルブレイク攻撃対策を提案する。 VSMは、テストされた変種空間におけるASRの平均値と、テストされたすべての構成において安全でない応答をもたらすプロンプトの総数との距離を定量化する。 3つのオープンソースターゲットモデルにまたがる2つのアタック・ファミリーを用いて,これらの対策の重要性を実証的に示す。 PAIRでは、最良のテンプレートはMistral-7Bで69%、Qwen3-0.6Bで75%、UCはそれぞれ88%、93%に達する。 Mistral-7Bの単射では、最良の変種は81% ASRに達するが、36変種連合はHarmBench-100プロンプトの100%をカバーしている。 我々は、分散レポート、ASRと共にVSMを公開すること、および変量カバレッジを計算が許す限り完全に列挙することは、パラメータ化されたジェイルブレイク評価のための新しい最小標準となるべきであると論じている。

関連論文リスト

• AlcaTRAz - Anchored Tree-Rule Defense Against Jailbreaks [0.08699280339422538]
  大規模言語モデル(LLM)は、慎重に構築されたプロンプトを通じて安全アライメントをバイパスするジェイルブレイク攻撃に対して脆弱である。 本稿では,AlcaTRAzを提案する。AlcaTRAzは,入力テキストのみで動作するルールツリーに基づく,プロンプトレベルの防御手法である。 提案手法は,33のオープンウェイトモデル,22のジェイルブレイク攻撃タイプ,および短い単ターンベニグナーのベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-09-03T11:30:08Z)
• Defending Jailbreak Attacks on Large Language Models via Manifold Trajectory Kinetics [50.36375380196006]
  ジェイルブレイクプロンプトは、大規模な言語モデルにおけるアライメントガードレールをバイパスすることができる。 先行検出アプローチは固定距離空間に大きく依存する。 この仮定は,意図によって無視されるが,安全関連キーワードを含む疑似悪質なプロンプトの下で破られることを示す。 本稿では, LLM を入力を出力に変換する運動系として扱う Manifold Trajectory Kinetics (MTK) を提案する。
  論文  参考訳（メタデータ） (2026-06-05T14:49:26Z)
• Off-Distribution Voices: Fanfiction Subgenres as Universal Vernacular Jailbreaks for Aligned LLMs [6.968072313163437]
  現実のファンフィクションのサブジャンルをユニバーサルアタックキャリアとして利用する最初のジェイルブレイクファミリーを紹介します。 創造的なメタは、12のArchive of Our Own (AO3)サブジャンルの1つのパスで条件付けされる。 ハームベンチとジェイルブレイクベンチの合併による8機のLLMでは、この攻撃によりASRは0.278から0.731に上昇した。
  論文  参考訳（メタデータ） (2026-06-03T06:01:47Z)
• MaskForge: Structure-Aware Adaptive Attacks for Jailbreaking Diffusion Large Language Models [53.05463623673949]
  MaskForgeは完全にブラックボックス対応の攻撃で、構造パターンのライブラリを最適化した検索としてdLLMのレッドチームを実行する。 攻撃成功率は79.3%であり、最強のdLLMベースラインよりも17.6%向上している。
  論文  参考訳（メタデータ） (2026-06-01T18:10:21Z)
• Revisiting JBShield: Breaking and Rebuilding Representation-Level Jailbreak Defenses [1.5927806443377646]
  本稿では,GCGの目的を,コサイン類似性による拒絶方向抑制と有毒な概念正則化という2つの用語を組み合わせて調整するJB-GCGを提案する。 Llama-3-8Bの5つの構成で、JB-GCGは平均46.2%のASRを達成し、最強の環境では53.4%に達する。 本稿では,多層リファレンス指紋上でのマハラノビス異常検出に基づく新しい防御法であるトラジェクトリ検証(RTV)を導入する。
  論文  参考訳（メタデータ） (2026-05-04T19:17:50Z)
• Re-Mask and Redirect: Exploiting Denoising Irreversibility in Diffusion Language Models [0.0]
  拡散言語モデル(dLLM)における安全性の整合性は、単一の負荷を持つ仮定に依存している。 コミットされた拒絶トークンを再マッシングし,短い肯定的接頭辞を注入することにより,HarmBench上で74～82%のASRが得られることを示す。 我々はこの攻撃をTrajHijackと呼び、これはdLLMに対する最初の軌道レベルの攻撃であり、計算を必要とせず、SFTモデルと優先最適化(VRPO)モデルにまたがって一般化する。
  論文  参考訳（メタデータ） (2026-03-17T02:24:37Z)
• SEMA: Simple yet Effective Learning for Multi-Turn Jailbreak Attacks [53.97948802255959]
  本稿では,既存の戦略や外部データに頼ることなく,マルチターン攻撃者を訓練するフレームワークを提案する。 準備された自己調整は、非拒否的で、よく構造化された、多ターンの逆のプロンプトを微調整することで、使用可能なロールアウトを可能にする。 私たちは、意図の整合性、コンプライアンスリスク、詳細レベルを組み合わせたインテントドリフト対応の報酬を通じて、多ターンジェイルブレイクにおける有害な意図を保ちます。
  論文  参考訳（メタデータ） (2026-02-06T16:44:57Z)
• ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
  本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。 ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
  論文  参考訳（メタデータ） (2026-01-15T08:23:38Z)
• Breaking the Code: Security Assessment of AI Code Agents Through Systematic Jailbreaking Attacks [11.371490212283383]
  コード対応の大規模言語モデル(LLM)エージェントはソフトウェア工学に組み込まれ、コードを読み、書き、実行することができる。 JAWS-BENCHは、3つのエスカレーションワークスペースにまたがるベンチマークであり、攻撃能力を反映している。 JAWS-0のプロンプトのみの条件下では、コードエージェントは平均して61%の攻撃を受けており、58%が有害、52%がパース、27%がエンドツーエンドで実行される。
  論文  参考訳（メタデータ） (2025-10-01T18:38:20Z)
• M2S: Multi-turn to Single-turn jailbreak in Red Teaming for LLMs [8.91993614197627]
  本稿では,マルチターン対逆ジェイルブレイクのプロンプトを単一ターンクエリに集約する新しいフレームワークを提案する。 マルチターン・ツー・シングルターン(M2S)手法は,多ターン対話を構造化シングルターンプロンプトに体系的に再構成する。 注目すべきは、シングルターンはオリジナルのマルチターン攻撃を最大17.5ポイント上回ったことである。
  論文  参考訳（メタデータ） (2025-03-06T07:34:51Z)
• An Interpretable N-gram Perplexity Threat Model for Large Language Model Jailbreaks [87.64278063236847]
  本研究では,ジェイルブレイク攻撃の原理的比較のための統一的脅威モデルを提案する。 私たちの脅威モデルは、あるジェイルブレイクがテキストの配布で起こりそうなかどうかをチェックします。 私たちはこの脅威モデルに人気のある攻撃を適応させ、これらの攻撃を同等の足場でベンチマークしました。
  論文  参考訳（メタデータ） (2024-10-21T17:27:01Z)
• h4rm3l: A language for Composable Jailbreak Attack Synthesis [48.5611060845958]
  h4rm3lは、人間が読めるドメイン固有言語とのギャップに対処する新しいアプローチである。 我々は、h4rm3lの合成攻撃は、文献における既存のジェイルブレイク攻撃よりも多様で、より成功していることを示す。
  論文  参考訳（メタデータ） (2024-08-09T01:45:39Z)
• From Theft to Bomb-Making: The Ripple Effect of Unlearning in Defending Against Jailbreak Attacks [85.84979847888157]
  大規模言語モデル(LLM)は、ジェイルブレイク攻撃に弱いことが知られている。 LLMは、学習期間中に明示的に導入されなかった有害な知識を暗黙的に引き起こすことができる。 我々は、この現象を実証的に検証し、未学習の手法でアタック成功率を下げることを可能にする。
  論文  参考訳（メタデータ） (2024-07-03T07:14:05Z)
• Defending Large Language Models Against Jailbreaking Attacks Through Goal Prioritization [98.18718484152595]
  本研究は,学習段階と推論段階の両方において,目標の優先順位付けを統合することで,支援と安全性の確保という目標との本質的な対立に対処することを提案する。 我々の研究は、脱獄攻撃と防衛の理解に寄与し、LLMの能力と安全性の関係に光を当てている。
  論文  参考訳（メタデータ） (2023-11-15T16:42:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。