論文の概要: How Jailbreak Attacks Inform Safety Alignment: A Defender-Centric, Shapley-Based Evaluation of Jailbreak Contributions
- arxiv url: http://arxiv.org/abs/2607.17152v1
- Date: Sun, 19 Jul 2026 09:18:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.383332
- Title: How Jailbreak Attacks Inform Safety Alignment: A Defender-Centric, Shapley-Based Evaluation of Jailbreak Contributions
- Title（参考訳）: ジェイルブレイク攻撃はいかにして安全アライメントをインフォームするか: ディフェンダー中心のシェープリーに基づくジェイルブレイクの貢献度の評価
- Abstract要約: 本稿では,下流の安全改善によって攻撃が評価されるジェイルブレイク評価のディフェンダー中心の視点を提案する。
我々は,ブラックボックスサブセットのユーティリティ観測からジェイルブレイク攻撃を属性化し,選択するための設定に依存しないフレームワークであるA-MESSを紹介した。
- 参考スコア（独自算出の注目度）: 15.080679335213345
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Jailbreak attacks on large language models are usually evaluated by attacker-centric metrics such as attack success rate (ASR), yet an attack that breaks a model is not necessarily useful for improving its safety. We propose a defender-centric view of jailbreak evaluation, where attacks are evaluated by the downstream safety improvements they enable when used as red-teaming data for safety training. Building on this view, we introduce A-MESS (Minimal Effective Attack-Subset Selection), a setting-agnostic framework for attributing and selecting jailbreak attacks from black-box subset utility observations. A-MESS estimates AttackSHAP, a Shapley-based score that attributes marginal utility to individual attacks and selects compact attack subsets under user-specified budgets via greedy or surrogate-based optimization. Across controlled utility landscapes and real LLM safety settings, we find that ASR rankings are weakly aligned with defender-centric utility, that AttackSHAP can be estimated accurately with limited utility queries, and that directly optimizing subsets yields stronger safety utility than attacker-centric or attribution-only selection. These results suggest evaluating jailbreak attacks as resources for improving safety, not only as tools for breaking models.
- Abstract（参考訳）: 大規模な言語モデルに対するジェイルブレイク攻撃は通常、攻撃成功率(ASR)のような攻撃中心の指標によって評価されるが、モデルを破壊する攻撃は、その安全性を改善するのに必ずしも有用ではない。
本稿では,安全トレーニングのためのレッドチームデータとして使用する場合の,下流の安全改善によって攻撃を評価する,ジェイルブレイク評価のディフェンダー中心の視点を提案する。
この観点から、ブラックボックスサブセットのユーティリティ観測からジェイルブレイク攻撃を帰着し、選択するための設定に依存しないフレームワークであるA-MESS(Minimal Effective Attack-Subset Selection)を導入する。
A-MESSは、ShapleyベースのスコアであるAttackSHAPを推定する。これは、個々の攻撃に対して限界効用を考慮し、greedyやsurrogateベースの最適化を通じて、ユーザが指定した予算の下でコンパクトな攻撃サブセットを選択する。
制御されたユーティリティランドスケープと実際のLLM安全性設定全体で、ASRランキングはディフェンダー中心のユーティリティと弱い整合性を持ち、AttackSHAPは限られたユーティリティクエリで正確に推定でき、サブセットを直接最適化することでアタッカー中心や属性のみの選択よりも強力な安全ユーティリティが得られる。
これらの結果は、ジェイルブレイク攻撃を、モデルを破壊するためのツールとしてだけでなく、安全性を向上させるためのリソースとして評価することを示唆している。
関連論文リスト
- Retrieval-Augmented Defense: Adaptive and Controllable Jailbreak Prevention for Large Language Models [27.23138831535272]
本稿では,ジェイルブレイク検出のための新しいフレームワークであるRetrieval-Augmented Defense (RAD)を提案する。
RADは既知の攻撃例のデータベースをRetrieval-Augmented Generationに組み込んでいる。
StrongREJECTの実験では、RADは強いジェイルブレイク攻撃の有効性を大幅に低下させることが示された。
論文 参考訳（メタデータ） (2025-08-22T14:13:16Z) - ARMOR: Aligning Secure and Safe Large Language Models via Meticulous Reasoning [64.32925552574115]
ARMORは、jailbreak戦略を分析し、コアインテントを抽出する、大規模な言語モデルである。
ARMORは最先端の安全性能を達成し、平均有害率は0.002であり、高度な最適化ベースのジェイルブレイクに対する攻撃成功率は0.06である。
論文 参考訳（メタデータ） (2025-07-14T09:05:54Z) - DETAM: Defending LLMs Against Jailbreak Attacks via Targeted Attention Modification [18.006622965818856]
我々は,LDMのジェイルブレイク攻撃に対する防御能力を向上する,微調整不要な防御手法であるDETAMを紹介する。
具体的には,ジェイルブレイク攻撃に敏感なアテンションヘッドを識別するために,防衛の成功と失敗の間のアテンションスコアの差を分析した。
推論中、攻撃トークンからの干渉を最小限に抑え、ユーザーの中核的な意図を強調するために注意を向ける。
論文 参考訳（メタデータ） (2025-04-18T09:02:12Z) - SafeInt: Shielding Large Language Models from Jailbreak Attacks via Safety-Aware Representation Intervention [14.509085965856643]
我々は,大規模言語モデルをジェイルブレイク攻撃から保護する新しい防御手法であるSafeIntervention(SafeInt)を提案する。
SafeIntのコアアイデアは、Jailbreakに関連する表現を拒絶領域に移動させることです。
6件のJailbreak攻撃、2件のJailbreakデータセット、2件のユーティリティベンチマークに関する包括的な実験を行います。
論文 参考訳（メタデータ） (2025-02-21T17:12:35Z) - Reasoning-to-Defend: Safety-Aware Reasoning Can Defend Large Language Models from Jailbreaking [54.10710423370126]
本稿では,大規模言語モデルの生成プロセスに安全性を考慮した推論機構を統合する訓練パラダイムであるReasoning-to-Defend(R2D)を提案する。
CPOは、与えられた対話の安全性に対するモデルの認識を高める。
実験によると、R2Dは様々な攻撃を効果的に軽減し、元の性能を維持しながら全体の安全性を向上させる。
論文 参考訳（メタデータ） (2025-02-18T15:48:46Z) - Immune: Improving Safety Against Jailbreaks in Multi-modal LLMs via Inference-Time Alignment [97.38766396447369]
訓練時安全アライメントにもかかわらず、Multimodal Large Language Models (MLLM) はジェイルブレイク攻撃に対して脆弱である。
我々は,ジェイルブレイク攻撃に対する防御のために,制御復号化による安全な報酬モデルを活用する推論時防御フレームワークImmuneを提案する。
論文 参考訳（メタデータ） (2024-11-27T19:00:10Z) - An Interpretable N-gram Perplexity Threat Model for Large Language Model Jailbreaks [87.64278063236847]
本研究では,ジェイルブレイク攻撃の原理的比較のための統一的脅威モデルを提案する。
私たちの脅威モデルは、あるジェイルブレイクがテキストの配布で起こりそうなかどうかをチェックします。
私たちはこの脅威モデルに人気のある攻撃を適応させ、これらの攻撃を同等の足場でベンチマークしました。
論文 参考訳（メタデータ） (2024-10-21T17:27:01Z) - MoJE: Mixture of Jailbreak Experts, Naive Tabular Classifiers as Guard for Prompt Attacks [2.873719680183099]
本稿では,大規模言語モデル(LLM)における脱獄予防の重要性を論じる。
我々は,既存の最先端ガードレールの限界を超えるよう設計された,新しいガードレールアーキテクチャであるMoJEを紹介する。
MoJEは、モデル推論中に最小限の計算オーバーヘッドを維持しながら、ジェイルブレイク攻撃の検出に優れる。
論文 参考訳（メタデータ） (2024-09-26T10:12:19Z) - AutoJailbreak: Exploring Jailbreak Attacks and Defenses through a Dependency Lens [83.08119913279488]
本稿では,ジェイルブレイク攻撃と防衛技術における依存関係の体系的解析について述べる。
包括的な、自動化された、論理的な3つのフレームワークを提案します。
このアンサンブル・ジェイルブレイク・アタックと防衛の枠組みは,既存の研究を著しく上回る結果となった。
論文 参考訳（メタデータ） (2024-06-06T07:24:41Z) - Defensive Prompt Patch: A Robust and Interpretable Defense of LLMs against Jailbreak Attacks [59.46556573924901]
本稿では,大規模言語モデル(LLM)のための新しいプロンプトベースの防御機構であるDPPを紹介する。
従来のアプローチとは異なり、DPP は LLM の高能率を維持しながら最小の攻撃成功率 (ASR) を達成するように設計されている。
LLAMA-2-7B-ChatおよびMistral-7B-Instruct-v0.2モデルによる実験結果から,DSPの堅牢性と適応性が確認された。
論文 参考訳（メタデータ） (2024-05-30T14:40:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。