論文の概要: The Fragility of Jailbreak Robustness Across Operational States
- arxiv url: http://arxiv.org/abs/2608.30748v1
- Date: Mon, 31 Aug 2026 13:14:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.401414
- Title: The Fragility of Jailbreak Robustness Across Operational States
- Title（参考訳）: 手術状態におけるジェイルブレイクロバストネスの脆弱性
- Abstract要約: 既存のジェイルブレイク評価では、デフォルト設定(バニラ状態)で測定された単一攻撃成功率(ASR)を用いて、ロバスト性を特徴付けるのが一般的である。
攻撃が固定されたままでも、Jailbreakの堅牢性は運用状態の変動に対して非常に脆弱であることがわかった。
以上の結果から, 単一のバニラ状態評価は脱獄時のロバスト性を完全に特徴づけるものではなく, 非バニラ動作状態におけるロバスト性の変化を調査するためのモチベーション評価である可能性が示唆された。
- 参考スコア（独自算出の注目度）: 16.171070973025298
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing jailbreak evaluations typically characterize robustness using a single attack success rate (ASR) measured in a default configuration (the vanilla state). However, user-LLM interactions can induce diverse operational states beyond the vanilla state. In this work, we find that jailbreak robustness is highly fragile to operational-state variation: even when the attack remains fixed, changing only an ordinary system prompt not designed to affect safety can dramatically alter attack success rates. We systematically investigate this phenomenon across seven aligned models and three representative jailbreak attacks, observing substantial differences in ASR between vanilla and non-vanilla operational states. In one case, ASR increases by up to 56 percentage points (2% to 58%) solely due to a change in operational state. Remarkably, these increases occur even for attacks originally designed and optimized under vanilla-state evaluation. We further show that state-dependent robustness variation is systematically associated with differences in hidden representations along a refusal-related axis, and that projections onto this axis strongly predict jailbreak outcomes. Our results show that a single vanilla-state evaluation may not fully characterize jailbreak robustness, motivating evaluations that also examine how robustness changes across non-vanilla operational states.
- Abstract（参考訳）: 既存のjailbreak評価では、デフォルト設定(バニラ状態)で測定された単一攻撃成功率(ASR)を使用して、ロバスト性を特徴付けるのが一般的である。
しかし、ユーザとLLMの相互作用は、バニラ状態を超えた多様な操作状態を誘導することができる。
攻撃が固定されたままでも、安全に影響を与えない通常のシステムプロンプトだけを変更すれば、攻撃の成功率を劇的に変えることができる。
我々は,この現象を7つのアライメントモデルと3つの代表的なジェイルブレイク攻撃で系統的に調査し,バニラと非バニラの手術状態におけるASRの有意差を観察した。
ある場合、ASRは運用状態の変化のため、56パーセント(2%から58%)まで上昇する。
注目すべきは、バニラ状態の評価の下でもともと設計され最適化されたアタックであっても、これらの増加が生じることだ。
さらに、状態依存性の頑健性の変化は、拒絶関連軸に沿った隠蔽表現の違いと体系的に関連しており、この軸への投影が脱獄効果を強く予測していることを示す。
以上の結果から, 単一のバニラ状態評価は脱獄時のロバスト性を完全に特徴づけるものではなく, 非バニラ動作状態におけるロバスト性の変化を調査するためのモチベーション評価である可能性が示唆された。
関連論文リスト
- ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。
私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
論文 参考訳（メタデータ） (2026-05-13T21:34:08Z) - Mitigating Many-shot Jailbreak Attacks with One Single Demonstration [71.89513247837722]
many-shot jailbreaking (MSJ) は、有害なクエリに応答する安全に整合した言語モデルを引き起こす。
デモの数が増えるにつれて、この攻撃が強まる理由について検討する。
推測時に一発一発の安全実証を付加し,反作用のある安全志向の更新を誘導し,拒絶行動の復元を行う。
論文 参考訳（メタデータ） (2026-05-08T06:33:42Z) - SafeHarness: Lifecycle-Integrated Security Architecture for LLM-based Agent Deployment [19.947119280467934]
セーフハーネス(Safeharness)は、4つの防衛レイヤがエージェントライフサイクルに直接織られるセキュリティアーキテクチャである。
ベンチマークデータセットの安全性を、多様なハーネス構成で評価する。
論文 参考訳（メタデータ） (2026-04-15T08:59:00Z) - Measuring and Exploiting Confirmation Bias in LLM-Assisted Security Code Review [6.417595678110472]
ソフトウェアサプライチェーン攻撃において,確認バイアスがLSMベースの脆弱性検出に影響を及ぼすか,また,この障害モードを悪用できるかを検討する。
調査1では,5つのフレーミング条件下で4つの最先端モデルに対して評価された250個のCVE脆弱性/パッチペアに対する制御実験により,確認バイアスを定量化する。
調査2は、既知の脆弱性を再導入する敵のプルリクエストを模倣して、セキュリティの改善やプルリクエストメタデータによる緊急機能修正を実施可能であることを評価する。
論文 参考訳（メタデータ） (2026-03-19T10:40:27Z) - State-Dependent Safety Failures in Multi-Turn Language Model Interaction [70.52906620450847]
我々は、状態空間の観点から安全性障害を研究し、多くのマルチターン障害が構造化状態の進化から生じることを示す。
本稿では,対話履歴を状態遷移演算子として扱う状態指向診断フレームワークSTARを紹介する。
静的な評価の下で頑健なように見えるシステムは、構造化されたマルチターン相互作用の下で、迅速かつ再現可能な安全破壊を受けることができる。
論文 参考訳（メタデータ） (2026-03-15T12:13:01Z) - A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。
我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
論文 参考訳（メタデータ） (2026-02-04T15:13:35Z) - Learning to Undo: Rollback-Augmented Reinforcement Learning with Reversibility Signals [1.9537983097153042]
本稿では,価値に基づく強化学習エージェントの堅牢性と効率を向上させるための可逆学習フレームワークを提案する。
このフレームワークには2つの補完的なコア機構がある: s の Phi と割り込みと呼ばれる経験的に導出された遷移可逆性測度、選択状態のロールバック演算である。
論文 参考訳（メタデータ） (2025-10-16T09:48:54Z) - DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models [50.21378052667732]
我々は、ステップ内およびステップ間ダイナミクスという2つの異なる次元にわたるジェイルブレイク攻撃に対して、dLLM脆弱性の詳細な分析を行う。
デュアルステージアプローチによる脆弱性に対処する,トレーニング不要な防御フレームワークであるDiffuGuardを提案する。
論文 参考訳（メタデータ） (2025-09-29T05:17:10Z) - Why LLM Safety Guardrails Collapse After Fine-tuning: A Similarity Analysis Between Alignment and Fine-tuning Datasets [64.96967819446553]
本稿では,上流アライメントデータセットと下流微調整タスクの表現類似性のレンズによる安全ガードレールの劣化について検討する。
これらのデータセット間の高い類似性は、安全ガードレールを著しく弱め、モデルがジェイルブレイクの影響を受けやすくする。
これら2種類のデータセット間の類似性が低いと、より堅牢なモデルが得られ、有害度スコアが最大10.33%減少する。
論文 参考訳（メタデータ） (2025-06-05T17:59:55Z) - SafeInt: Shielding Large Language Models from Jailbreak Attacks via Safety-Aware Representation Intervention [14.509085965856643]
我々は,大規模言語モデルをジェイルブレイク攻撃から保護する新しい防御手法であるSafeIntervention(SafeInt)を提案する。
SafeIntのコアアイデアは、Jailbreakに関連する表現を拒絶領域に移動させることです。
6件のJailbreak攻撃、2件のJailbreakデータセット、2件のユーティリティベンチマークに関する包括的な実験を行います。
論文 参考訳（メタデータ） (2025-02-21T17:12:35Z) - Pruning for Protection: Increasing Jailbreak Resistance in Aligned LLMs Without Fine-Tuning [6.579419241184795]
我々は、中程度のWANDA刈り取りは、微調整なしでジェイルブレイク攻撃に対する耐性を高めることができることを示した。
5つのカテゴリにまたがって225の有害なタスクのデータセットを導入します。
LLaMA-2は、手動のジェイルブレイク試行で評価した場合、我々のデータセットよりもAdvBenchプロンプトの方がずっと安全であることがわかった。
論文 参考訳（メタデータ） (2024-01-19T18:05:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。