論文の概要: Does the Unsafe Gradient Survive a Conversation? On the Fragility of Gradient-Based Jailbreak Detection in Multi-Turn Dialogue

• arxiv url: http://arxiv.org/abs/2609.36849v1
• Date: Tue, 29 Sep 2026 06:59:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.251338
• Title: Does the Unsafe Gradient Survive a Conversation? On the Fragility of Gradient-Based Jailbreak Detection in Multi-Turn Dialogue
• Title（参考訳）: 安全でない過渡的会話は会話を救えるか?-多言語対話における過渡的ジェイルブレイク検出の脆弱性について
• Abstract要約: マルチターン設定における勾配に基づくジェイルブレイク検出の制御評価を行う。 GradSafeをContext Window Scannerで拡張し、ユーザターンの固定サイズウィンドウに検出器を適用します。 結果は、合成と現実的な良性設定とは大きく異なる。
• 参考スコア（独自算出の注目度）: 5.236194983079289
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Safety-aligned language models are commonly deployed as multi-turn assistants, which lets adversaries spread unsafe intent across several user turns instead of a single prompt. Gradient-based jailbreak detectors such as GradSafe were developed for single prompts: they score an input by the alignment between its induced gradient and a fixed unsafe reference direction, and their effectiveness in multi-turn dialogue remains unclear. We conduct a controlled evaluation of gradient-based jailbreak detection in multi-turn settings. We extend GradSafe with a Context Window Scanner that applies the detector to fixed-size windows of user turns and uses the maximum window score as the conversation-level score. We evaluate different window sizes, attack families, benign conversation distributions, and target models. The results differ sharply between synthetic and realistic benign settings. Against synthetic benign conversations, the detector achieves an ROC-AUC of 0.98 on human-authored multi-turn jailbreaks. On WildChat benign conversations, ROC-AUC drops to 0.76, and a threshold calibrated on synthetic data flags more than 90% of benign conversations as unsafe. Under realistic benign distributions, single-turn windows give the highest separability, whereas longer windows and accumulated contexts reduce performance. The detector is also sensitive to the attack-generation method and target model: successful Crescendo attacks receive scores comparable to or lower than benign conversations, and Qwen2.5-7B-Instruct yields near-random separability with a different optimal window size. These findings show that gradient-based signals can support multi-turn jailbreak detection, but reliable deployment requires calibration on realistic benign conversations, short-window scoring, length-aware thresholds, and evaluation across attack types and model architectures.
• Abstract（参考訳）: 安全に整合した言語モデルは、一般的にマルチターンアシスタントとしてデプロイされる。 GradSafeのようなグラディエントベースのジェイルブレイク検出器は単一プロンプトのために開発され、誘導勾配と固定された安全でない参照方向とのアライメントによって入力をスコアし、マルチターン対話におけるそれらの有効性は未だ不明である。 マルチターン設定における勾配に基づくジェイルブレイク検出の制御評価を行う。 GradSafeをContext Window Scannerで拡張し、ユーザターンの固定サイズウィンドウに検出器を適用し、最大ウィンドウスコアを会話レベルスコアとして使用します。 我々は、異なるウィンドウサイズ、攻撃家族、良質な会話分布、ターゲットモデルを評価する。 結果は、合成と現実的な良性設定とは大きく異なる。 合成良性会話に対して、この検出器は、人間によって認可されたマルチターンジェイルブレイクにおいて、ROC-AUC 0.98を達成する。 WildChatの良性会話では、ROC-AUCは0.76に低下し、良性会話の90%以上を安全でないものとして合成データフラグに校正された閾値が設定される。 現実的な良性分布の下では、シングルターンウィンドウは最も分離性が高いが、長いウィンドウと蓄積されたコンテキストは性能を低下させる。 この検出器は攻撃生成法や標的モデルにも敏感で、成功しているCrescendo攻撃は良性会話に匹敵するスコアを受け取り、Qwen2.5-7B-Instructは最適なウィンドウサイズでほぼランダムに分離できる。 これらの結果は、勾配に基づく信号はマルチターンジェイルブレイク検出をサポートするが、信頼性の高いデプロイメントには、現実的な良性会話のキャリブレーション、ショートウインドウスコアリング、長さ認識しきい値、攻撃タイプとモデルアーキテクチャ間の評価が必要であることを示している。

関連論文リスト

• Scalable Hierarchical Attention Transformers for Multi-Turn Jailbreak Detection in Long Conversations [1.8565979134741906]
  マルチターンジェイルブレイクは、対話中に安全でない意図を広げることで、ターンレベルのモデレーションを回避することができる。 本稿では,高コストの長文結合を回避する効率的な階層型検出器を提案する。 提案手法は14,038会話のベンチマークで0.9394のF1を達成する。
  論文  参考訳（メタデータ） (2026-06-19T04:05:43Z)
• Defending Jailbreak Attacks on Large Language Models via Manifold Trajectory Kinetics [50.36375380196006]
  ジェイルブレイクプロンプトは、大規模な言語モデルにおけるアライメントガードレールをバイパスすることができる。 先行検出アプローチは固定距離空間に大きく依存する。 この仮定は,意図によって無視されるが,安全関連キーワードを含む疑似悪質なプロンプトの下で破られることを示す。 本稿では, LLM を入力を出力に変換する運動系として扱う Manifold Trajectory Kinetics (MTK) を提案する。
  論文  参考訳（メタデータ） (2026-06-05T14:49:26Z)
• SelfGrader: Stable Jailbreak Detection for Large Language Models using Token-Level Logits [11.826762642822219]
  大きな言語モデル(LLM)は、ユーザクエリに応答する強力なツールだが、Jailbreak攻撃に対して非常に脆弱である。 トークンレベルのロジットを用いた数値グレーディング問題としてジェイルブレイク検出を定式化する軽量ガードレールであるSelfGraderを提案する。 SelfGraderは、LLaMA-3-8B上で最大22.66%のASR削減を実現し、メモリオーバーヘッド(最大173倍)とレイテンシ(最大26倍)を大幅に低減した。
  論文  参考訳（メタデータ） (2026-04-01T23:29:12Z)
• Sentra-Guard: A Multilingual Human-AI Framework for Real-Time Defense Against Adversarial LLM Jailbreaks [0.31984926651189866]
  Sentra-Guardは、大規模言語モデル(LLM)のためのリアルタイムモジュールディフェンスシステムである。 このフレームワークは、FAISSにインデックスされたSBERT埋め込み表現とハイブリッドアーキテクチャを使用して、プロンプトの意味をキャプチャする。 直接攻撃ベクトルと難解攻撃ベクトルの両方において、敵のプロンプトを識別する。
  論文  参考訳（メタデータ） (2025-10-26T11:19:47Z)
• In AI Sweet Harmony: Sociopragmatic Guardrail Bypasses and Evaluation-Awareness in OpenAI gpt-oss-20b [0.0]
  本研究では,社会実践的フレーミング,言語選択,命令階層が拒絶行動に与える影響について検討する。 我々は、ZIPボム構築(サイバー脅威)を含むいくつかの有害ドメインをテストする。 OpenAI モデレーション API は,セマンティックグレーダに対して非常に有用な出力を提供する。
  論文  参考訳（メタデータ） (2025-09-25T07:00:12Z)
• Steering Dialogue Dynamics for Robustness against Multi-turn Jailbreaking Attacks [59.300698230887114]
  大規模言語モデル(LLM)は、有害な応答を誘発するために敵のプロンプトが設計されたジェイルブレイク攻撃に対して脆弱であることが示されている。 安全制御理論に基づく安全ステアリングフレームワークを提案し,マルチターン対話における不変安全性を保証する。
  論文  参考訳（メタデータ） (2025-02-28T21:10:03Z)
• Reasoning-Augmented Conversation for Multi-Turn Jailbreak Attacks on Large Language Models [53.580928907886324]
  Reasoning-Augmented Conversationは、新しいマルチターンジェイルブレイクフレームワークである。 有害なクエリを良心的な推論タスクに再構成する。 RACEは,複雑な会話シナリオにおいて,最先端攻撃の有効性を実現する。
  論文  参考訳（メタデータ） (2025-02-16T09:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。