論文の概要: SafeCA: Safe Cross-Attention Localization and Regulation for Text-to-Video Jailbreak Defense
- arxiv url: http://arxiv.org/abs/2608.10933v1
- Date: Tue, 11 Aug 2026 14:01:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:46.066304
- Title: SafeCA: Safe Cross-Attention Localization and Regulation for Text-to-Video Jailbreak Defense
- Title(参考訳): SafeCA: テキスト・ツー・ビデオ・ジェイルブレイク防衛のための安全なクロスアテンション・ローカライゼーションと規制
- Abstract要約: テキスト・トゥ・ビデオ(T2V)生成モデルは、現実世界のデプロイにおいてジェイルブレイク攻撃に対して脆弱である。
安全なクロスアテンション・ローカライゼーションと正規化のための機能レベル防衛機構であるSafeCAを提案する。
実験の結果、SafeCAは主流のT2Vモデルでジェイルブレイクの成功率を約20%削減することが示された。
- 参考スコア(独自算出の注目度): 77.70598852234149
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-to-Video (T2V) generative models are vulnerable to jailbreak attacks in real-world deployment, leading them to produce harmful or inappropriate content. Existing defense approaches mainly rely on input filtering or reconstruction, which not only incur high computational latency but also tend to distort semantics. To address these issues, we experimentally and systematically analyze the differences between clean and jailbreak samples in the cross-attention feature space, revealing for the first time a cumulative separation effect and a progressively increasing trend of linear separability between the two during the diffusion process. Based on this insight, we propose SafeCA, a feature-level defense mechanism for safe cross-attention localization and regularization. Firstly, we identify key defensive regions and values through attention stability analysis using cross-attention features collected from clean prompts within a single inference. Secondly, SafeCA mitigates anomalous activations via attention masking with energy normalization and introduces a lightweight semantic-space adapter to redirect abnormal semantic flows. Furthermore, we detect and suppress potentially malicious tokens by back-propagating feature anomaly signals to the input cue words, thereby enhancing the deployability of the defense in commercial models. Experimental results show that SafeCA reduces the jailbreak success rate by about 20% on mainstream T2V models, adds almost no inference overhead (+0.1s), and maintains good text-video semantic consistency. Overall, SafeCA provides an architecture-level, deployable protection paradigm for T2V generation models.
- Abstract(参考訳): テキスト・トゥ・ビデオ(T2V)生成モデルは、現実の展開においてジェイルブレイク攻撃に弱いため、有害または不適切なコンテンツを生成する。
既存の防御手法は主に入力フィルタリングや再構成に依存しており、高い計算遅延を発生させるだけでなく、意味論を歪ませる傾向がある。
これらの課題に対処するため,本研究では, 相互注意機能空間におけるクリーンとジェイルブレイクの差異を実験的に, 系統的に解析し, 累積分離効果と拡散過程における線形分離性の増加傾向を初めて明らかにした。
この知見に基づいて,安全なクロスアテンション・ローカライゼーションと正規化のための機能レベル防衛機構であるSafeCAを提案する。
まず,単一推論におけるクリーンプロンプトから収集したクロスアテンション特徴を用いたアテンション安定性解析により,重要な防御領域と値を特定する。
第二に、SafeCAは注意マスクとエネルギー正規化によって異常なアクティベーションを緩和し、異常なセマンティックフローをリダイレクトするための軽量なセマンティックスペースアダプタを導入している。
さらに、入力キューワードに特徴異常信号をバックプロパゲートすることで、潜在的に悪意のあるトークンを検出し、抑制することにより、商用モデルにおけるディフェンスの展開性を向上させる。
実験の結果、SafeCAは主流のT2Vモデルで約20%のジェイルブレイク成功率を低下させ、推論オーバーヘッド(+0.1秒)をほとんど加えず、優れたテキスト・ビデオセマンティック一貫性を維持していることがわかった。
SafeCAは、T2V生成モデルのためのアーキテクチャレベル、デプロイ可能な保護パラダイムを提供する。
関連論文リスト
- Defending Jailbreak Attacks on Large Language Models via Manifold Trajectory Kinetics [50.36375380196006]
ジェイルブレイクプロンプトは、大規模な言語モデルにおけるアライメントガードレールをバイパスすることができる。
先行検出アプローチは固定距離空間に大きく依存する。
この仮定は,意図によって無視されるが,安全関連キーワードを含む疑似悪質なプロンプトの下で破られることを示す。
本稿では, LLM を入力を出力に変換する運動系として扱う Manifold Trajectory Kinetics (MTK) を提案する。
論文 参考訳(メタデータ) (2026-06-05T14:49:26Z) - Structured Semantic Cloaking for Jailbreak Attacks on Large Language Models [28.741175254258422]
本研究では,新しい多次元ジェイルブレイク攻撃フレームワークであるStructured Semantic Cloaking (S2C)を提案する。
S2Cはマルチステップ推論を必要とするようなセマンティックキューを戦略的に分散し、再結合する。
我々は、HarmBench と JBB-Behaviors を用いて、複数のオープンソースおよびプロプライエタリ LLM 上でS2Cを評価した。
論文 参考訳(メタデータ) (2026-03-17T07:20:48Z) - Two Frames Matter: A Temporal Attack for Text-to-Video Model Jailbreaking [3.1471354211996956]
最近のテキスト・トゥ・ビデオ(T2V)モデルは、軽量な自然言語プロンプトから複雑なビデオを合成することができる。
以前のジェイルブレイク攻撃は、通常、安全でないプロンプトをコンテントフィルタを避けるパラフレーズに書き換える。
本稿では,断片化プロンプト下でのT2V系の時間軌道埋込み脆弱性を同定する。
論文 参考訳(メタデータ) (2026-03-07T04:21:54Z) - RedVisor: Reasoning-Aware Prompt Injection Defense via Zero-Copy KV Cache Reuse [47.85771791033142]
本稿では,防止戦略のシームレスな統合による検出システムの説明可能性を合成するフレームワークであるRedVisorを提案する。
RedVisorは、きめ細かい推論パスを利用して同時に攻撃を検出し、モデルの安全な応答を誘導する最初のアプローチである。
実験により、RedVisorは検出精度とスループットにおいて最先端の防御性能を上回り、無視可能なユーティリティ損失を発生させることを示した。
論文 参考訳(メタデータ) (2026-02-02T08:26:51Z) - Attributing and Exploiting Safety Vectors through Global Optimization in Large Language Models [50.91504059485288]
本報告では,全頭部のグローバルな最適化により,安全クリティカルな注意点を同時に識別するフレームワークを提案する。
我々は,アクティベーション・リマッチによって同定された安全ベクトルを利用する,新しい推論時ホワイトボックス・ジェイルブレイク法を開発した。
論文 参考訳(メタデータ) (2026-01-22T09:32:43Z) - ASGuard: Activation-Scaling Guard to Mitigate Targeted Jailbreaking Attack [22.48980625853356]
大規模言語モデル(LLM)は、単純な言語的変化によって回避できる脆い拒絶行動を示す。
本研究では、この特定の脆弱性を外科的に軽減する、洞察に富んだ機械的インフォームドフレームワークであるアクティベーション・スケーリングガード(ASGuard)を紹介する。
論文 参考訳(メタデータ) (2025-09-30T06:33:52Z) - DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models [50.21378052667732]
我々は、ステップ内およびステップ間ダイナミクスという2つの異なる次元にわたるジェイルブレイク攻撃に対して、dLLM脆弱性の詳細な分析を行う。
デュアルステージアプローチによる脆弱性に対処する,トレーニング不要な防御フレームワークであるDiffuGuardを提案する。
論文 参考訳(メタデータ) (2025-09-29T05:17:10Z) - A Self-supervised Approach for Adversarial Robustness [105.88250594033053]
敵対的な例は、ディープニューラルネットワーク(DNN)ベースの視覚システムにおいて破滅的な誤りを引き起こす可能性がある。
本稿では,入力空間における自己教師型対向学習機構を提案する。
これは、反逆攻撃に対する強力な堅牢性を提供する。
論文 参考訳(メタデータ) (2020-06-08T20:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。