論文の概要: T2VShield: Model-Agnostic Jailbreak Defense for Text-to-Video Models

• arxiv url: http://arxiv.org/abs/2504.15512v1
• Date: Tue, 22 Apr 2025 01:18:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-01 00:50:12.089827
• Title: T2VShield: Model-Agnostic Jailbreak Defense for Text-to-Video Models
• Title（参考訳）: T2VShield:テキスト・ビデオモデルのためのモデル非依存のジェイルブレイク防御
• Authors: Siyuan Liang, Jiayang Liu, Jiecheng Zhai, Tianmeng Fang, Rongcheng Tu, Aishan Liu, Xiaochun Cao, Dacheng Tao,
• Abstract要約: テキストからビデオモデルへの攻撃はジェイルブレイク攻撃に弱いため、特別な方法で安全メカニズムをバイパスし、有害または安全でないコンテンツの生成につながる。 我々は、ジェイルブレイクの脅威からテキストからビデオモデルを守るために設計された包括的でモデルに依存しない防衛フレームワークであるT2VShieldを提案する。 本手法は,既存の防御の限界を特定するために,入力,モデル,出力の段階を体系的に解析する。
• 参考スコア（独自算出の注目度）: 88.63040835652902
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid development of generative artificial intelligence has made text to video models essential for building future multimodal world simulators. However, these models remain vulnerable to jailbreak attacks, where specially crafted prompts bypass safety mechanisms and lead to the generation of harmful or unsafe content. Such vulnerabilities undermine the reliability and security of simulation based applications. In this paper, we propose T2VShield, a comprehensive and model agnostic defense framework designed to protect text to video models from jailbreak threats. Our method systematically analyzes the input, model, and output stages to identify the limitations of existing defenses, including semantic ambiguities in prompts, difficulties in detecting malicious content in dynamic video outputs, and inflexible model centric mitigation strategies. T2VShield introduces a prompt rewriting mechanism based on reasoning and multimodal retrieval to sanitize malicious inputs, along with a multi scope detection module that captures local and global inconsistencies across time and modalities. The framework does not require access to internal model parameters and works with both open and closed source systems. Extensive experiments on five platforms show that T2VShield can reduce jailbreak success rates by up to 35 percent compared to strong baselines. We further develop a human centered audiovisual evaluation protocol to assess perceptual safety, emphasizing the importance of visual level defense in enhancing the trustworthiness of next generation multimodal simulators.
• Abstract（参考訳）: 生成人工知能の急速な発展は、将来のマルチモーダル世界シミュレータ構築に不可欠なテキストとビデオモデルを生み出した。 しかし、これらのモデルは、安全メカニズムをバイパスし、有害または安全でないコンテンツを発生させる特別に製作された、ジェイルブレイク攻撃に弱いままである。 このような脆弱性は、シミュレーションベースのアプリケーションの信頼性とセキュリティを損なう。 本稿では,ジェイルブレイクの脅威からテキストからビデオモデルまでを保護するための総合的かつモデルに依存しない防衛フレームワークであるT2VShieldを提案する。 提案手法は,入力,モデル,出力の段階を体系的に解析し,プロンプトにおける意味的曖昧さ,ダイナミックなビデオ出力における悪意のあるコンテンツの検出の困難さ,非フレキシブルなモデル中心の緩和戦略など,既存の防御の限界を識別する。 T2VShieldは、悪意のある入力を正当化するための推論とマルチモーダル検索に基づく即時書き換え機構と、時間とモダリティの局所的およびグローバル的不整合をキャプチャするマルチスコープ検出モジュールを導入している。 このフレームワークは内部モデルパラメータへのアクセスを必要とせず、オープンおよびクローズドなソースシステムの両方で動作する。 5つのプラットフォームでの大規模な実験によると、T2VShieldは強力なベースラインに比べて、ジェイルブレイクの成功率を最大35%削減できる。 さらに,次世代マルチモーダルシミュレータの信頼性を高めるために,視覚レベルの防御の重要性を強調し,知覚的安全性を評価するための人間中心型視覚評価プロトコルを開発した。

関連論文リスト

• MIRAGE: Multimodal Immersive Reasoning and Guided Exploration for Red-Team Jailbreak Attacks [85.3303135160762]
  MIRAGEは、物語駆動型コンテキストとロール没入を利用して、マルチモーダル大規模言語モデルにおける安全性メカニズムを回避する新しいフレームワークである。 最先端のパフォーマンスを達成し、最高のベースラインよりも攻撃成功率を最大17.5%向上させる。 役割の浸漬と構造的セマンティック再構築は、モデル固有のバイアスを活性化し、モデルが倫理的保護に自発的に違反することを実証する。
  論文  参考訳（メタデータ） (2025-03-24T20:38:42Z)
• Robust-LLaVA: On the Effectiveness of Large-Scale Robust Image Encoders for Multi-modal Large Language Models [26.656858396343726]
  MLLM(Multi-modal Large Language Models)は、視覚言語タスクにおいて優れているが、視覚的逆境の摂動に弱いままである。 既存の手法では、ImageNet-scaleデータ上でCLIPビジョンエンコーダに制約付き逆調整を適用することにより、これらのリスクを軽減する方法が提案されている。 本稿では,大規模データに対して逆向きに事前学習された既存の視覚分類モデルを活用する方法を提案する。
  論文  参考訳（メタデータ） (2025-02-03T17:59:45Z)
• Retention Score: Quantifying Jailbreak Risks for Vision Language Models [60.48306899271866]
  VLM(Vision-Language Models)はLarge Language Models (LLM)と統合され、マルチモーダル機械学習機能を強化する。 本研究の目的は, モデル安全コンプライアンスを損なう可能性のある脱獄攻撃に対するVLMのレジリエンスを評価し, 有害な出力をもたらすことにある。 逆入力摂動に対するVLMの頑健性を評価するために,textbfRetention Scoreと呼ばれる新しい指標を提案する。
  論文  参考訳（メタデータ） (2024-12-23T13:05:51Z)
• In-Context Experience Replay Facilitates Safety Red-Teaming of Text-to-Image Diffusion Models [104.94706600050557]
  テキスト・ツー・イメージ(T2I)モデルは目覚ましい進歩を見せているが、有害なコンテンツを生成する可能性はまだMLコミュニティにとって重要な関心事である。 ICERは,解釈可能かつ意味論的に意味のある重要なプロンプトを生成する新しい赤チームフレームワークである。 我々の研究は、より堅牢な安全メカニズムをT2Iシステムで開発するための重要な洞察を提供する。
  論文  参考訳（メタデータ） (2024-11-25T04:17:24Z)
• Jailbreak Attacks and Defenses against Multimodal Generative Models: A Survey [50.031628043029244]
  マルチモーダル生成モデルは、ビルトインの安全機構をバイパスし、潜在的に有害なコンテンツの生成を誘導できる、ジェイルブレイク攻撃の影響を受けやすい。 本稿では,マルチモーダル生成モデルに特有の攻撃方法,防御機構,評価フレームワークの詳細な分類について述べる。
  論文  参考訳（メタデータ） (2024-11-14T07:51:51Z)
• Mind Your Questions! Towards Backdoor Attacks on Text-to-Visualization Models [21.2448592823259]
  VisPoisonは、これらのテキスト・ツー・ビジュアライゼーションモデルの脆弱性を体系的に識別するように設計されたフレームワークである。 我々は、VisPoisonが90%以上の攻撃成功率を達成したことを示し、現在のテキスト・ツー・ビジターモデルのセキュリティ問題を強調した。
  論文  参考訳（メタデータ） (2024-10-09T11:22:03Z)
• Direct Unlearning Optimization for Robust and Safe Text-to-Image Models [29.866192834825572]
  モデルが潜在的に有害なコンテンツを生成する能力を取り除くために、未学習の技術が開発されている。 これらの手法は敵の攻撃によって容易に回避され、生成した画像の安全性を確保するには信頼性が低い。 T2IモデルからNot Safe For Work(NSFW)コンテンツを除去するための新しいフレームワークであるDirect Unlearning Optimization (DUO)を提案する。
  論文  参考訳（メタデータ） (2024-07-17T08:19:11Z)
• Ring-A-Bell! How Reliable are Concept Removal Methods for Diffusion Models? [52.238883592674696]
  Ring-A-Bellは、T2I拡散モデルのためのモデルに依存しないレッドチームツールである。 これは、不適切なコンテンツの生成に対応する拡散モデルに対する問題的プロンプトを特定する。 この結果から,安全プロンプトベンチマークの操作により,既存の安全メカニズムを回避できると考えられるプロンプトを変換できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-16T02:11:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。