論文の概要: SafeGen-Bench: Benchmarking Safety in Image-Conditioned Text-to-Video Generation
- arxiv url: http://arxiv.org/abs/2606.01481v1
- Date: Sun, 31 May 2026 22:46:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:29.728693
- Title: SafeGen-Bench: Benchmarking Safety in Image-Conditioned Text-to-Video Generation
- Title（参考訳）: SafeGen-Bench:画像中心のテキスト・ビデオ生成におけるベンチマーク安全性
- Abstract要約: 本稿では,条件付きT2Vモデルの安全性を評価するためのベンチマークであるSafeGen-Benchを紹介する。
我々のベンチマークでは、時間的シーケンスと表現された行動の両方に関連するリスクに焦点を当て、悪意のあるカテゴリを10つ定義している。
SafeGen-Bench上での様々な条件付きT2Vモデルの評価を行い、その結果、現在のモデルでは悪意のあるコンテンツの生成を一貫して避けることが困難であることが示唆された。
- 参考スコア（独自算出の注目度）: 46.016571758908015
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the rapid advancements in text-to-image diffusion models, generative video models (T2V models) like Sora can now produce short synthetic videos from a text prompt or an initial image. However, synthetic video generation -- especially when guided by an initial image -- often poses risks, including the potential creation of illegal, politically sensitive, or unethical content. Existing benchmarks have started to consider the safety of generated videos, but they primarily focus on testing models with malicious text prompts, ignoring the scenario where text prompt and image combination may still lead to harmful video content. In practice, this is a common and challenging issue: videos generated from safe text and image inputs can nonetheless convey harmful information. To bridge this gap, we introduce SafeGen-Bench, a benchmark specifically designed to evaluate the safety of conditional T2V models. Our benchmark defines 10 malicious categories, concentrating on risks related to both temporal sequences and depicted behaviors. SafeGen-Bench consists of carefully selected start frames from diverse image and video sources, paired with corresponding text prompts to simulate realistic inputs. We evaluate a variety of conditional T2V models on SafeGen-Bench, and the results indicate that current models struggle to consistently avoid generating malicious content with unsafety scores reaching up to 44.5, especially under conditions requiring high quality. Furthermore, we assess the effectiveness of both text-based and image-based guardrails on our benchmark, finding that unimodal guardrails alone were insufficient to provide a robust defense, with an 80\% failure rate across seven malicious categories. We hope that SafeGen-Bench will foster the development of safer and more controllable conditional T2V models.
- Abstract（参考訳）: テキスト間拡散モデルの急速な進歩により、Soraのような生成ビデオモデル(T2Vモデル)は、テキストプロンプトや初期画像から短い合成ビデオを生成することができるようになった。
しかし、合成ビデオ生成(特に初期画像でガイドされた場合)は、違法、政治的に敏感、または非倫理的なコンテンツの作成を含むリスクを伴うことが多い。
既存のベンチマークでは、生成されたビデオの安全性を考慮し始めているが、主に悪意のあるテキストプロンプトによるテストモデルに焦点を当てており、テキストプロンプトと画像の組み合わせが有害なビデオコンテンツにつながるシナリオを無視している。
安全なテキストと画像入力から生成されたビデオは、それでも有害な情報を伝達することができる。
このギャップを埋めるために,条件付きT2Vモデルの安全性を評価するためのベンチマークであるSafeGen-Benchを導入する。
我々のベンチマークでは、時間的シーケンスと表現された行動の両方に関連するリスクに焦点を当て、悪意のあるカテゴリを10つ定義している。
SafeGen-Benchは、多様な画像とビデオソースから慎重に選択されたスタートフレームで構成され、対応するテキストプロンプトと組み合わせて現実的な入力をシミュレートする。
SafeGen-Bench上での様々な条件付きT2Vモデルの評価を行い、特に高品質な条件下では、安全でないスコアが最大44.5まで到達した悪意のあるコンテンツの生成を、現行のモデルでは一貫して避けることが困難であることを示した。
さらに,本ベンチマークにおけるテキストベースガードレールと画像ベースガードレールの有効性を評価した結果,不正ガードレールだけでは堅牢な防御が得られず,悪質な7つのカテゴリで80%の障害率を有することがわかった。
我々はSafeGen-Benchがより安全で制御可能な条件付きT2Vモデルの開発を促進することを願っている。
関連論文リスト
- The Price of Consistency: Exploiting Visual Anchors for Multimodal Jailbreaking in Video Generation [83.99528259002504]
このメカニズムにより、生成したコンテンツが元の有害な意図から遠ざかることを防ぐことができる。
本稿では、この脆弱性を利用したビデオ生成のためのトレーニング不要なマルチモーダルジェイルブレイクフレームワークである、Visual Anchors (DIVA)によるDecoupling Intentを提案する。
今後の研究を容易にするため,マルチ条件ビデオ生成のための最初の安全ベンチマークであるTI2SafetyBenchを寄贈する。
論文 参考訳（メタデータ） (2026-09-07T08:34:00Z) - VPA-Guard: Defending and Benchmarking Image-to-Video Generation Against Visual Prompt Attacks [27.060981309996492]
本稿では,視覚中心のプロンプト攻撃下での映像生成の安全性を評価するための最初の体系的ベンチマークを示す。
本稿では,VPA-Guardを提案する。
論文 参考訳（メタデータ） (2026-06-24T09:00:08Z) - VII: Visual Instruction Injection for Jailbreaking Image-to-Video Generation Models [57.128876964730644]
参照画像に映像生成を条件付けるI2V(Image-to-Video)生成モデルは、新たな視覚的指示追従能力を示す。
安全でないテキストプロンプトの悪意ある意図を、安全な参照画像の良心的な視覚的指示として偽装する、トレーニング不要で移動可能なジェイルブレイクフレームワークであるVisual Instruction Injection (VII)を提案する。
VIIは最大83.5%のアタック成功率を達成し、拒絶率をほぼゼロに抑え、既存のベースラインを大幅に上回っている。
論文 参考訳（メタデータ） (2026-02-24T15:20:01Z) - ConceptGuard: Proactive Safety in Text-and-Image-to-Video Generation through Multimodal Risk Detection [27.47621607462884]
ConceptGuardは、マルチモーダルビデオ生成において、安全でないセマンティクスを積極的に検出し緩和するフレームワークである。
コントラスト検出モジュールは、融合画像テキスト入力を構造化概念空間に投影することにより、潜伏する安全リスクを特定する。
意味的抑制機構は、プロンプトのマルチモーダル条件を介在することにより、生成過程を安全でない概念から遠ざける。
論文 参考訳（メタデータ） (2025-11-24T05:27:05Z) - VMDT: Decoding the Trustworthiness of Video Foundation Models [77.90980744982079]
テキスト・トゥ・ビデオ(T2V)モデルとビデオ・トゥ・テキスト(V2T)モデルを評価するための最初の統一プラットフォームであるVMDTを紹介する。
VMDTを用いた7つのT2Vモデルと19のV2Tモデルの評価により、いくつかの重要な知見が得られた。
論文 参考訳（メタデータ） (2025-11-07T19:56:00Z) - SafeGuider: Robust and Practical Content Safety Control for Text-to-Image Models [74.11062256255387]
テキスト・ツー・イメージのモデルは、安全対策を回避し、有害なコンテンツを生成できる敵のプロンプトに対して非常に脆弱である。
SafeGuiderは, 生成品質を損なうことなく, 堅牢な安全制御を実現するための2段階のフレームワークである。
SafeGuiderは攻撃成功率の最小化において例外的な効果を示し、様々な攻撃シナリオで最大速度は5.48%である。
論文 参考訳（メタデータ） (2025-10-05T10:24:48Z) - GenBreak: Red Teaming Text-to-Image Generators Using Large Language Models [65.91565607573786]
テキスト・ツー・イメージ(T2I)モデルは、ヌードや暴力を含む有害なコンテンツを生成するために誤用することができる。
近年のT2Iモデルに対する赤チーム攻撃と敵攻撃は、顕著な制限がある。
我々は、基盤となる脆弱性を体系的に調査するために、レッドチーム大言語モデル(LLM)を微調整するフレームワークであるGenBreakを提案する。
論文 参考訳（メタデータ） (2025-06-11T09:09:12Z) - Video-SafetyBench: A Benchmark for Safety Evaluation of Video LVLMs [45.265397990158846]
Video-SafetyBenchは、ビデオテキスト攻撃下でのLVLMの安全性を評価するために設計された最初のベンチマークである。
ビデオテキストのペアは2,264で、48のきめ細かいアンセーフなカテゴリにまたがっている。
安全性評価のためのセマンティックなビデオを生成するために,ビデオ意味論を主題画像とモーションテキストに分解する制御可能なパイプラインを設計する。
論文 参考訳（メタデータ） (2025-05-17T05:06:38Z) - T2V-OptJail: Discrete Prompt Optimization for Text-to-Video Jailbreak Attacks [67.91652526657599]
我々は、T2Vジェイルブレイク攻撃を離散最適化問題として定式化し、T2V-OptJailと呼ばれる共同目的ベース最適化フレームワークを提案する。
いくつかのT2Vモデルに対して大規模な実験を行い、オープンソースモデルと実際の商用クローズドソースモデルの両方をカバーする。
提案手法は,攻撃成功率の観点から既存手法よりも11.4%,10.0%向上する。
論文 参考訳（メタデータ） (2025-05-10T16:04:52Z) - Safe Text-to-Image Generation: Simply Sanitize the Prompt Embedding [16.188657772178747]
本研究では,不適切な概念を迅速に埋め込むことで,テキスト・ツー・イメージモデルの安全性を高めるEmbeded Sanitizer (ES)を提案する。
ESは、その潜在的な有害性を示すプロンプトにおいて各トークンにスコアを割り当てる最初の解釈可能な安全な生成フレームワークである。
論文 参考訳（メタデータ） (2024-11-15T16:29:02Z) - T2VSafetyBench: Evaluating the Safety of Text-to-Video Generative Models [39.15695612766001]
T2VSafetyBenchは,テキスト・ビデオモデルの安全性評価のための新しいベンチマークである。
ビデオ生成の安全性に関する12の重要な側面を定義し,悪意のあるプロンプトデータセットを構築する。
異なるモデルは様々な強みを示す。
テキスト・ビデオ生成モデルのユーザビリティと安全性にはトレードオフがある。
論文 参考訳（メタデータ） (2024-07-08T14:04:58Z) - SafeGen: Mitigating Sexually Explicit Content Generation in Text-to-Image Models [28.23494821842336]
テキスト・ツー・イメージ・モデルは、安全でない作業用コンテンツ(NSFW)を生成するために騙されることがある。
我々は、テキスト・ツー・イメージ・モデルによる性的コンテンツ生成を緩和するフレームワークであるSafeGenを紹介する。
論文 参考訳（メタデータ） (2024-04-10T00:26:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。