論文の概要: VPA-Guard: Defending and Benchmarking Image-to-Video Generation Against Visual Prompt Attacks
- arxiv url: http://arxiv.org/abs/2606.25592v1
- Date: Wed, 24 Jun 2026 09:00:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:05:30.288023
- Title: VPA-Guard: Defending and Benchmarking Image-to-Video Generation Against Visual Prompt Attacks
- Title（参考訳）: VPA-Guard:ビジュアル・プロンプト・アタックに対するイメージ・ツー・ビデオ生成の防御とベンチマーク
- Abstract要約: 本稿では,視覚中心のプロンプト攻撃下での映像生成の安全性を評価するための最初の体系的ベンチマークを示す。
本稿では,VPA-Guardを提案する。
- 参考スコア（独自算出の注目度）: 27.060981309996492
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in Image-to-Video (I2V) generation have transformed input images from simple appearance references into interactive control interfaces where visual cues such as arrows, sketches, and emojis orchestrate complex video dynamics with unprecedented controllability. However, these seemingly innocuous static cues can be interpreted by models as executable temporal instructions, unfolding into harmful actions in the generated videos. Despite the severity of this threat, existing safety benchmarks remain predominantly focused on text-based and content-only image-based jailbreaks, leaving implicit visual prompt attacks insufficiently explored. To bridge this gap, we present VVA-Bench, the first systematic benchmark for evaluating video generation safety under categorized vision-centric prompt attacks. Extensive experiments on VVA-Bench demonstrate that state-of-the-art models are highly susceptible to such attacks, with Attack Success Rates (ASR) reaching 100.0\% on Wan 2.7 and 74.8\% on Veo 3.1. To mitigate these risks, we propose VPA-Guard, a retrieval-augmented and self-evolving defense framework. By leveraging few-shot reasoning to identify latent malicious intents, our method reduces the attack ASR by 44.2\% and the harmfulness score by 73.4\% on average, while maintaining the model's utility for legitimate user edits. Our work provides both a rigorous benchmark and an effective defense strategy to advance safe and socially responsible multimodal generation.
- Abstract（参考訳）: イメージ・トゥ・ビデオ(I2V)生成の最近の進歩は、入力画像が単純な外観参照から、矢印、スケッチ、絵文字などの視覚的手がかりが、前例のない制御性で複雑なビデオダイナミクスを編成するインタラクティブな制御インターフェースへと変換されている。
しかし、これらの一見無害な静的なキューは、モデルによって実行可能な時間的指示として解釈され、生成されたビデオの中で有害なアクションへと展開される。
この脅威の深刻さにもかかわらず、既存の安全ベンチマークは主にテキストベースとコンテンツのみのイメージベースのジェイルブレイクに焦点を当てており、暗黙の視覚的プロンプト攻撃は十分に調査されていない。
このギャップを埋めるために、VVA-Benchは、分類された視覚中心のプロンプト攻撃の下で、ビデオ生成の安全性を評価するための最初の体系的なベンチマークである。
VVA-Benchの大規模な実験では、最先端のモデルがこのような攻撃に対して非常に影響を受けやすく、攻撃成功率 (ASR) は Wan 2.7 では 100.0 %、Veo 3.1 では74.8 % に達した。
これらのリスクを軽減するため,我々は,検索・自己進化型防衛フレームワークであるVPA-Guardを提案する。
本手法では, 悪意のある意図を識別するために, 数ショットの推論を利用して攻撃ASRを44.2\%, 有害度スコアを73.4\%削減し, 正当性のあるユーザ編集のためのモデルの有用性を維持した。
我々の研究は、厳格なベンチマークと、安全で社会的に責任のあるマルチモーダル世代を前進させるための効果的な防衛戦略の両方を提供する。
関連論文リスト
- The Price of Consistency: Exploiting Visual Anchors for Multimodal Jailbreaking in Video Generation [83.99528259002504]
このメカニズムにより、生成したコンテンツが元の有害な意図から遠ざかることを防ぐことができる。
本稿では、この脆弱性を利用したビデオ生成のためのトレーニング不要なマルチモーダルジェイルブレイクフレームワークである、Visual Anchors (DIVA)によるDecoupling Intentを提案する。
今後の研究を容易にするため,マルチ条件ビデオ生成のための最初の安全ベンチマークであるTI2SafetyBenchを寄贈する。
論文 参考訳（メタデータ） (2026-09-07T08:34:00Z) - IP-Bench: Benchmark for Image Protection Methods in Image-to-Video Generation Scenarios [13.66248113146474]
IP-Benchは、I2V生成シナリオにおける画像保護手法を評価するために設計された最初のシステマティックベンチマークである。
本ベンチマークでは,6つの代表的保護手法と5つの最先端I2Vモデルについて検討する。
全体として、IP-BenchはI2V生成シナリオにおける画像保護手法の体系的、再現可能、評価のフレームワークを確立している。
論文 参考訳（メタデータ） (2026-03-27T08:11:33Z) - VII: Visual Instruction Injection for Jailbreaking Image-to-Video Generation Models [57.128876964730644]
参照画像に映像生成を条件付けるI2V(Image-to-Video)生成モデルは、新たな視覚的指示追従能力を示す。
安全でないテキストプロンプトの悪意ある意図を、安全な参照画像の良心的な視覚的指示として偽装する、トレーニング不要で移動可能なジェイルブレイクフレームワークであるVisual Instruction Injection (VII)を提案する。
VIIは最大83.5%のアタック成功率を達成し、拒絶率をほぼゼロに抑え、既存のベースラインを大幅に上回っている。
論文 参考訳（メタデータ） (2026-02-24T15:20:01Z) - When the Prompt Becomes Visual: Vision-Centric Jailbreak Attacks for Large Image Editing Models [19.655310421085435]
本稿では,視覚的・視覚的ジェイルブレイク攻撃として視覚中心ジェイルブレイク攻撃(VJA)を提案する。
VJAは視覚入力を通じて悪意のある命令を純粋に伝達する。
イントロスペクティブなマルチモーダル推論に基づく無訓練防衛を提案する。
論文 参考訳（メタデータ） (2026-02-10T18:59:55Z) - RunawayEvil: Jailbreaking the Image-to-Video Generative Models [59.21761412103083]
イメージ・トゥ・ビデオ(I2V)生成は、画像とテキスト入力から動的視覚コンテンツを合成し、創造的なコントロールを提供する。
本稿では,動的進化機能を備えたI2VモデルのマルチモーダルジェイルブレイクフレームワークであるRunawayEvilを提案する。
RunawayEvil は Open-Sora 2.0 や CogVideoX などの商用 I2V モデルに対して,最先端の攻撃成功率を実現している。
論文 参考訳（メタデータ） (2025-12-07T06:14:52Z) - T2V-OptJail: Discrete Prompt Optimization for Text-to-Video Jailbreak Attacks [67.91652526657599]
我々は、T2Vジェイルブレイク攻撃を離散最適化問題として定式化し、T2V-OptJailと呼ばれる共同目的ベース最適化フレームワークを提案する。
いくつかのT2Vモデルに対して大規模な実験を行い、オープンソースモデルと実際の商用クローズドソースモデルの両方をカバーする。
提案手法は,攻撃成功率の観点から既存手法よりも11.4%,10.0%向上する。
論文 参考訳（メタデータ） (2025-05-10T16:04:52Z) - T2VShield: Model-Agnostic Jailbreak Defense for Text-to-Video Models [88.63040835652902]
テキストからビデオモデルへの攻撃はジェイルブレイク攻撃に弱いため、特別な方法で安全メカニズムをバイパスし、有害または安全でないコンテンツの生成につながる。
我々は、ジェイルブレイクの脅威からテキストからビデオモデルを守るために設計された包括的でモデルに依存しない防衛フレームワークであるT2VShieldを提案する。
本手法は,既存の防御の限界を特定するために,入力,モデル,出力の段階を体系的に解析する。
論文 参考訳（メタデータ） (2025-04-22T01:18:42Z) - Tit-for-Tat: Safeguarding Large Vision-Language Models Against Jailbreak Attacks via Adversarial Defense [90.71884758066042]
大きな視覚言語モデル(LVLM)は、視覚入力による悪意のある攻撃に対する感受性という、ユニークな脆弱性を導入している。
本稿では,脆弱性発生源からアクティブ防衛機構へ視覚空間を変換するための新しい手法であるESIIIを提案する。
論文 参考訳（メタデータ） (2025-03-14T17:39:45Z) - Safeguarding Vision-Language Models Against Patched Visual Prompt Injectors [31.383591942592467]
視覚言語モデル(VLM)は、視覚とテキストのデータを組み合わせて理解と相互作用を強化する革新的な方法を提供する。
パッチベースの敵攻撃は、物理的な視覚応用において最も現実的な脅威モデルと考えられている。
本研究では,スムージング技術に根ざした防御機構であるSmoothVLMを導入し,VLMをパッチ付き視覚プロンプトインジェクタの脅威から保護する。
論文 参考訳（メタデータ） (2024-05-17T04:19:19Z) - Attacking Video Recognition Models with Bullet-Screen Comments [79.53159486470858]
本稿では,BSC攻撃による映像認識モデルに対する新たな敵攻撃を提案する。
BSCは一種の意味のあるパッチと見なすことができ、クリーンなビデオに追加しても、ビデオの内容に対する人々の理解に影響を与えたり、人々の疑念を喚起したりしない。
論文 参考訳（メタデータ） (2021-10-29T08:55:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。