VicEdit: Learning to Edit Videos from Visual In-Context Examples
Abstractの概要
本論文は、テキストの指示に加えて、単一画像、画像ペア、またはビデオペアの形式で視覚的な例を補完するビデオ編集パラダイムである「Visual In-context Editing」を提案しています。この設定をサポートするため、自動化された指示合成、リファレンス生成、多段階の品質フィルタリングを通じて構築された、3つのリファレンスモダリティと10のタスクタイプにわたる40万サンプルのデータセット「VicEdit-400K」を構築しました。また、モダリティ固有の視覚的意味論を抽出するModality-Adaptive Semantic Distillation (MASD)と、Video DiT内部で視覚的コンテキストをテキスト指示と整列させるDual-Context Injection (DCI)を組み合わせた統合フレームワーク「VicEdit」を提案しています。OpenVE-Extおよび新しいVicEdit-Benchでの実験結果から、視覚的な例を追加することで、テキストのみによる編集アプローチよりも制御性とパフォーマンスが向上することが示されています。
新規性
主な新規性は、視覚的なインコンテキストビデオ編集を、単一画像、画像ペア、ビデオペアといった多様なリファレンス入力をサポートする統合されたマルチモーダル編集問題として定式化した点にあります。また、この設定に向けた初の大規模データセット「VicEdit-400K」の構築と、リファレンスモダリティに対して意味抽出と指示の条件付けを明示的に適応させる統合アーキテクチャの提供も重要な貢献です。
成果
ベースとなる編集ベンチマークOpenVE-Extにおいて、VicEditは比較対象のベースラインを上回る最高総合スコア3.28を達成しました。視覚的インコンテキスト編集用のVicEdit-Benchでは総合スコア3.45を記録し、2番目に優れた手法であるKiwi-Edit（2.97）を上回りました。アブレーション研究により、MASDとDCIの両方が性能向上に寄与しており、両モジュールを使用することでVicEdit-Benchの総合スコアがベースの3.02から3.45へと改善することが示されました。
論文の注目点
- VicEditは、テキストのみの指示によるビデオ編集を拡張し、単一画像、画像ペア、およびビデオペアのリファレンスを用いたマルチモーダルな視覚的ガイダンスを可能にする。
- 視覚的インコンテキストビデオ編集の学習および評価のために設計された、40万サンプルのデータセット「VicEdit-400K」とベンチマーク「VicEdit-Bench」を新たに導入した。
- 提案されたMASDおよびDCIモジュールは、リファレンスを考慮した意味抽出とテキスト・視覚の整列を改善し、従来の編集と視覚的インコンテキスト編集の両方において強力な結果を支援する。