論文の概要: VideoDirector: Precise Video Editing via Text-to-Video Models

• arxiv url: http://arxiv.org/abs/2411.17592v1
• Date: Tue, 26 Nov 2024 16:56:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:34:41.698451
• Title: VideoDirector: Precise Video Editing via Text-to-Video Models
• Title（参考訳）: VideoDirector: テキスト・ツー・ビデオモデルによる精密ビデオ編集
• Authors: Yukun Wang, Longguang Wang, Zhiyuan Ma, Qibin Hu, Kai Xu, Yulan Guo,
• Abstract要約: 現在のビデオ編集法は、時間的コヒーレンス生成能力を欠くテキスト・ツー・ビデオ(T2V)モデルに依存している。 本稿では、より正確なピボットインバージョンを実現するために、時空間デカップリングガイダンス(STDG)と複数フレームのヌルテキスト最適化戦略を提案する。 実験結果から,本手法はT2Vモデルの強力な時間生成能力を効果的に活用できることが示唆された。
• 参考スコア（独自算出の注目度）: 45.53826541639349
• License:
• Abstract: Despite the typical inversion-then-editing paradigm using text-to-image (T2I) models has demonstrated promising results, directly extending it to text-to-video (T2V) models still suffers severe artifacts such as color flickering and content distortion. Consequently, current video editing methods primarily rely on T2I models, which inherently lack temporal-coherence generative ability, often resulting in inferior editing results. In this paper, we attribute the failure of the typical editing paradigm to: 1) Tightly Spatial-temporal Coupling. The vanilla pivotal-based inversion strategy struggles to disentangle spatial-temporal information in the video diffusion model; 2) Complicated Spatial-temporal Layout. The vanilla cross-attention control is deficient in preserving the unedited content. To address these limitations, we propose a spatial-temporal decoupled guidance (STDG) and multi-frame null-text optimization strategy to provide pivotal temporal cues for more precise pivotal inversion. Furthermore, we introduce a self-attention control strategy to maintain higher fidelity for precise partial content editing. Experimental results demonstrate that our method (termed VideoDirector) effectively harnesses the powerful temporal generation capabilities of T2V models, producing edited videos with state-of-the-art performance in accuracy, motion smoothness, realism, and fidelity to unedited content.
• Abstract（参考訳）: テキスト・トゥ・イメージ(T2I)モデルを用いた典型的なインバージョン編集パラダイムは有望な結果を示しているが、直接テキスト・トゥ・ビデオ(T2V)モデルに拡張することは、カラー・フリッカリングやコンテンツ歪みといった深刻な成果を被る。 そのため、現在のビデオ編集法は主にT2Iモデルに依存しており、時間的コヒーレンス生成能力が欠如しているため、編集結果が劣ることが多い。 本稿では,典型的な編集パラダイムの失敗を次のように評価する。 1)時空間結合の高度化。 バニラピボットに基づく逆転戦略は、ビデオ拡散モデルにおいて空間時間情報をアンタングル化するのに苦労する。 2)複雑な時空間レイアウト。 バニラクロスアテンション制御は、未編集のコンテンツを保存できない。 これらの制約に対処するために、より正確なピボットインバージョンを実現するために、時空間デカップリングガイダンス(STDG)と複数フレームのヌルテキスト最適化戦略を提案する。 さらに、正確な部分的コンテンツ編集のための高忠実性を維持するための自己注意制御戦略を導入する。 実験結果から,提案手法はT2Vモデルの時間生成能力を効果的に活用し,映像の精度,動作のスムーズさ,リアリズム,非編集コンテンツに対する忠実さを編集した映像を生成できることが示唆された。

関連論文リスト

• COVE: Unleashing the Diffusion Feature Correspondence for Consistent Video Editing [57.76170824395532]
  ビデオ編集は新たな課題であり、現在のほとんどの手法では、ソースビデオを編集するために、事前訓練されたテキスト・トゥ・イメージ(T2I)拡散モデルを採用している。 我々は,高品質で一貫したビデオ編集を実現するために,COVE(Cor correspondingence-guided Video Editing)を提案する。 COVEは、追加のトレーニングや最適化を必要とせずに、事前訓練されたT2I拡散モデルにシームレスに統合することができる。
  論文  参考訳（メタデータ） (2024-06-13T06:27:13Z)
• Zero-Shot Video Editing through Adaptive Sliding Score Distillation [51.57440923362033]
  本研究は,オリジナルビデオコンテンツの直接操作を容易にする,ビデオベースのスコア蒸留の新たなパラダイムを提案する。 本稿では,グローバルとローカルの両方の動画ガイダンスを取り入れた適応スライディングスコア蒸留方式を提案する。
  論文  参考訳（メタデータ） (2024-06-07T12:33:59Z)
• I2VEdit: First-Frame-Guided Video Editing via Image-to-Video Diffusion Models [18.36472998650704]
  本稿では,1フレームからビデオ全体への編集を事前学習した画像対ビデオモデルを用いてプロパガンダすることで,画像編集ツールをビデオに適用可能にする,新しい汎用的ソリューションを提案する。 I2VEditと呼ばれる本手法は,編集範囲に応じて映像の視覚的・運動的整合性を適応的に保持する。
  論文  参考訳（メタデータ） (2024-05-26T11:47:40Z)
• Investigating the Effectiveness of Cross-Attention to Unlock Zero-Shot Editing of Text-to-Video Diffusion Models [52.28245595257831]
  クロスアテンションガイダンスは、ビデオを編集する上で有望なアプローチだ。 現行のT2Vモデルの限界にもかかわらず、動画編集にはクロスアテンションガイダンスが有望なアプローチであることを示す。
  論文  参考訳（メタデータ） (2024-04-08T13:40:01Z)
• Edit Temporal-Consistent Videos with Image Diffusion Model [49.88186997567138]
  大規模テキスト・ツー・イメージ(T2I)拡散モデルがテキスト誘導ビデオ編集のために拡張されている。 Tは、ビデオ時間的一貫性とビデオ編集機能の両方において最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-08-17T16:40:55Z)
• Edit-A-Video: Single Video Editing with Object-Aware Consistency [49.43316939996227]
  本稿では,事前訓練されたTTIモデルと単一のテキスト,ビデオ>ペアのみを付与したビデオ編集フレームワークを提案する。 本フレームワークは,(1)時間モジュールチューニングを付加して2Dモデルを3Dモデルに膨らませること,(2)原動画をノイズに反転させ,対象のテキストプロンプトとアテンションマップインジェクションで編集すること,の2段階からなる。 各種のテキスト・ビデオに対して広範な実験結果を示し,背景整合性,テキストアライメント,ビデオ編集品質の点で,ベースラインに比べて提案手法の優位性を示す。
  論文  参考訳（メタデータ） (2023-03-14T14:35:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。