論文の概要: COVE: Unleashing the Diffusion Feature Correspondence for Consistent Video Editing

• arxiv url: http://arxiv.org/abs/2406.08850v1
• Date: Thu, 13 Jun 2024 06:27:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 19:03:54.723781
• Title: COVE: Unleashing the Diffusion Feature Correspondence for Consistent Video Editing
• Title（参考訳）: COVE: 一貫性のあるビデオ編集のための拡散特徴対応を解き放つ
• Authors: Jiangshan Wang, Yue Ma, Jiayi Guo, Yicheng Xiao, Gao Huang, Xiu Li,
• Abstract要約: ビデオ編集は新たな課題であり、現在のほとんどの手法では、ソースビデオを編集するために、事前訓練されたテキスト・トゥ・イメージ(T2I)拡散モデルを採用している。 我々は,高品質で一貫したビデオ編集を実現するために,COVE(Cor correspondingence-guided Video Editing)を提案する。 COVEは、追加のトレーニングや最適化を必要とせずに、事前訓練されたT2I拡散モデルにシームレスに統合することができる。
• 参考スコア（独自算出の注目度）: 57.76170824395532
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video editing is an emerging task, in which most current methods adopt the pre-trained text-to-image (T2I) diffusion model to edit the source video in a zero-shot manner. Despite extensive efforts, maintaining the temporal consistency of edited videos remains challenging due to the lack of temporal constraints in the regular T2I diffusion model. To address this issue, we propose COrrespondence-guided Video Editing (COVE), leveraging the inherent diffusion feature correspondence to achieve high-quality and consistent video editing. Specifically, we propose an efficient sliding-window-based strategy to calculate the similarity among tokens in the diffusion features of source videos, identifying the tokens with high correspondence across frames. During the inversion and denoising process, we sample the tokens in noisy latent based on the correspondence and then perform self-attention within them. To save GPU memory usage and accelerate the editing process, we further introduce the temporal-dimensional token merging strategy, which can effectively reduce redundancy. COVE can be seamlessly integrated into the pre-trained T2I diffusion model without the need for extra training or optimization. Extensive experiment results demonstrate that COVE achieves the start-of-the-art performance in various video editing scenarios, outperforming existing methods both quantitatively and qualitatively. The code will be release at https://github.com/wangjiangshan0725/COVE
• Abstract（参考訳）: ビデオ編集は新たな課題であり、現在のほとんどのメソッドでは、事前訓練されたテキスト・トゥ・イメージ(T2I)拡散モデルを採用して、ゼロショットでソースビデオを編集する。 大規模な努力にもかかわらず、通常のT2I拡散モデルに時間的制約がないため、編集ビデオの時間的一貫性を維持することは依然として困難である。 この問題に対処するため,我々は,高画質で一貫した映像編集を実現するために,固有の拡散特徴対応を活用し,COVE(Cor correspondingence-guided Video Editing)を提案する。 具体的には,ソースビデオの拡散特性におけるトークン間の類似性を計算し,フレーム間の高い対応性を持つトークンを同定する,効率的なスライドウインドウに基づく手法を提案する。 逆転・復調過程において, 共振器を用いて雑音に富んだ潜伏状態のトークンをサンプリングし, その内部で自己注意を行う。 さらに,GPUメモリ使用量を削減し,編集プロセスの高速化を図るため,時間次元トークンマージ戦略を導入し,冗長性を効果的に低減する。 COVEは、追加のトレーニングや最適化を必要とせずに、事前訓練されたT2I拡散モデルにシームレスに統合することができる。 大規模な実験結果から,COVEは様々なビデオ編集シナリオにおいて,既存の手法を定量的かつ定性的に上回る,最先端のパフォーマンスを達成できることが判明した。 コードはhttps://github.com/wangjiangshan0725/COVEでリリースされる。

関連論文リスト

• Zero-Shot Video Editing through Adaptive Sliding Score Distillation [51.57440923362033]
  本研究は,オリジナルビデオコンテンツの直接操作を容易にする,ビデオベースのスコア蒸留の新たなパラダイムを提案する。 本稿では,グローバルとローカルの両方の動画ガイダンスを取り入れた適応スライディングスコア蒸留方式を提案する。
  論文  参考訳（メタデータ） (2024-06-07T12:33:59Z)
• Slicedit: Zero-Shot Video Editing With Text-to-Image Diffusion Models Using Spatio-Temporal Slices [19.07572422897737]
  Sliceditは、事前訓練されたT2I拡散モデルを用いて、空間スライスと時間スライスの両方を処理するテキストベースのビデオ編集方法である。 本手法は,対象のテキストに付着しながら,オリジナル映像の構造と動きを保持するビデオを生成する。
  論文  参考訳（メタデータ） (2024-05-20T17:55:56Z)
• FastVideoEdit: Leveraging Consistency Models for Efficient Text-to-Video Editing [10.011515580084243]
  既存のビデオ編集における画像生成モデルへのアプローチは、ワンショットの微調整、追加条件抽出、DDIMの逆変換といった時間を要する。 我々は、一貫性モデル(CM)にインスパイアされた効率的なゼロショットビデオ編集手法であるFastVideoEditを提案する。 本手法は,特別な分散スケジュールを用いて,ソース映像からターゲット映像への直接マッピングを可能にする。
  論文  参考訳（メタデータ） (2024-03-10T17:12:01Z)
• VidToMe: Video Token Merging for Zero-Shot Video Editing [100.79999871424931]
  本稿では,フレーム間で自己注意トークンをマージすることで,生成ビデオの時間的一貫性を高める新しい手法を提案する。 本手法は時間的コヒーレンスを改善し,自己アテンション計算におけるメモリ消費を削減する。
  論文  参考訳（メタデータ） (2023-12-17T09:05:56Z)
• Edit Temporal-Consistent Videos with Image Diffusion Model [49.88186997567138]
  大規模テキスト・ツー・イメージ(T2I)拡散モデルがテキスト誘導ビデオ編集のために拡張されている。 Tは、ビデオ時間的一貫性とビデオ編集機能の両方において最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-08-17T16:40:55Z)
• TokenFlow: Consistent Diffusion Features for Consistent Video Editing [27.736354114287725]
  本稿では,テキスト駆動ビデオ編集作業において,テキスト間拡散モデルのパワーを利用するフレームワークを提案する。 提案手法は,入力ビデオの空間的レイアウトと動きを保ちながら,ターゲットテキストに付着した高品質な映像を生成する。 我々のフレームワークは、トレーニングや微調整を一切必要とせず、市販のテキスト・ツー・イメージ編集手法と連携して動作する。
  論文  参考訳（メタデータ） (2023-07-19T18:00:03Z)
• Transform-Equivariant Consistency Learning for Temporal Sentence Grounding [66.10949751429781]
  ビデオ毎により差別的な表現を学習するために,新しい同変一貫性規則学習フレームワークを導入する。 私たちのモチベーションは、クエリ誘導アクティビティの時間的境界を一貫して予測することにある。 特に,ビデオの完全性と滑らか性を高めるために,自己教師付き一貫性損失モジュールを考案した。
  論文  参考訳（メタデータ） (2023-05-06T19:29:28Z)
• Edit-A-Video: Single Video Editing with Object-Aware Consistency [49.43316939996227]
  本稿では,事前訓練されたTTIモデルと単一のテキスト,ビデオ>ペアのみを付与したビデオ編集フレームワークを提案する。 本フレームワークは,(1)時間モジュールチューニングを付加して2Dモデルを3Dモデルに膨らませること,(2)原動画をノイズに反転させ,対象のテキストプロンプトとアテンションマップインジェクションで編集すること,の2段階からなる。 各種のテキスト・ビデオに対して広範な実験結果を示し,背景整合性,テキストアライメント,ビデオ編集品質の点で,ベースラインに比べて提案手法の優位性を示す。
  論文  参考訳（メタデータ） (2023-03-14T14:35:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。