論文の概要: Blended Latent Diffusion under Attention Control for Real-World Video Editing

• arxiv url: http://arxiv.org/abs/2409.03514v1
• Date: Thu, 5 Sep 2024 13:23:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 20:28:22.311377
• Title: Blended Latent Diffusion under Attention Control for Real-World Video Editing
• Title（参考訳）: リアルタイムビデオ編集における注意制御下のブレンド潜時拡散
• Authors: Deyin Liu, Lin Yuanbo Wu, Xianghua Xie,
• Abstract要約: 本稿では,局所的なビデオ編集作業を行うために,画像レベルのブレンド潜在拡散モデルを適用することを提案する。 具体的には、DDIMのインバージョンを利用して、ランダムにノイズのあるものではなく、背景の潜伏者として潜伏者を取得する。 また,拡散段階におけるクロスアテンションマップから導かれる自律マスク製造機構を導入する。
• 参考スコア（独自算出の注目度）: 5.659933808910005
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Due to lack of fully publicly available text-to-video models, current video editing methods tend to build on pre-trained text-to-image generation models, however, they still face grand challenges in dealing with the local editing of video with temporal information. First, although existing methods attempt to focus on local area editing by a pre-defined mask, the preservation of the outside-area background is non-ideal due to the spatially entire generation of each frame. In addition, specially providing a mask by user is an additional costly undertaking, so an autonomous masking strategy integrated into the editing process is desirable. Last but not least, image-level pretrained model hasn't learned temporal information across frames of a video which is vital for expressing the motion and dynamics. In this paper, we propose to adapt a image-level blended latent diffusion model to perform local video editing tasks. Specifically, we leverage DDIM inversion to acquire the latents as background latents instead of the randomly noised ones to better preserve the background information of the input video. We further introduce an autonomous mask manufacture mechanism derived from cross-attention maps in diffusion steps. Finally, we enhance the temporal consistency across video frames by transforming the self-attention blocks of U-Net into temporal-spatial blocks. Through extensive experiments, our proposed approach demonstrates effectiveness in different real-world video editing tasks.
• Abstract（参考訳）: 完全公開のテキスト・ツー・ビデオモデルがないため、現在のビデオ編集手法はトレーニング済みのテキスト・ツー・イメージ生成モデルで構築される傾向にあるが、ビデオの局所的な編集と時間的情報を扱うという大きな課題に直面している。 まず, 既定マスクによる局所領域の編集に焦点をあてる手法は存在するが, 各フレームの空間的全体発生により, 外部領域の背景の保存は非理想的である。 また、特にユーザによるマスクの提供はコストのかかる作業であり、編集プロセスに統合された自律的なマスキング戦略が望ましい。 最後に、画像レベルの事前訓練されたモデルは、動画のフレーム全体で時間情報を学習していない。 本稿では,局所的なビデオ編集作業を行うために,画像レベルのブレンド潜時拡散モデルを適用することを提案する。 具体的には、DDIMのインバージョンを利用して、ランダムにノイズのあるビデオではなく、背景潜伏者として潜伏者を取得することで、入力ビデオの背景情報をよりよく保存する。 さらに,拡散段階におけるクロスアテンションマップから導かれる自律マスク製造機構を導入する。 最後に,U-Netの自己保持ブロックを時間空間ブロックに変換することにより,ビデオフレーム間の時間的一貫性を向上させる。 提案手法は広範にわたる実験を通じて,様々な実世界の映像編集作業における有効性を示す。

関連論文リスト

• Temporally Consistent Object Editing in Videos using Extended Attention [9.605596668263173]
  本稿では,事前学習した画像拡散モデルを用いて映像を編集する手法を提案する。 編集された情報がすべてのビデオフレームで一貫していることを保証する。
  論文  参考訳（メタデータ） (2024-06-01T02:31:16Z)
• MaskINT: Video Editing via Interpolative Non-autoregressive Masked Transformers [30.924202893340087]
  最先端のアプローチは主にこれらのタスクを達成するために拡散モデルに依存している。 本稿では,テキストベースのビデオ編集タスクを2段階に分割する。 まず、事前訓練されたテキスト・画像拡散モデルを用いて、ゼロショット方式で少数者を同時に編集する。 第2に,非自己回帰マスク生成変換器をベースとしたMaskINTという効率的なモデルを提案する。
  論文  参考訳（メタデータ） (2023-12-19T07:05:39Z)
• VidToMe: Video Token Merging for Zero-Shot Video Editing [100.79999871424931]
  本稿では,フレーム間で自己注意トークンをマージすることで,生成ビデオの時間的一貫性を高める新しい手法を提案する。 本手法は時間的コヒーレンスを改善し,自己アテンション計算におけるメモリ消費を削減する。
  論文  参考訳（メタデータ） (2023-12-17T09:05:56Z)
• FLATTEN: optical FLow-guided ATTENtion for consistent text-to-video editing [65.60744699017202]
  拡散モデルのU-Netにおける注目モジュールに光フローを導入し,テキスト対ビデオ編集の不整合問題に対処する。 提案手法であるFLATTENでは,異なるフレームにまたがる同一フローパス上のパッチを適用して,アテンションモジュール内の相互にアテンションする。 既存のテキスト・ビデオ編集ベンチマークの結果から,提案手法が新たな最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-10-09T17:59:53Z)
• Ground-A-Video: Zero-shot Grounded Video Editing using Text-to-image Diffusion Models [65.268245109828]
  Ground-A-Videoは、マルチ属性ビデオ編集のためのビデオからビデオへの変換フレームワークである。 トレーニング不要な方法で、時間的に一貫した入力ビデオの編集を可能にする。 実験と応用により、Ground-A-Videoのゼロショットキャパシティは、編集精度とフレームの整合性の観点から、他のベースライン手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-02T11:28:37Z)
• VidEdit: Zero-Shot and Spatially Aware Text-Driven Video Editing [18.24307442582304]
  ゼロショットテキストベースのビデオ編集のための新しい方法であるVidEditを紹介する。 実験の結果,VidEditはDAVISデータセット上で最先端の手法より優れていることがわかった。
  論文  参考訳（メタデータ） (2023-06-14T19:15:49Z)
• FateZero: Fusing Attentions for Zero-shot Text-based Video Editing [104.27329655124299]
  本研究では,FateZeroを提案する。FateZeroは,実世界のビデオに対して,プロンプトごとのトレーニングや使用専用のマスクを使わずに,ゼロショットのテキストベースの編集手法である。 本手法は、ゼロショットテキスト駆動型ビデオスタイルと、訓練されたテキスト・ツー・イメージモデルからローカル属性を編集する機能を示す最初の方法である。
  論文  参考訳（メタデータ） (2023-03-16T17:51:13Z)
• Edit-A-Video: Single Video Editing with Object-Aware Consistency [49.43316939996227]
  本稿では,事前訓練されたTTIモデルと単一のテキスト,ビデオ>ペアのみを付与したビデオ編集フレームワークを提案する。 本フレームワークは,(1)時間モジュールチューニングを付加して2Dモデルを3Dモデルに膨らませること,(2)原動画をノイズに反転させ,対象のテキストプロンプトとアテンションマップインジェクションで編集すること,の2段階からなる。 各種のテキスト・ビデオに対して広範な実験結果を示し,背景整合性,テキストアライメント,ビデオ編集品質の点で,ベースラインに比べて提案手法の優位性を示す。
  論文  参考訳（メタデータ） (2023-03-14T14:35:59Z)
• Task-agnostic Temporally Consistent Facial Video Editing [84.62351915301795]
  タスクに依存しない、時間的に一貫した顔画像編集フレームワークを提案する。 3次元再構成モデルに基づいて,本フレームワークはより統一的で不整合な方法で複数の編集タスクを処理するように設計されている。 現状の顔画像編集法と比較すると,本フレームワークはより写実的で時間的に滑らかな映像像を生成する。
  論文  参考訳（メタデータ） (2020-07-03T02:49:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。