論文の概要: Fuse Your Latents: Video Editing with Multi-source Latent Diffusion Models

• arxiv url: http://arxiv.org/abs/2310.16400v1
• Date: Wed, 25 Oct 2023 06:35:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 16:17:00.163390
• Title: Fuse Your Latents: Video Editing with Multi-source Latent Diffusion Models
• Title（参考訳）: unfuse your latents:マルチソース・潜在拡散モデルによるビデオ編集
• Authors: Tianyi Lu, Xing Zhang, Jiaxi Gu, Hang Xu, Renjing Pei, Songcen Xu, Zuxuan Wu
• Abstract要約: テキスト誘導ビデオ編集を実現するための訓練不要フレームワークFLDM(Fused Latent Diffusion Model)を提案する。 FLDMは、デノナイジング過程中に画像LDMとビデオLDMとを融合させる。 編集されたビデオのテキストアライメントと時間的一貫性を改善することができる。
• 参考スコア（独自算出の注目度）: 55.78455641105312
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Latent Diffusion Models (LDMs) are renowned for their powerful capabilities in image and video synthesis. Yet, video editing methods suffer from insufficient pre-training data or video-by-video re-training cost. In addressing this gap, we propose FLDM (Fused Latent Diffusion Model), a training-free framework to achieve text-guided video editing by applying off-the-shelf image editing methods in video LDMs. Specifically, FLDM fuses latents from an image LDM and an video LDM during the denoising process. In this way, temporal consistency can be kept with video LDM while high-fidelity from the image LDM can also be exploited. Meanwhile, FLDM possesses high flexibility since both image LDM and video LDM can be replaced so advanced image editing methods such as InstructPix2Pix and ControlNet can be exploited. To the best of our knowledge, FLDM is the first method to adapt off-the-shelf image editing methods into video LDMs for video editing. Extensive quantitative and qualitative experiments demonstrate that FLDM can improve the textual alignment and temporal consistency of edited videos.
• Abstract（参考訳）: 潜在拡散モデル(ldms)は、画像合成とビデオ合成の強力な能力で有名である。 しかし、ビデオ編集手法は、事前学習データやビデオによる再訓練コストの不足に苦しむ。 FLDM(Fused Latent Diffusion Model)は,ビデオ LDM にオフザシェルフ画像編集手法を適用し,テキストガイドによる映像編集を実現するための訓練不要なフレームワークである。 特にFLDMは、デノナイジング過程中に画像LDMとビデオLDMとを融合させる。 これにより、映像LDMからの高忠実度を活用しつつ、時間的一貫性をビデオLDMで保持することができる。 一方、FLDM は画像 LDM とビデオ LDM の両方を置き換えることができるため、InstructPix2Pix や ControlNet などの高度な画像編集手法を利用することができる。 我々の知る限り、FLDMはビデオ編集のためのビデオLDMにオフザシェルフ画像編集手法を適用するための最初の方法である。 広汎な定量的および定性的実験により、FLDMは編集されたビデオのテキストアライメントと時間的一貫性を改善することができることが示された。

関連論文リスト

• MAKIMA: Tuning-free Multi-Attribute Open-domain Video Editing via Mask-Guided Attention Modulation [55.101611012677616]
  拡散ベースのテキスト・トゥ・イメージ(T2I)モデルは,グローバルビデオ編集タスクにおいて顕著な結果を示した。 我々は、オープンドメインビデオ編集のための事前訓練されたT2Iモデル上に構築された、チューニング不要なMAEフレームワークであるMAKIMAを紹介する。
  論文  参考訳（メタデータ） (2024-12-28T02:36:51Z)
• VideoDirector: Precise Video Editing via Text-to-Video Models [45.53826541639349]
  現在のビデオ編集法は、時間的コヒーレンス生成能力を欠くテキスト・ツー・ビデオ(T2V)モデルに依存している。 本稿では、より正確なピボットインバージョンを実現するために、時空間デカップリングガイダンス(STDG)と複数フレームのヌルテキスト最適化戦略を提案する。 実験結果から,本手法はT2Vモデルの強力な時間生成能力を効果的に活用できることが示唆された。
  論文  参考訳（メタデータ） (2024-11-26T16:56:53Z)
• VideoGuide: Improving Video Diffusion Models without Training Through a Teacher's Guide [48.22321420680046]
  VideoGuideは、事前訓練されたテキスト・ツー・ビデオ(T2V)モデルの時間的一貫性を高める新しいフレームワークである。 ガイドモデルの復調標本をサンプリングモデルの復調過程に補間することにより、時間的品質を向上させる。 提案手法は時間的一貫性と画像の忠実度を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-06T05:46:17Z)
• VideoElevator: Elevating Video Generation Quality with Versatile Text-to-Image Diffusion Models [94.25084162939488]
  テキスト間拡散モデル(T2V)は、フレーム品質とテキストアライメントがまだ遅れている。 我々は,T2Iの優れた機能を利用して,T2Vの性能を向上させる,トレーニングフリーでプラグアンドプレイの手法であるVideoElevatorを紹介した。
  論文  参考訳（メタデータ） (2024-03-08T16:44:54Z)
• Edit Temporal-Consistent Videos with Image Diffusion Model [49.88186997567138]
  大規模テキスト・ツー・イメージ(T2I)拡散モデルがテキスト誘導ビデオ編集のために拡張されている。 Tは、ビデオ時間的一貫性とビデオ編集機能の両方において最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-08-17T16:40:55Z)
• Align your Latents: High-Resolution Video Synthesis with Latent Diffusion Models [71.11425812806431]
  遅延拡散モデル(LDM)は、過剰な計算要求を回避しながら高品質な画像合成を可能にする。 本稿では, LDMパラダイムを高分解能な生成, 特に資源集約的なタスクに適用する。 そこで本研究では,テキスト・ツー・ビデオ・モデリングによる実世界のシミュレーションとクリエイティブ・コンテンツ作成の2つの応用に焦点をあてる。
  論文  参考訳（メタデータ） (2023-04-18T08:30:32Z)
• Edit-A-Video: Single Video Editing with Object-Aware Consistency [49.43316939996227]
  本稿では,事前訓練されたTTIモデルと単一のテキスト,ビデオ>ペアのみを付与したビデオ編集フレームワークを提案する。 本フレームワークは,(1)時間モジュールチューニングを付加して2Dモデルを3Dモデルに膨らませること,(2)原動画をノイズに反転させ,対象のテキストプロンプトとアテンションマップインジェクションで編集すること,の2段階からなる。 各種のテキスト・ビデオに対して広範な実験結果を示し,背景整合性,テキストアライメント,ビデオ編集品質の点で,ベースラインに比べて提案手法の優位性を示す。
  論文  参考訳（メタデータ） (2023-03-14T14:35:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。