論文の概要: ControlVideo: Training-free Controllable Text-to-Video Generation

• arxiv url: http://arxiv.org/abs/2305.13077v1
• Date: Mon, 22 May 2023 14:48:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 15:26:08.152871
• Title: ControlVideo: Training-free Controllable Text-to-Video Generation
• Title（参考訳）: ControlVideo: トレーニング不要のテキスト対ビデオ生成
• Authors: Yabo Zhang, Yuxiang Wei, Dongsheng Jiang, Xiaopeng Zhang, Wangmeng Zuo, Qi Tian
• Abstract要約: ControlVideoは、自然で効率的なテキスト・ビデオ生成を可能にするフレームワークである。 NVIDIA 2080Tiを使って、ショートビデオとロングビデオの両方を数分で生成する。
• 参考スコア（独自算出の注目度）: 117.06302461557044
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-driven diffusion models have unlocked unprecedented abilities in image generation, whereas their video counterpart still lags behind due to the excessive training cost of temporal modeling. Besides the training burden, the generated videos also suffer from appearance inconsistency and structural flickers, especially in long video synthesis. To address these challenges, we design a \emph{training-free} framework called \textbf{ControlVideo} to enable natural and efficient text-to-video generation. ControlVideo, adapted from ControlNet, leverages coarsely structural consistency from input motion sequences, and introduces three modules to improve video generation. Firstly, to ensure appearance coherence between frames, ControlVideo adds fully cross-frame interaction in self-attention modules. Secondly, to mitigate the flicker effect, it introduces an interleaved-frame smoother that employs frame interpolation on alternated frames. Finally, to produce long videos efficiently, it utilizes a hierarchical sampler that separately synthesizes each short clip with holistic coherency. Empowered with these modules, ControlVideo outperforms the state-of-the-arts on extensive motion-prompt pairs quantitatively and qualitatively. Notably, thanks to the efficient designs, it generates both short and long videos within several minutes using one NVIDIA 2080Ti. Code is available at https://github.com/YBYBZhang/ControlVideo.
• Abstract（参考訳）: テキスト駆動拡散モデルは画像生成における前例のない能力を解き放つ一方、ビデオは時間的モデリングの過度の訓練コストのためにまだ遅れている。 トレーニングの負担に加えて、生成されたビデオは外観の矛盾や構造的なフリック、特に長いビデオ合成に苦しむ。 これらの課題に対処するために、自然かつ効率的なテキスト・ビデオ生成を可能にするために、 \textbf{ControlVideo} と呼ばれる \emph{training-free} フレームワークを設計する。 ControlNet から適応した ControlVideo は入力モーションシーケンスから粗い構造的一貫性を活用し,ビデオ生成を改善するために3つのモジュールを導入している。 第一に、フレーム間の外観コヒーレンスを確保するため、コントロールビデオは自己アテンションモジュールに完全なクロスフレームインタラクションを追加する。 第二に、フリック効果を軽減するために、交互フレーム上のフレーム補間を利用するインターリーブフレームスムースラーを導入する。 最後に,長い映像を効率的に生成するために,各短いクリップを総括的コヒーレンシで別々に合成する階層的サンプリングを用いる。 ControlVideoはこれらのモジュールを駆使して、広範囲なモーションプロンプトのペアを定量的に、質的に、最先端の技術を上回ります。 特に、効率的なデザインのおかげで、NVIDIA 2080Tiを使って数分でショートビデオとロングビデオの両方を生成する。 コードはhttps://github.com/YBYBZhang/ControlVideoで入手できる。

関連論文リスト

• CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer [55.515836117658985]
  拡散トランスを用いた大規模テキスト・ビデオ生成モデルであるCogVideoXを提案する。 フレームレートは16fps、解像度は768×1360ピクセル。
  論文  参考訳（メタデータ） (2024-08-12T11:47:11Z)
• EasyAnimate: A High-Performance Long Video Generation Method based on Transformer Architecture [11.587428534308945]
  EasyAnimateは、高性能な結果を得るためにトランスフォーマーアーキテクチャのパワーを利用する、ビデオ生成の先進的な方法である。 動作モジュールブロックを組み込んで,3次元映像生成の複雑さに対応するために,当初2次元画像合成用に設計されたDiTフレームワークを拡張した。 我々は、データ前処理、VAEトレーニング、DiTモデルトレーニング、エンドツーエンドのビデオ推論といった側面を含む、DiTに基づくビデオ制作のための総合的なエコシステムを提供する。
  論文  参考訳（メタデータ） (2024-05-29T11:11:07Z)
• StreamingT2V: Consistent, Dynamic, and Extendable Long Video Generation from Text [58.49820807662246]
  本稿では,80,240,600,1200以上のフレームをスムーズな遷移で自動回帰的に生成するStreamingT2Vを紹介する。 私たちのコードは、https://github.com/Picsart-AI-Research/StreamingT2V.comで利用可能です。
  論文  参考訳（メタデータ） (2024-03-21T18:27:29Z)
• LOVECon: Text-driven Training-Free Long Video Editing with ControlNet [9.762680144118061]
  本稿では,このギャップを埋めることを目的として,学習自由拡散モデルに基づく長大ビデオ編集のための,シンプルで効果的なベースラインを確立する。 ControlNet上にパイプラインを構築し、テキストプロンプトに基づいて様々な画像編集タスクを抽出する。 本手法は,ユーザの要求に応じて数百フレームの動画を編集する。
  論文  参考訳（メタデータ） (2023-10-15T02:39:25Z)
• ConditionVideo: Training-Free Condition-Guided Text-to-Video Generation [33.37279673304]
  提案する条件, 映像, 入力テキストに基づいて, テキスト・ビデオ生成のためのトレーニング不要なアプローチである ConditionVideo を紹介する。 ConditionVideoはランダムノイズやシーンビデオからリアルなダイナミックビデオを生成する。 提案手法は,フレームの整合性,クリップスコア,条件精度において優れた性能を示し,他の比較手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-10-11T17:46:28Z)
• Rerender A Video: Zero-Shot Text-Guided Video-to-Video Translation [93.18163456287164]
  本稿では,動画に画像モデルを適用するための新しいテキスト誘導型動画翻訳フレームワークを提案する。 我々のフレームワークは,グローバルなスタイルと局所的なテクスチャの時間的一貫性を低コストで実現している。
  論文  参考訳（メタデータ） (2023-06-13T17:52:23Z)
• ControlVideo: Conditional Control for One-shot Text-driven Video Editing and Beyond [45.188722895165505]
  ControlVideoは、ソースビデオの構造を保持しながら、所定のテキストと整列するビデオを生成する。 トレーニング済みのテキスト・ツー・イメージ拡散モデルに基づいて構築されたコントロールビデオは、忠実度と時間的一貫性を高める。
  論文  参考訳（メタデータ） (2023-05-26T17:13:55Z)
• Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators [70.17041424896507]
  最近のテキスト・ビデオ生成アプローチは、計算的に重いトレーニングに依存し、大規模なビデオデータセットを必要とする。 既存のテキスト・画像合成手法を用いたゼロショットテキスト・ビデオ生成の課題を提案する。 本手法は,ビデオデータ追加の訓練を受けていないにも関わらず,近年の手法よりも多種多種多種多種多種多種多種多種多種多様である。
  論文  参考訳（メタデータ） (2023-03-23T17:01:59Z)
• Towards Smooth Video Composition [59.134911550142455]
  ビデオ生成には、時間とともに動的コンテンツを伴う一貫した永続的なフレームが必要である。 本研究は, 生成的対向ネットワーク(GAN)を用いて, 任意の長さの映像を構成するための時間的関係を, 数フレームから無限までモデル化するものである。 単体画像生成のためのエイリアスフリー操作は、適切に学習された知識とともに、フレーム単位の品質を損なうことなく、スムーズなフレーム遷移をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-12-14T18:54:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。