論文の概要: Make-Your-Video: Customized Video Generation Using Textual and Structural Guidance

• arxiv url: http://arxiv.org/abs/2306.00943v1
• Date: Thu, 1 Jun 2023 17:43:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 14:10:05.494463
• Title: Make-Your-Video: Customized Video Generation Using Textual and Structural Guidance
• Title（参考訳）: Make-Your-Video: テキストと構造誘導を用いたカスタマイズビデオ生成
• Authors: Jinbo Xing, Menghan Xia, Yuxin Liu, Yuechen Zhang, Yong Zhang, Yingqing He, Hanyuan Liu, Haoxin Chen, Xiaodong Cun, Xintao Wang, Ying Shan, Tien-Tsin Wong
• Abstract要約: 近年のテキスト・ビデオ合成の進歩は、プロンプトのみを用いてこれを実現する可能性を明らかにしている。 本稿では,テキストをコンテキスト記述や動き構造として利用して,カスタマイズされた映像生成について検討する。 提案手法はMake-Your-Videoと呼ばれ,遅延拡散モデルを用いた共同条件映像生成を伴う。
• 参考スコア（独自算出の注目度）: 36.26032505627126
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Creating a vivid video from the event or scenario in our imagination is a truly fascinating experience. Recent advancements in text-to-video synthesis have unveiled the potential to achieve this with prompts only. While text is convenient in conveying the overall scene context, it may be insufficient to control precisely. In this paper, we explore customized video generation by utilizing text as context description and motion structure (e.g. frame-wise depth) as concrete guidance. Our method, dubbed Make-Your-Video, involves joint-conditional video generation using a Latent Diffusion Model that is pre-trained for still image synthesis and then promoted for video generation with the introduction of temporal modules. This two-stage learning scheme not only reduces the computing resources required, but also improves the performance by transferring the rich concepts available in image datasets solely into video generation. Moreover, we use a simple yet effective causal attention mask strategy to enable longer video synthesis, which mitigates the potential quality degradation effectively. Experimental results show the superiority of our method over existing baselines, particularly in terms of temporal coherence and fidelity to users' guidance. In addition, our model enables several intriguing applications that demonstrate potential for practical usage.
• Abstract（参考訳）: 私たちの想像力でイベントやシナリオから鮮やかなビデオを作るのは本当に面白い体験です。 テキスト対ビデオ合成の最近の進歩は、プロンプトだけでこれを実現する可能性を明らかにした。 テキストはシーン全体のコンテキストを伝えるのに便利だが、正確に制御するには不十分である。 本稿では,テキストを文脈記述として,動き構造(例えばフレーム単位での奥行き)を具体的指導として,カスタマイズした映像生成について検討する。 本手法は,静止画像合成のために事前学習された潜在拡散モデルを用いた共同条件ビデオ生成と,時間的モジュールの導入による映像生成に寄与する。 この2段階学習方式は、必要な計算リソースを減らすだけでなく、画像データセットで利用可能なリッチな概念をビデオ生成に移すことで、パフォーマンスを向上させる。 さらに,より長い映像合成を可能にするために,簡便かつ効果的な因果的注意マスク戦略を用いて品質劣化を効果的に軽減する。 実験の結果,既存のベースライン,特にユーザの指導に対する時間的コヒーレンスと忠実性において,提案手法が優れていることがわかった。 さらに,本モデルは,実用化の可能性を示すいくつかの興味深いアプリケーションを実現する。

関連論文リスト

• WorldGPT: A Sora-Inspired Video AI Agent as Rich World Models from Text and Image Inputs [53.21307319844615]
  本稿では、Soraにインスパイアされたマルチモーダル学習の力を活用して、熟練した世界モデルフレームワークを構築する革新的なビデオ生成AIエージェントを提案する。 このフレームワークには、プロンプトエンハンサーとフルビデオ翻訳という2つの部分が含まれている。
  論文  参考訳（メタデータ） (2024-03-10T16:09:02Z)
• Make Pixels Dance: High-Dynamic Video Generation [13.944607760918997]
  最先端のビデオ生成手法は、高い忠実さを維持しつつも、最小限のモーションでビデオクリップを生成する傾向がある。 ビデオ生成のためのテキスト命令と合わせて,第1フレームと第2フレームの両方のイメージ命令を組み込んだ,新しいアプローチであるPixelDanceを紹介する。
  論文  参考訳（メタデータ） (2023-11-18T06:25:58Z)
• Animate-A-Story: Storytelling with Retrieval-Augmented Video Generation [69.20173154096]
  本研究では,2つの機能モジュールからなるフレームワーク,Motion Structure RetrievalとStructure-Guided Text-to-Video Synthesisを開発した。 最初のモジュールでは、オフザシェルフビデオ検索システムを活用し、動画深度をモーション構造として抽出する。 第2のモジュールに対しては、構造と文字を柔軟に制御する制御可能なビデオ生成モデルを提案する。
  論文  参考訳（メタデータ） (2023-07-13T17:57:13Z)
• Control-A-Video: Controllable Text-to-Video Diffusion Models with Motion Prior and Reward Feedback Learning [50.60891619269651]
  Control-A-Videoは制御可能なT2V拡散モデルであり、テキストプロンプトやエッジや奥行きマップのような参照制御マップに条件付のビデオを生成することができる。 本稿では,拡散に基づく生成プロセスに,コンテンツの事前と動作を組み込む新しい手法を提案する。 我々のフレームワークは、制御可能なテキスト・ツー・ビデオ生成における既存の最先端手法と比較して、高品質で一貫性のあるビデオを生成する。
  論文  参考訳（メタデータ） (2023-05-23T09:03:19Z)
• Style-A-Video: Agile Diffusion for Arbitrary Text-based Video Style Transfer [13.098901971644656]
  本稿では,Style-A-Video というゼロショットビデオスタイリング手法を提案する。 画像遅延拡散モデルを用いた生成事前学習型トランスフォーマーを用いて、簡潔なテキスト制御ビデオスタイリングを実現する。 テストの結果,従来のソリューションよりも少ない使用量で,優れたコンテンツ保存とスタイリスティックな性能が得られることがわかった。
  論文  参考訳（メタデータ） (2023-05-09T14:03:27Z)
• Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators [70.17041424896507]
  最近のテキスト・ビデオ生成アプローチは、計算的に重いトレーニングに依存し、大規模なビデオデータセットを必要とする。 既存のテキスト・画像合成手法を用いたゼロショットテキスト・ビデオ生成の課題を提案する。 本手法は,ビデオデータ追加の訓練を受けていないにも関わらず,近年の手法よりも多種多種多種多種多種多種多種多種多種多様である。
  論文  参考訳（メタデータ） (2023-03-23T17:01:59Z)
• Video Generation from Text Employing Latent Path Construction for Temporal Modeling [70.06508219998778]
  ビデオ生成は、機械学習とコンピュータビジョンの分野における最も困難なタスクの1つである。 本稿では,映像生成の条件形式であるテキストから映像生成の問題に取り組む。 自然言語文からのビデオ生成が人工知能に重要な影響を与えると考えている。
  論文  参考訳（メタデータ） (2021-07-29T06:28:20Z)
• Transcript to Video: Efficient Clip Sequencing from Texts [65.87890762420922]
  Transcript-to-Video - テキストを入力として使用する弱教師付きフレームワークで、広範なショットコレクションからビデオシーケンスを自動的に生成する。 具体的には、視覚言語表現とモデルショットシークエンシングスタイルを学習するためのコンテンツ検索モジュールとテンポラルコヒーレントモジュールを提案する。 高速な推論のために,リアルタイムビデオクリップシークエンシングのための効率的な検索手法を提案する。
  論文  参考訳（メタデータ） (2021-07-25T17:24:50Z)
• TiVGAN: Text to Image to Video Generation with Step-by-Step Evolutionary Generator [34.7504057664375]
  本稿では、フレーム単位で進化し、最終的にフル長のビデオを生成する新しいトレーニングフレームワーク、Text-to-Image-to-Video Generative Adversarial Network (TiVGAN)を提案する。 ステップバイステップの学習プロセスは、トレーニングの安定化を支援し、条件付きテキスト記述に基づく高解像度ビデオの作成を可能にする。
  論文  参考訳（メタデータ） (2020-09-04T06:33:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。