論文の概要: VideoDirectorGPT: Consistent Multi-scene Video Generation via LLM-Guided Planning

• arxiv url: http://arxiv.org/abs/2309.15091v2
• Date: Fri, 12 Jul 2024 18:03:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 04:48:58.709447
• Title: VideoDirectorGPT: Consistent Multi-scene Video Generation via LLM-Guided Planning
• Title（参考訳）: VideoDirectorGPT:LLM誘導計画による連続マルチシーン映像生成
• Authors: Han Lin, Abhay Zala, Jaemin Cho, Mohit Bansal,
• Abstract要約: VideoDirectorGPTは、一貫したマルチシーンビデオ生成のための新しいフレームワークである。 提案手法は,複数シーンのビデオ生成におけるレイアウトと移動制御を大幅に改善する。
• 参考スコア（独自算出の注目度）: 62.51232333352754
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent text-to-video (T2V) generation methods have seen significant advancements. However, the majority of these works focus on producing short video clips of a single event (i.e., single-scene videos). Meanwhile, recent large language models (LLMs) have demonstrated their capability in generating layouts and programs to control downstream visual modules. This prompts an important question: can we leverage the knowledge embedded in these LLMs for temporally consistent long video generation? In this paper, we propose VideoDirectorGPT, a novel framework for consistent multi-scene video generation that uses the knowledge of LLMs for video content planning and grounded video generation. Specifically, given a single text prompt, we first ask our video planner LLM (GPT-4) to expand it into a 'video plan', which includes the scene descriptions, the entities with their respective layouts, the background for each scene, and consistency groupings of the entities. Next, guided by this video plan, our video generator, named Layout2Vid, has explicit control over spatial layouts and can maintain temporal consistency of entities across multiple scenes, while being trained only with image-level annotations. Our experiments demonstrate that our proposed VideoDirectorGPT framework substantially improves layout and movement control in both single- and multi-scene video generation and can generate multi-scene videos with consistency, while achieving competitive performance with SOTAs in open-domain single-scene T2V generation. Detailed ablation studies, including dynamic adjustment of layout control strength with an LLM and video generation with user-provided images, confirm the effectiveness of each component of our framework and its future potential.
• Abstract（参考訳）: 近年のテキスト・ツー・ビデオ(T2V)生成法は大きな進歩を遂げている。 しかし、これらの作品の大半は、1つのイベント(すなわちシングルシーンのビデオ)の短いビデオクリップを作ることに重点を置いている。 一方、最近の大規模言語モデル(LLM)は、下流のビジュアルモジュールを制御するレイアウトとプログラムを生成する能力を実証している。 これらのLLMに埋め込まれた知識を時間的に一貫した長ビデオ生成に活用できるか? 本稿では,ビデオコンテンツプランニングとグラウンドドビデオ生成にLLMの知識を利用する,一貫したマルチシーンビデオ生成のための新しいフレームワークであるVideoDirectorGPTを提案する。 具体的には、1つのテキストプロンプトが与えられた場合、まずビデオプランナのLCM(GPT-4)に、シーン記述、各レイアウトを持つエンティティ、各シーンの背景、エンティティの一貫性グループ化を含む「ビデオプラン」への拡張を依頼する。 次に、このビデオプランでガイドされたビデオジェネレータLayout2Vidは、空間的レイアウトを明示的に制御し、複数のシーンにまたがるエンティティの時間的一貫性を保ちながら、画像レベルのアノテーションでのみ訓練することができる。 実験により,本フレームワークは単一シーンと多シーンのビデオ生成におけるレイアウトと移動制御を大幅に改善し,複数シーンのビデオの一貫性を保ちながら,オープンドメインの単一シーンT2V生成におけるSOTAとの競合性能を実現した。 LLMによるレイアウト制御強度の動的調整や、ユーザが提供する画像による映像生成など、詳細なアブレーション研究により、我々のフレームワークの各コンポーネントの有効性と今後の可能性を確認することができる。

関連論文リスト

• BlobGEN-Vid: Compositional Text-to-Video Generation with Blob Video Representations [82.94002870060045]
  既存のビデオ生成モデルは、複雑なテキストプロンプトに従い、複数のオブジェクトを合成するのに苦労する。 我々は,BlobGEN-Vidというブロブグラウンドビデオ拡散モデルを開発し,ユーザがオブジェクトの動きを制御し,細かいオブジェクトの外観を制御できるようにする。 U-NetとDiTをベースとした動画拡散モデルに基づいてBlobGEN-Vidを構築する。
  論文  参考訳（メタデータ） (2025-01-13T19:17:06Z)
• VAST 1.0: A Unified Framework for Controllable and Consistent Video Generation [48.318567065609216]
  VAST(Video As Storyboard from Text)は、テキスト記述から高品質なビデオを生成するためのフレームワークである。 映像生成からテキスト理解を分離することにより、VASTは主題のダイナミクスやシーン構成を正確に制御できる。 VBenchベンチマークの実験では、VASTは視覚的品質とセマンティック表現の両方において、既存のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2024-12-21T15:59:07Z)
• VideoGen-of-Thought: A Collaborative Framework for Multi-Shot Video Generation [70.61101071902596]
  現在の世代モデルは短いクリップを生成するのに優れていますが、マルチショット映画のようなビデオを作るのに苦戦しています。 マルチショットビデオ生成に特化して設計された協調学習不要なアーキテクチャであるVideoGen-of-Thought (VGoT)を提案する。 我々の実験は、VGoTが高品質でコヒーレントなマルチショットビデオを作成する際に、既存のビデオ生成方法を上回ることを実証している。
  論文  参考訳（メタデータ） (2024-12-03T08:33:50Z)
• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)
• VideoStudio: Generating Consistent-Content and Multi-Scene Videos [88.88118783892779]
  VideoStudioは、一貫したコンテンツとマルチシーンのビデオ生成のためのフレームワークである。 VideoStudioはLarge Language Models (LLM)を活用して、入力プロンプトを総合的なマルチシーンスクリプトに変換する。 VideoStudioは、視覚的品質、コンテンツ整合性、ユーザの好みといった点で、SOTAビデオ生成モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-01-02T15:56:48Z)
• VideoDreamer: Customized Multi-Subject Text-to-Video Generation with Disen-Mix Finetuning [47.61090084143284]
  VideoDreamerは、複数の被験者の視覚的特徴を忠実に保存する、時間的に一貫したテキスト誘導ビデオを生成することができる。 ビデオジェネレータは、提案されたDisen-Mix FinetuningとHuman-in-the-Loop Re-finetuning戦略により、与えられた複数の主題に対してさらにカスタマイズされる。
  論文  参考訳（メタデータ） (2023-11-02T04:38:50Z)
• Animate-A-Story: Storytelling with Retrieval-Augmented Video Generation [69.20173154096]
  本研究では,2つの機能モジュールからなるフレームワーク,Motion Structure RetrievalとStructure-Guided Text-to-Video Synthesisを開発した。 最初のモジュールでは、オフザシェルフビデオ検索システムを活用し、動画深度をモーション構造として抽出する。 第2のモジュールに対しては、構造と文字を柔軟に制御する制御可能なビデオ生成モデルを提案する。
  論文  参考訳（メタデータ） (2023-07-13T17:57:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。