論文の概要: Free-Bloom: Zero-Shot Text-to-Video Generator with LLM Director and LDM Animator

• arxiv url: http://arxiv.org/abs/2309.14494v1
• Date: Mon, 25 Sep 2023 19:42:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 15:55:26.929707
• Title: Free-Bloom: Zero-Shot Text-to-Video Generator with LLM Director and LDM Animator
• Title（参考訳）: フリーブルーム:LDMディレクタとLCMアニメーションを用いたゼロショットテキスト・ビデオ・ジェネレータ
• Authors: Hanzhuo Huang, Yufan Feng, Cheng Shi, Lan Xu, Jingyi Yu, Sibei Yang
• Abstract要約: 本研究では,データ・コスト効率を考慮したゼロショットテキスト・ビデオ生成に焦点を当てた。 本稿では,大規模言語モデル (LLM) をディレクタとして活用し,セマンティック・コヒーレンス・プロンプト・シーケンスを生成する新しいフリーブルームパイプラインを提案する。 また,共同ノイズサンプリング,ステップ・アウェア・アテンション・シフト,デュアルパスなど,逆処理におけるLCMの適応に対する注釈修正も提案する。
• 参考スコア（独自算出の注目度）: 59.589919015669274
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-video is a rapidly growing research area that aims to generate a semantic, identical, and temporal coherence sequence of frames that accurately align with the input text prompt. This study focuses on zero-shot text-to-video generation considering the data- and cost-efficient. To generate a semantic-coherent video, exhibiting a rich portrayal of temporal semantics such as the whole process of flower blooming rather than a set of "moving images", we propose a novel Free-Bloom pipeline that harnesses large language models (LLMs) as the director to generate a semantic-coherence prompt sequence, while pre-trained latent diffusion models (LDMs) as the animator to generate the high fidelity frames. Furthermore, to ensure temporal and identical coherence while maintaining semantic coherence, we propose a series of annotative modifications to adapting LDMs in the reverse process, including joint noise sampling, step-aware attention shift, and dual-path interpolation. Without any video data and training requirements, Free-Bloom generates vivid and high-quality videos, awe-inspiring in generating complex scenes with semantic meaningful frame sequences. In addition, Free-Bloom is naturally compatible with LDMs-based extensions.
• Abstract（参考訳）: text-to-videoは急速に成長している研究分野であり、テキストプロンプトと正確に一致したフレームの意味的、同一性、時間的コヒーレンス列を生成することを目的としている。 本研究では,データ効率とコスト効率を考慮したゼロショットテキスト対ビデオ生成に着目した。 動画像群よりも花の咲き方全体のような時間的意味論の豊かな描写を示すセマンティックコヒーレント映像を生成するために,大言語モデル(llms)をディレクターとして意味コヒーレンスプロンプトシーケンスを生成するとともに,事前学習された潜在拡散モデル(ldms)をアニメーターとして高忠実フレームを生成する新しいフリーブルームパイプラインを提案する。 さらに, 意味的コヒーレンスを維持しつつ, 時間的かつ同一のコヒーレンスを確保するために, 関節雑音サンプリング, ステップ認識注意シフト, デュアルパス補間など, 逆過程におけるldm適応に対する一連の注釈的修正を提案する。 ビデオデータやトレーニング要件がなければ、free-bloomは鮮明で高品質なビデオを生成する。 さらに、Free-Bloom は LDM ベースの拡張と自然に互換性がある。

関連論文リスト

• FancyVideo: Towards Dynamic and Consistent Video Generation via Cross-frame Textual Guidance [47.88160253507823]
  我々は、既存のテキスト制御機構を改善する革新的なビデオジェネレータであるFancyVideoを紹介した。 CTGMは、TII(Temporal Information)、TAR(Temporal Affinity Refiner)、TFB(Temporal Feature Booster)をクロスアテンションの開始、中、末に組み込んでいる。
  論文  参考訳（メタデータ） (2024-08-15T14:47:44Z)
• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)
• FlowZero: Zero-Shot Text-to-Video Synthesis with LLM-Driven Dynamic Scene Syntax [72.89879499617858]
  FlowZeroは、LLM(Large Language Models)と画像拡散モデルを組み合わせたフレームワークで、時間的に一貫したビデオを生成する。 FlowZeroはゼロショットビデオ合成の改善を実現し、鮮明なモーションでコヒーレントなビデオを生成する。
  論文  参考訳（メタデータ） (2023-11-27T13:39:44Z)
• Reuse and Diffuse: Iterative Denoising for Text-to-Video Generation [92.55296042611886]
  リユースとディフューズ”と呼ばれるフレームワークを$textitVidRD$と名づけて提案する。 また、既存の複数のデータセットからの多様なコンテンツを含むビデオテキストデータを構成するための一連の戦略を提案する。
  論文  参考訳（メタデータ） (2023-09-07T08:12:58Z)
• Rerender A Video: Zero-Shot Text-Guided Video-to-Video Translation [93.18163456287164]
  本稿では,動画に画像モデルを適用するための新しいテキスト誘導型動画翻訳フレームワークを提案する。 我々のフレームワークは,グローバルなスタイルと局所的なテクスチャの時間的一貫性を低コストで実現している。
  論文  参考訳（メタデータ） (2023-06-13T17:52:23Z)
• DirecT2V: Large Language Models are Frame-Level Directors for Zero-Shot Text-to-Video Generation [37.25815760042241]
  本稿では,テキスト・ツー・ビデオ(T2V)ビデオを生成するための新しいフレームワークであるDirecT2Vを紹介する。 拡散モデルに新しい値マッピング法とデュアルソフトマックスフィルタリングを適用し、追加のトレーニングを必要としない。 実験により,視覚的コヒーレントかつストーリーフルなビデオ制作におけるフレームワークの有効性が検証された。
  論文  参考訳（メタデータ） (2023-05-23T17:57:09Z)
• Towards Smooth Video Composition [59.134911550142455]
  ビデオ生成には、時間とともに動的コンテンツを伴う一貫した永続的なフレームが必要である。 本研究は, 生成的対向ネットワーク(GAN)を用いて, 任意の長さの映像を構成するための時間的関係を, 数フレームから無限までモデル化するものである。 単体画像生成のためのエイリアスフリー操作は、適切に学習された知識とともに、フレーム単位の品質を損なうことなく、スムーズなフレーム遷移をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-12-14T18:54:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。