論文の概要: CascadeV: An Implementation of Wurstchen Architecture for Video Generation

• arxiv url: http://arxiv.org/abs/2501.16612v1
• Date: Tue, 28 Jan 2025 01:14:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 16:41:35.092432
• Title: CascadeV: An Implementation of Wurstchen Architecture for Video Generation
• Title（参考訳）: CascadeV:ビデオ生成のためのWurstchenアーキテクチャの実装
• Authors: Wenfeng Lin, Jiangchuan Wei, Boyuan Liu, Yichen Zhang, Shiyue Yan, Mingyu Guo,
• Abstract要約: 本稿では,最先端の2K解像度ビデオを生成することができるLDM(Latent diffusion model)を提案する。 実験により, 高い圧縮比を達成でき, 高品質ビデオ生成に伴う計算課題を大幅に削減できることが示された。 我々のモデルは既存のT2Vモデルとカスケードすることができ、理論的には、微調整なしで4$times$の解像度やフレームを毎秒増加させることができる。
• 参考スコア（独自算出の注目度）: 4.086317089863318
• License:
• Abstract: Recently, with the tremendous success of diffusion models in the field of text-to-image (T2I) generation, increasing attention has been directed toward their potential in text-to-video (T2V) applications. However, the computational demands of diffusion models pose significant challenges, particularly in generating high-resolution videos with high frame rates. In this paper, we propose CascadeV, a cascaded latent diffusion model (LDM), that is capable of producing state-of-the-art 2K resolution videos. Experiments demonstrate that our cascaded model achieves a higher compression ratio, substantially reducing the computational challenges associated with high-quality video generation. We also implement a spatiotemporal alternating grid 3D attention mechanism, which effectively integrates spatial and temporal information, ensuring superior consistency across the generated video frames. Furthermore, our model can be cascaded with existing T2V models, theoretically enabling a 4$\times$ increase in resolution or frames per second without any fine-tuning. Our code is available at https://github.com/bytedance/CascadeV.
• Abstract（参考訳）: 近年,テキスト・ツー・イメージ(T2I)生成分野における拡散モデルの成功により,テキスト・ツー・ビデオ(T2V)応用の可能性に注目が向けられている。 しかし、拡散モデルの計算的要求は、特に高フレームレートの高解像度ビデオの生成において大きな課題を生んでいる。 本稿では,現在最先端の2K解像度ビデオを生成することができるLDM (CascadeV) を提案する。 実験により, 高い圧縮比を達成でき, 高品質ビデオ生成に伴う計算課題を大幅に削減できることが示された。 また,空間的・時間的情報を効果的に統合し,生成した映像フレーム間の整合性を確保できる時空間交互性グリッド3Dアテンション機構を実装した。 さらに、我々のモデルは既存のT2Vモデルとカスケードすることができ、理論的には、微調整なしで4$\times$の解像度やフレームを毎秒増加させることができる。 私たちのコードはhttps://github.com/bytedance/CascadeVで利用可能です。

関連論文リスト

• FrameBridge: Improving Image-to-Video Generation with Bridge Models [23.19370431940568]
  I2V(Image-to-Video)生成はビデオ合成に広く応用され,注目が集まっている。 本稿では, FrameBridgeについて, 与えられた静止画像をビデオの先行画像とし, それらの間のトラクタブルブリッジモデルを確立する。 本研究では,拡散型T2VモデルのFrameBridgeへの微調整効率を向上し,橋梁型I2Vモデルの合成品質を向上させる2つの手法,SNR- Fine-tuning (SAF) とNeural priorを提案する。
  論文  参考訳（メタデータ） (2024-10-20T12:10:24Z)
• Hierarchical Patch Diffusion Models for High-Resolution Video Generation [50.42746357450949]
  我々は,階層的な方法で,コンテキスト情報を低スケールから高スケールのパッチに伝播する深層文脈融合を開発する。 また,ネットワーク容量の増大と,粗い画像の細部への演算を行う適応計算を提案する。 得られたモデルは、クラス条件のビデオ生成において66.32の最先端FVDスコアと87.68のインセプションスコアを新たに設定する。
  論文  参考訳（メタデータ） (2024-06-12T01:12:53Z)
• Efficient Video Diffusion Models via Content-Frame Motion-Latent Decomposition [124.41196697408627]
  本稿では,映像生成のための事前学習画像拡散モデルの拡張として,コンテントモーション潜時拡散モデル(CMD)を提案する。 CMDは、映像を(画像のような)コンテンツフレームと低次元モーションラテント表現の組み合わせとしてエンコードする。 我々は、予め訓練された画像拡散モデルを微調整し、コンテンツフレームを生成し、新しい軽量拡散モデルをトレーニングすることで、動き潜在表現を生成する。
  論文  参考訳（メタデータ） (2024-03-21T05:48:48Z)
• Photorealistic Video Generation with Diffusion Models [44.95407324724976]
  W.A.L.T.は拡散モデリングによるビデオ生成のためのトランスフォーマーベースのアプローチである。 我々は因果エンコーダを用いて、統一された潜在空間内で画像とビデオを共同で圧縮し、モダリティ間のトレーニングと生成を可能にする。 また,基本潜時ビデオ拡散モデルと2つのビデオ超解像拡散モデルからなるテキスト・ビデオ生成タスクのための3つのモデルのカスケードをトレーニングし,毎秒8ドルフレームで512倍の解像度の動画を生成する。
  論文  参考訳（メタデータ） (2023-12-11T18:59:57Z)
• I2VGen-XL: High-Quality Image-to-Video Synthesis via Cascaded Diffusion Models [54.99771394322512]
  ビデオ合成は拡散モデルの急速な発展の恩恵を受け、近年顕著な進歩を遂げている。 意味的正確性、明快さ、連続性-時間的連続性という観点ではまだ遭遇に挑戦する。 これら2つの要素を分離することでモデル性能を向上させるカスケードI2VGen-XL手法を提案する。 I2VGen-XLは、生成したビデオの意味的精度、詳細の連続性、明快さを同時に向上させることができる。
  論文  参考訳（メタデータ） (2023-11-07T17:16:06Z)
• LAVIE: High-Quality Video Generation with Cascaded Latent Diffusion Models [133.088893990272]
  我々は、訓練済みのテキスト・ツー・イメージ(T2I)モデルをベースとして、高品質なテキスト・ツー・ビデオ生成モデル(T2V)を学習する。 本稿では,遅延拡散モデルを用いた統合ビデオ生成フレームワークLaVieを提案する。
  論文  参考訳（メタデータ） (2023-09-26T17:52:03Z)
• Video Probabilistic Diffusion Models in Projected Latent Space [75.4253202574722]
  我々は、PVDM(Latent Video diffusion model)と呼ばれる新しいビデオ生成モデルを提案する。 PVDMは低次元の潜伏空間で映像配信を学習し、限られた資源で高解像度映像を効率的に訓練することができる。
  論文  参考訳（メタデータ） (2023-02-15T14:22:34Z)
• Latent Video Diffusion Models for High-Fidelity Long Video Generation [58.346702410885236]
  低次元ラテント空間を用いた軽量映像拡散モデルを提案する。 また,1000フレーム以上の長編動画を生成できるように,遅延空間における階層的拡散も提案する。 我々のフレームワークは、以前の強力なベースラインよりもリアルで長いビデオを生成する。
  論文  参考訳（メタデータ） (2022-11-23T18:58:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。