論文の概要: ViD-GPT: Introducing GPT-style Autoregressive Generation in Video Diffusion Models

• arxiv url: http://arxiv.org/abs/2406.10981v1
• Date: Sun, 16 Jun 2024 15:37:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 19:42:48.764125
• Title: ViD-GPT: Introducing GPT-style Autoregressive Generation in Video Diffusion Models
• Title（参考訳）: ViD-GPT:ビデオ拡散モデルにおけるGPT型自己回帰生成の導入
• Authors: Kaifeng Gao, Jiaxin Shi, Hanwang Zhang, Chunping Wang, Jun Xiao,
• Abstract要約: ビデオ拡散モデル(VDM)の大多数は、自己回帰的な方法で長いビデオを生成する。 我々は、VDMに因果生成(すなわち一方向)を導入し、過去のフレームを将来のフレームを生成するプロンプトとして利用する。 我々のVD-GPTは、長大なビデオ生成において、定量的かつ質的に最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 66.84478240757038
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: With the advance of diffusion models, today's video generation has achieved impressive quality. But generating temporal consistent long videos is still challenging. A majority of video diffusion models (VDMs) generate long videos in an autoregressive manner, i.e., generating subsequent clips conditioned on last frames of previous clip. However, existing approaches all involve bidirectional computations, which restricts the receptive context of each autoregression step, and results in the model lacking long-term dependencies. Inspired from the huge success of large language models (LLMs) and following GPT (generative pre-trained transformer), we bring causal (i.e., unidirectional) generation into VDMs, and use past frames as prompt to generate future frames. For Causal Generation, we introduce causal temporal attention into VDM, which forces each generated frame to depend on its previous frames. For Frame as Prompt, we inject the conditional frames by concatenating them with noisy frames (frames to be generated) along the temporal axis. Consequently, we present Video Diffusion GPT (ViD-GPT). Based on the two key designs, in each autoregression step, it is able to acquire long-term context from prompting frames concatenated by all previously generated frames. Additionally, we bring the kv-cache mechanism to VDMs, which eliminates the redundant computation from overlapped frames, significantly boosting the inference speed. Extensive experiments demonstrate that our ViD-GPT achieves state-of-the-art performance both quantitatively and qualitatively on long video generation. Code will be available at https://github.com/Dawn-LX/Causal-VideoGen.
• Abstract（参考訳）: 拡散モデルの進歩により、今日のビデオ生成は印象的な品質を達成した。 しかし、時間的に一貫した長いビデオを作ることはまだ難しい。 ビデオ拡散モデル(VDM)の大多数は、自己回帰的な方法で長いビデオを生成する。 しかし、既存のアプローチはすべて双方向の計算を伴い、これは各自己回帰ステップの受容コンテキストを制限し、結果として長期依存が欠如する。 大規模言語モデル (LLM) と GPT (生成事前学習型トランスフォーマー) の大きな成功から着想を得て, 因果(一方向)生成をVDMに導入し, 過去のフレームを将来のフレーム生成のプロンプトとして利用する。 本稿では、因果的時間的注意をVDMに導入し、各フレームが以前のフレームに依存するように強制する。 Prompt として Frame は、時間軸に沿ってノイズフレーム(生成するフレーム)と結合することで条件フレームを注入する。 その結果,ビデオ拡散GPT(ViD-GPT)が得られた。 2つの鍵設計に基づいて、各自己回帰ステップにおいて、前述した全てのフレームで連結されたフレームのプロンプトから長期コンテキストを取得することができる。 さらに、kv-cache機構をVDMに持ち込み、重なり合うフレームから冗長な計算を排除し、推論速度を大幅に向上させる。 広汎な実験により,VD-GPTは長時間ビデオ生成において,定量的かつ質的に,最先端の性能を達成することが示された。 コードはhttps://github.com/Dawn-LX/Causal-VideoGen.comで入手できる。

関連論文リスト

• Ca2-VDM: Efficient Autoregressive Video Diffusion Model with Causal Generation and Cache Sharing [66.66090399385304]
  Ca2-VDMは、Causal生成とキャッシュ共有を備えた効率的な自己回帰VDMである。 因果生成のために一方向の特徴計算を導入し、前回の自己回帰ステップで条件付きフレームのキャッシュをプリ計算できるようにする。 キャッシュ共有では、巨大なキャッシュストレージコストを避けるために、すべてのデノナイズステップでキャッシュを共有する。
  論文  参考訳（メタデータ） (2024-11-25T13:33:41Z)
• Redefining Temporal Modeling in Video Diffusion: The Vectorized Timestep Approach [29.753974393652356]
  フレーム対応ビデオ拡散モデル(FVDM)を提案する。 我々のアプローチでは、各フレームが独立したノイズスケジュールに従うことができ、モデルのキャパシティを高めて、きめ細かい時間依存性を捉えることができる。 実験により、FVDMは映像生成品質において最先端の手法よりも優れ、拡張タスクにも優れることが示された。
  論文  参考訳（メタデータ） (2024-10-04T05:47:39Z)
• Reuse and Diffuse: Iterative Denoising for Text-to-Video Generation [92.55296042611886]
  リユースとディフューズ”と呼ばれるフレームワークを$textitVidRD$と名づけて提案する。 また、既存の複数のデータセットからの多様なコンテンツを含むビデオテキストデータを構成するための一連の戦略を提案する。
  論文  参考訳（メタデータ） (2023-09-07T08:12:58Z)
• ControlVideo: Training-free Controllable Text-to-Video Generation [117.06302461557044]
  ControlVideoは、自然で効率的なテキスト・ビデオ生成を可能にするフレームワークである。 NVIDIA 2080Tiを使って、ショートビデオとロングビデオの両方を数分で生成する。
  論文  参考訳（メタデータ） (2023-05-22T14:48:53Z)
• Towards Smooth Video Composition [59.134911550142455]
  ビデオ生成には、時間とともに動的コンテンツを伴う一貫した永続的なフレームが必要である。 本研究は, 生成的対向ネットワーク(GAN)を用いて, 任意の長さの映像を構成するための時間的関係を, 数フレームから無限までモデル化するものである。 単体画像生成のためのエイリアスフリー操作は、適切に学習された知識とともに、フレーム単位の品質を損なうことなく、スムーズなフレーム遷移をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-12-14T18:54:13Z)
• Masked Conditional Video Diffusion for Prediction, Generation, and Interpolation [14.631523634811392]
  Masked Conditional Video Diffusion (MCVD) はビデオ予測のための汎用フレームワークである。 私たちは、過去のフレームや将来のフレームをすべて無作為に、無作為に、独立してマスクする方法でモデルをトレーニングします。 提案手法は,1～12日で計算時間を計測し,標準的なビデオ予測ベンチマークにまたがってSOTA結果を生成する。
  論文  参考訳（メタデータ） (2022-05-19T20:58:05Z)
• Learning Trajectory-Aware Transformer for Video Super-Resolution [50.49396123016185]
  ビデオ超解像は、高解像度(HR)フレームを低解像度(LR)フレームから復元することを目的としている。 既存のアプローチは通常、隣接する限られたフレームからビデオフレームを並べて集約する。 ビデオ超解像用トランスフォーマー(TTVSR)を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。