論文の概要: MarDini: Masked Autoregressive Diffusion for Video Generation at Scale

• arxiv url: http://arxiv.org/abs/2410.20280v1
• Date: Sat, 26 Oct 2024 21:12:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:17:15.638431
• Title: MarDini: Masked Autoregressive Diffusion for Video Generation at Scale
• Title（参考訳）: MarDini: 大規模ビデオ生成のためのマスク付き自己回帰拡散
• Authors: Haozhe Liu, Shikun Liu, Zijian Zhou, Mengmeng Xu, Yanping Xie, Xiao Han, Juan C. Pérez, Ding Liu, Kumara Kahatapitiya, Menglin Jia, Jui-Chieh Wu, Sen He, Tao Xiang, Jürgen Schmidhuber, Juan-Manuel Pérez-Rúa,
• Abstract要約: MarDiniは、マスク付き自己回帰の利点を統合拡散モデル(DM)フレームワークに統合する、ビデオ拡散モデルの新たなファミリーである。 MarDiniは、ビデオグルーフのための新しい最先端の技術を、より高価な高度な画像とビデオのモデルに匹敵するビデオを効率よく生成する。
• 参考スコア（独自算出の注目度）: 76.84820168294586
• License:
• Abstract: We introduce MarDini, a new family of video diffusion models that integrate the advantages of masked auto-regression (MAR) into a unified diffusion model (DM) framework. Here, MAR handles temporal planning, while DM focuses on spatial generation in an asymmetric network design: i) a MAR-based planning model containing most of the parameters generates planning signals for each masked frame using low-resolution input; ii) a lightweight generation model uses these signals to produce high-resolution frames via diffusion de-noising. MarDini's MAR enables video generation conditioned on any number of masked frames at any frame positions: a single model can handle video interpolation (e.g., masking middle frames), image-to-video generation (e.g., masking from the second frame onward), and video expansion (e.g., masking half the frames). The efficient design allocates most of the computational resources to the low-resolution planning model, making computationally expensive but important spatio-temporal attention feasible at scale. MarDini sets a new state-of-the-art for video interpolation; meanwhile, within few inference steps, it efficiently generates videos on par with those of much more expensive advanced image-to-video models.
• Abstract（参考訳）: マスク付き自己回帰(MAR)の利点を統合拡散モデル(DM)フレームワークに統合した,ビデオ拡散モデルの新たなファミリーであるMarDiniを紹介する。 ここで、MARは時間計画を扱うが、DMは非対称ネットワーク設計における空間生成に焦点を当てている。 一 パラメータの大部分を含むMARに基づく計画モデルにおいて、低分解能入力を用いて、各マスクフレームの計画信号を生成すること。 二 軽量生成モデルにおいて、拡散脱雑音による高分解能フレームを生成するためにこれらの信号を使用する。 マーディーニのMARは、任意のフレーム位置における任意のマスキングフレームに条件付きビデオ生成を可能にする: 単一のモデルは、ビデオ補間(例えば、ミドルフレームのマスキング)、画像からビデオ生成(例えば、第2フレームのマスキング)、ビデオ展開(例えば、フレームの半分のマスキング)を処理できる。 効率的な設計は、計算資源のほとんどを低解像度の計画モデルに割り当て、計算コストがかかるが、大規模な時空間的注意力を実現する。 MarDiniは、ビデオ補間のための新しい最先端技術を開発しているが、いくつかの推論ステップでは、より高価な高度な画像対ビデオモデルと同等のビデオを効率よく生成する。

関連論文リスト

• MMAR: Towards Lossless Multi-Modal Auto-Regressive Probabilistic Modeling [64.09238330331195]
  本稿では,MMAR(Multi-Modal Auto-Regressive)確率モデルフレームワークを提案する。 離散化の手法とは異なり、MMARは情報損失を避けるために連続的に評価された画像トークンを取り入れる。 MMARは他のジョイントマルチモーダルモデルよりもはるかに優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-14T17:57:18Z)
• MotionAura: Generating High-Quality and Motion Consistent Videos using Discrete Diffusion [3.7270979204213446]
  ビデオ処理の課題に対処するための4つの重要なコントリビューションを提示する。 まず,3次元逆ベクトル量子化バリエンコエンコオートコーダを紹介する。 次に,テキスト・ビデオ生成フレームワークであるMotionAuraを紹介する。 第3に,スペクトル変換器を用いたデノナイジングネットワークを提案する。 第4に,Sketch Guided Videopaintingのダウンストリームタスクを導入する。
  論文  参考訳（メタデータ） (2024-10-10T07:07:56Z)
• ViBiDSampler: Enhancing Video Interpolation Using Bidirectional Diffusion Sampler [53.98558445900626]
  現在の画像とビデオの拡散モデルは、単一のフレームからビデオを生成するのに強力だが、2フレーム条件付き生成に適応する必要がある。 我々は,これらのオフマンド問題に対処するために,広範囲な再ノイズや微調整を必要とせずに,新しい双方向サンプリング戦略を導入する。 提案手法では,それぞれ開始フレームと終了フレームに条件付き前方経路と後方経路の両方に沿って逐次サンプリングを行い,中間フレームの整合性を確保した。
  論文  参考訳（メタデータ） (2024-10-08T03:01:54Z)
• Disentangled Motion Modeling for Video Frame Interpolation [40.83962594702387]
  ビデオフレーム(VFI)は、既存のフレーム間の中間フレームを合成し、視覚的滑らかさと品質を高めることを目的としている。 中間動作モデリングに着目して視覚的品質を高めるVFIの拡散に基づく手法であるDistangled Motion Modeling (MoMo)を導入する。
  論文  参考訳（メタデータ） (2024-06-25T03:50:20Z)
• ZeroSmooth: Training-free Diffuser Adaptation for High Frame Rate Video Generation [81.90265212988844]
  本稿では,プラグイン・アンド・プレイ方式で生成ビデオモデルを作成するためのトレーニング不要なビデオ手法を提案する。 我々は,映像モデルを隠れ状態補正モジュールを備えた自己カスケード映像拡散モデルに変換する。 私たちのトレーニングフリーの手法は、巨大な計算リソースと大規模データセットによってサポートされているトレーニングモデルにさえ匹敵するものです。
  論文  参考訳（メタデータ） (2024-06-03T00:31:13Z)
• Video Interpolation with Diffusion Models [54.06746595879689]
  本稿では,ビデオ生成モデルであるVIDIMについて述べる。 VIDIMはカスケード拡散モデルを用いて、まず低解像度でターゲット映像を生成し、次に低解像度で生成されたビデオに条件付けされた高解像度映像を生成する。
  論文  参考訳（メタデータ） (2024-04-01T15:59:32Z)
• Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets [36.95521842177614]
  本稿では,高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細映像・高精細映像・高精細・高精細・高精細・高精細・高精細・高精細 我々は,テキスト・ツー・イメージ・プレトレーニング,ビデオ・プレトレーニング,高品質ビデオファインタニングの3つの異なる段階を同定し,評価する。
  論文  参考訳（メタデータ） (2023-11-25T22:28:38Z)
• Matryoshka Diffusion Models [38.26966802461602]
  拡散モデルは、高品質の画像やビデオを生成するデファクトアプローチである。 本稿では,高解像度画像とビデオ合成のためのエンドツーエンドフレームワークであるMatryoshka Diffusion Modelsを紹介する。 本稿では,クラス条件付き画像生成,高解像度テキスト・ツー・イメージ,テキスト・ツー・ビデオアプリケーションなど,様々なベンチマークにおけるアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2023-10-23T17:20:01Z)
• VIDM: Video Implicit Diffusion Models [75.90225524502759]
  拡散モデルは、高品質で多様な画像の集合を合成するための強力な生成方法として登場した。 本研究では,移動の効果を暗黙の条件でモデル化する拡散モデルに基づく映像生成手法を提案する。 我々は,空間トランケーションのサンプリング,ロバストネスペナルティ,位置群正規化などの複数の戦略を提案することにより,生成されたビデオの品質を向上させる。
  論文  参考訳（メタデータ） (2022-12-01T02:58:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。