論文の概要: MarDini: Masked Autoregressive Diffusion for Video Generation at Scale

• arxiv url: http://arxiv.org/abs/2410.20280v1
• Date: Sat, 26 Oct 2024 21:12:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:17:15.638431
• Title: MarDini: Masked Autoregressive Diffusion for Video Generation at Scale
• Title（参考訳）: MarDini: 大規模ビデオ生成のためのマスク付き自己回帰拡散
• Authors: Haozhe Liu, Shikun Liu, Zijian Zhou, Mengmeng Xu, Yanping Xie, Xiao Han, Juan C. Pérez, Ding Liu, Kumara Kahatapitiya, Menglin Jia, Jui-Chieh Wu, Sen He, Tao Xiang, Jürgen Schmidhuber, Juan-Manuel Pérez-Rúa,
• Abstract要約: MarDiniは、マスク付き自己回帰の利点を統合拡散モデル(DM)フレームワークに統合する、ビデオ拡散モデルの新たなファミリーである。 MarDiniは、ビデオグルーフのための新しい最先端の技術を、より高価な高度な画像とビデオのモデルに匹敵するビデオを効率よく生成する。
• 参考スコア（独自算出の注目度）: 76.84820168294586
• License:
• Abstract: We introduce MarDini, a new family of video diffusion models that integrate the advantages of masked auto-regression (MAR) into a unified diffusion model (DM) framework. Here, MAR handles temporal planning, while DM focuses on spatial generation in an asymmetric network design: i) a MAR-based planning model containing most of the parameters generates planning signals for each masked frame using low-resolution input; ii) a lightweight generation model uses these signals to produce high-resolution frames via diffusion de-noising. MarDini's MAR enables video generation conditioned on any number of masked frames at any frame positions: a single model can handle video interpolation (e.g., masking middle frames), image-to-video generation (e.g., masking from the second frame onward), and video expansion (e.g., masking half the frames). The efficient design allocates most of the computational resources to the low-resolution planning model, making computationally expensive but important spatio-temporal attention feasible at scale. MarDini sets a new state-of-the-art for video interpolation; meanwhile, within few inference steps, it efficiently generates videos on par with those of much more expensive advanced image-to-video models.
• Abstract（参考訳）: マスク付き自己回帰(MAR)の利点を統合拡散モデル(DM)フレームワークに統合した,ビデオ拡散モデルの新たなファミリーであるMarDiniを紹介する。 ここで、MARは時間計画を扱うが、DMは非対称ネットワーク設計における空間生成に焦点を当てている。 一 パラメータの大部分を含むMARに基づく計画モデルにおいて、低分解能入力を用いて、各マスクフレームの計画信号を生成すること。 二 軽量生成モデルにおいて、拡散脱雑音による高分解能フレームを生成するためにこれらの信号を使用する。 マーディーニのMARは、任意のフレーム位置における任意のマスキングフレームに条件付きビデオ生成を可能にする: 単一のモデルは、ビデオ補間(例えば、ミドルフレームのマスキング)、画像からビデオ生成(例えば、第2フレームのマスキング)、ビデオ展開(例えば、フレームの半分のマスキング)を処理できる。 効率的な設計は、計算資源のほとんどを低解像度の計画モデルに割り当て、計算コストがかかるが、大規模な時空間的注意力を実現する。 MarDiniは、ビデオ補間のための新しい最先端技術を開発しているが、いくつかの推論ステップでは、より高価な高度な画像対ビデオモデルと同等のビデオを効率よく生成する。

関連論文リスト

• Adapting Image-to-Video Diffusion Models for Large-Motion Frame Interpolation [0.0]
  本研究では,大動フレームに対して映像間モデルを適用するために設計された条件付きエンコーダを提案する。 性能向上のために,デュアルブランチ特徴抽出器を統合し,クロスフレームアテンション機構を提案する。 提案手法は,他の最先端手法と比較して,Fr'teche Video Distance測定において優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-22T14:49:55Z)
• VISION-XL: High Definition Video Inverse Problem Solver using Latent Image Diffusion Models [58.464465016269614]
  本稿では,遅延画像拡散モデルを用いて高精細ビデオ逆問題を解決するためのフレームワークを提案する。 提案手法は遅延空間拡散モデルを用いて,映像品質と解像度の向上を実現する。 従来の手法とは異なり,本手法では複数のアスペクト比をサポートし,1つのGPU上で2.5分以内でHD解像度の再構成を行う。
  論文  参考訳（メタデータ） (2024-11-29T08:10:49Z)
• Multimodal Instruction Tuning with Hybrid State Space Models [25.921044010033267]
  長いコンテキストは、多モーダルな大言語モデルの認識と理解能力を高めるために不可欠である。 本稿では,マルチモーダルアプリケーションにおける長時間のコンテキストを効率的に扱うために,ハイブリッドトランスフォーマー-MAMBAモデルを用いた新しい手法を提案する。 本モデルでは,高解像度画像と高フレーム映像の推論効率を現行モデルに比べて約4倍向上させる。
  論文  参考訳（メタデータ） (2024-11-13T18:19:51Z)
• MMAR: Towards Lossless Multi-Modal Auto-Regressive Probabilistic Modeling [64.09238330331195]
  本稿では,MMAR(Multi-Modal Auto-Regressive)確率モデルフレームワークを提案する。 離散化の手法とは異なり、MMARは情報損失を避けるために連続的に評価された画像トークンを取り入れる。 MMARは他のジョイントマルチモーダルモデルよりもはるかに優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-14T17:57:18Z)
• ViBiDSampler: Enhancing Video Interpolation Using Bidirectional Diffusion Sampler [53.98558445900626]
  現在の画像とビデオの拡散モデルは、単一のフレームからビデオを生成するのに強力だが、2フレーム条件付き生成に適応する必要がある。 我々は,これらのオフマンド問題に対処するために,広範囲な再ノイズや微調整を必要とせずに,新しい双方向サンプリング戦略を導入する。 提案手法では,それぞれ開始フレームと終了フレームに条件付き前方経路と後方経路の両方に沿って逐次サンプリングを行い,中間フレームの整合性を確保した。
  論文  参考訳（メタデータ） (2024-10-08T03:01:54Z)
• Video Interpolation with Diffusion Models [54.06746595879689]
  本稿では,ビデオ生成モデルであるVIDIMについて述べる。 VIDIMはカスケード拡散モデルを用いて、まず低解像度でターゲット映像を生成し、次に低解像度で生成されたビデオに条件付けされた高解像度映像を生成する。
  論文  参考訳（メタデータ） (2024-04-01T15:59:32Z)
• Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets [36.95521842177614]
  本稿では,高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細映像・高精細映像・高精細・高精細・高精細・高精細・高精細・高精細 我々は,テキスト・ツー・イメージ・プレトレーニング,ビデオ・プレトレーニング,高品質ビデオファインタニングの3つの異なる段階を同定し,評価する。
  論文  参考訳（メタデータ） (2023-11-25T22:28:38Z)
• Matryoshka Diffusion Models [38.26966802461602]
  拡散モデルは、高品質の画像やビデオを生成するデファクトアプローチである。 本稿では,高解像度画像とビデオ合成のためのエンドツーエンドフレームワークであるMatryoshka Diffusion Modelsを紹介する。 本稿では,クラス条件付き画像生成,高解像度テキスト・ツー・イメージ,テキスト・ツー・ビデオアプリケーションなど,様々なベンチマークにおけるアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2023-10-23T17:20:01Z)
• VIDM: Video Implicit Diffusion Models [75.90225524502759]
  拡散モデルは、高品質で多様な画像の集合を合成するための強力な生成方法として登場した。 本研究では,移動の効果を暗黙の条件でモデル化する拡散モデルに基づく映像生成手法を提案する。 我々は,空間トランケーションのサンプリング,ロバストネスペナルティ,位置群正規化などの複数の戦略を提案することにより,生成されたビデオの品質を向上させる。
  論文  参考訳（メタデータ） (2022-12-01T02:58:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。