論文の概要: Diffusion Models for Video Prediction and Infilling
- arxiv url: http://arxiv.org/abs/2206.07696v1
- Date: Wed, 15 Jun 2022 17:44:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-16 12:49:33.708513
- Title: Diffusion Models for Video Prediction and Infilling
- Title(参考訳): 映像予測と埋め込みのための拡散モデル
- Authors: Tobias H\"oppe, Arash Mehrjou, Stefan Bauer, Didrik Nielsen, Andrea
Dittadi
- Abstract要約: 本稿では,Random-Mask Video Diffusion (RaMViD)を提案する。
マスクをオンにすることで、モデルはビデオ予測、補充、アップサンプリングを行うことができる。
我々は,ビデオ予測のためのベンチマークデータセットと,競争力のある結果を得たビデオ生成のためのベンチマークデータセットを2つ評価した。
- 参考スコア(独自算出の注目度): 27.246449347832108
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To predict and anticipate future outcomes or reason about missing information
in a sequence is a key ability for agents to be able to make intelligent
decisions. This requires strong temporally coherent generative capabilities.
Diffusion models have shown huge success in several generative tasks lately,
but have not been extensively explored in the video domain. We present
Random-Mask Video Diffusion (RaMViD), which extends image diffusion models to
videos using 3D convolutions, and introduces a new conditioning technique
during training. By varying the mask we condition on, the model is able to
perform video prediction, infilling and upsampling. Since we do not use
concatenation to condition on a mask, as done in most conditionally trained
diffusion models, we are able to decrease the memory footprint. We evaluated
the model on two benchmark datasets for video prediction and one for video
generation on which we achieved competitive results. On Kinetics-600 we
achieved state-of-the-art for video prediction.
- Abstract(参考訳): エージェントがインテリジェントな決定を下す上で重要な能力である、シーケンス内の情報不足に関する将来の結果や理由を予測し、予測する。
これは強い時間的コヒーレントな生成能力を必要とする。
拡散モデルは最近、いくつかの生成タスクで大きな成功を収めているが、ビデオ領域では広く研究されていない。
本研究では,画像拡散モデルを3次元畳み込みを用いてビデオに拡張するランダムマスクビデオ拡散(ramvid)を提案し,トレーニング中の新しい条件付け手法を提案する。
マスクをオンにすることで、モデルはビデオ予測、補充、アップサンプリングを行うことができる。
マスクの条件付けに結合を用いないため、ほとんどの条件付き拡散モデルで行われているように、メモリフットプリントを削減できる。
本研究では,ビデオ予測のための2つのベンチマークデータセットと,競合する結果を得たビデオ生成のためのモデルを評価した。
Kinetics-600では、ビデオ予測の最先端を達成しました。
関連論文リスト
- ART$\boldsymbol{\cdot}$V: Auto-Regressive Text-to-Video Generation with
Diffusion Models [99.84195819571411]
ART$boldsymbolcdot$Vは拡散モデルを用いた自動回帰ビデオ生成のための効率的なフレームワークである。
隣接するフレーム間の単純な連続的な動きしか学ばない。
様々なプロンプトで調整された、任意に長いビデオを生成することができる。
論文 参考訳(メタデータ) (2023-11-30T18:59:47Z) - Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large
Datasets [36.95521842177614]
本稿では,高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細映像・高精細映像・高精細・高精細・高精細・高精細・高精細・高精細
我々は,テキスト・ツー・イメージ・プレトレーニング,ビデオ・プレトレーニング,高品質ビデオファインタニングの3つの異なる段階を同定し,評価する。
論文 参考訳(メタデータ) (2023-11-25T22:28:38Z) - Diffusion Models as Masked Autoencoders [52.442717717898056]
拡散モデルに対する近年の関心を踏まえて、生成的に事前学習された視覚表現を再考する。
拡散モデルによる直接事前学習では強い表現は得られないが、マスク付き入力上での拡散モデルと公式拡散モデルをマスク付きオートエンコーダ(DiffMAE)として条件付ける。
設計選択の長所と短所について包括的な研究を行い、拡散モデルとマスク付きオートエンコーダ間の接続を構築する。
論文 参考訳(メタデータ) (2023-04-06T17:59:56Z) - Latent Video Diffusion Models for High-Fidelity Long Video Generation [58.346702410885236]
低次元ラテント空間を用いた軽量映像拡散モデルを提案する。
また,1000フレーム以上の長編動画を生成できるように,遅延空間における階層的拡散も提案する。
我々のフレームワークは、以前の強力なベースラインよりもリアルで長いビデオを生成する。
論文 参考訳(メタデータ) (2022-11-23T18:58:39Z) - SinFusion: Training Diffusion Models on a Single Image or Video [11.473177123332281]
拡散モデルでは画像生成とビデオ生成が大幅に進歩し、GANよりも品質と多様性が向上した。
本稿では,単一入力画像やビデオ上で拡散モデルをトレーニングすることで,この問題を解決する方法を示す。
我々の画像/ビデオ特異的拡散モデル(SinFusion)は、拡散モデルの条件付け機能を利用して、単一の画像またはビデオの外観とダイナミクスを学習する。
論文 参考訳(メタデータ) (2022-11-21T18:59:33Z) - HARP: Autoregressive Latent Video Prediction with High-Fidelity Image
Generator [90.74663948713615]
我々は,高忠実度未来のフレームを予測可能な自己回帰遅延映像予測モデルを訓練する。
既存のモデルに最小限の修正を加えて高解像度(256x256)ビデオを作成する。
論文 参考訳(メタデータ) (2022-09-15T08:41:57Z) - Masked Conditional Video Diffusion for Prediction, Generation, and
Interpolation [14.631523634811392]
Masked Conditional Video Diffusion (MCVD) はビデオ予測のための汎用フレームワークである。
私たちは、過去のフレームや将来のフレームをすべて無作為に、無作為に、独立してマスクする方法でモデルをトレーニングします。
提案手法は,1~12日で計算時間を計測し,標準的なビデオ予測ベンチマークにまたがってSOTA結果を生成する。
論文 参考訳(メタデータ) (2022-05-19T20:58:05Z) - Video Diffusion Models [47.99413440461512]
時間的コヒーレントな高忠実度ビデオの生成は、生成モデリング研究において重要なマイルストーンである。
本稿では,ビデオ生成のための拡散モデルを提案する。
そこで本研究では,テキスト条件付きビデオ生成タスクにおける最初の結果と,未条件のビデオ生成ベンチマークにおける最新結果について述べる。
論文 参考訳(メタデータ) (2022-04-07T14:08:02Z) - Greedy Hierarchical Variational Autoencoders for Large-Scale Video
Prediction [79.23730812282093]
本稿では,階層型オートエンコーダの各レベルを厳格に訓練することにより,高忠実度映像予測を学習するGreedy Hierarchical Variational Autoencoders(GHVAEs)を紹介する。
GHVAEは4つのビデオデータセットで予測性能が17~55%向上し、実際のロボットタスクで35~40%向上し、モジュールを追加するだけでパフォーマンスを単調に改善することができる。
論文 参考訳(メタデータ) (2021-03-06T18:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。