論文の概要: A Survey on Video Diffusion Models
- arxiv url: http://arxiv.org/abs/2310.10647v1
- Date: Mon, 16 Oct 2023 17:59:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 12:19:43.798645
- Title: A Survey on Video Diffusion Models
- Title(参考訳): ビデオ拡散モデルに関する調査研究
- Authors: Zhen Xing, Qijun Feng, Haoran Chen, Qi Dai, Han Hu, Hang Xu, Zuxuan
Wu, Yu-Gang Jiang
- Abstract要約: AI生成コンテンツ(AIGC)の最近の波は、コンピュータビジョンでかなりの成功を収めている。
その印象的な生成能力のため、拡散モデルは徐々にGANと自動回帰変換器に基づく手法に取って代わられている。
本稿では,AIGC時代の映像拡散モデルについて概観する。
- 参考スコア(独自算出の注目度): 107.4734254941333
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recent wave of AI-generated content (AIGC) has witnessed substantial
success in computer vision, with the diffusion model playing a crucial role in
this achievement. Due to their impressive generative capabilities, diffusion
models are gradually superseding methods based on GANs and auto-regressive
Transformers, demonstrating exceptional performance not only in image
generation and editing, but also in the realm of video-related research.
However, existing surveys mainly focus on diffusion models in the context of
image generation, with few up-to-date reviews on their application in the video
domain. To address this gap, this paper presents a comprehensive review of
video diffusion models in the AIGC era. Specifically, we begin with a concise
introduction to the fundamentals and evolution of diffusion models.
Subsequently, we present an overview of research on diffusion models in the
video domain, categorizing the work into three key areas: video generation,
video editing, and other video understanding tasks. We conduct a thorough
review of the literature in these three key areas, including further
categorization and practical contributions in the field. Finally, we discuss
the challenges faced by research in this domain and outline potential future
developmental trends. A comprehensive list of video diffusion models studied in
this survey is available at
https://github.com/ChenHsing/Awesome-Video-Diffusion-Models.
- Abstract(参考訳): AIGC(AI- generated content)の最近の波は、コンピュータビジョンにおいてかなりの成功を収め、拡散モデルがこの達成に重要な役割を果たしている。
その優れた生成能力のため、拡散モデルはganや自己回帰トランスフォーマーに基づく手法を徐々に置き換えており、画像生成や編集だけでなく、ビデオ関連研究の分野でも例外的な性能を示している。
しかし、既存の調査は主に画像生成の文脈における拡散モデルに焦点を当てており、ビデオ領域での応用に関する最新のレビューはほとんどない。
本稿では,このギャップに対処するため,aigc時代のビデオ拡散モデルの包括的レビューを行う。
具体的には,拡散モデルの基本と進化の簡潔な紹介から始める。
次に,映像領域における拡散モデルの研究の概要を概観し,映像生成,映像編集,その他の映像理解タスクの3つの重要領域に分類する。
我々は,この分野におけるさらなる分類と実践的貢献を含む,これら3つの分野の文献を徹底的にレビューする。
最後に,本領域の研究で直面する課題について考察し,今後の発展動向について概説する。
この調査で研究されたビデオ拡散モデルの包括的なリストは、https://github.com/chenhsing/awesome-video-diffusion-modelsで見ることができる。
関連論文リスト
- State of the Art on Diffusion Models for Visual Computing [191.6168813012954]
本稿では,拡散モデルの基本数学的概念,実装の詳細,および一般的な安定拡散モデルの設計選択を紹介する。
また,拡散に基づく生成と編集に関する文献の急速な発展を概観する。
利用可能なデータセット、メトリクス、オープンな課題、社会的意味について議論する。
論文 参考訳(メタデータ) (2023-10-11T05:32:29Z) - GD-VDM: Generated Depth for better Diffusion-based Video Generation [18.039417502897486]
本稿では,映像生成のための新しい拡散モデルGD-VDMを提案する。
また,GD-VDMをCityscapesデータセット上で評価した結果,自然ベースラインよりも多様で複雑なシーンが生成されることがわかった。
論文 参考訳(メタデータ) (2023-06-19T21:32:10Z) - Diffusion Models for Time Series Applications: A Survey [23.003273147019446]
拡散モデルは現在、画像、ビデオ、テキスト合成に使われている。
我々は,時系列予測,計算,生成のための拡散に基づく手法に着目する。
拡散型手法の共通限界を結論し,今後の研究の方向性を明らかにする。
論文 参考訳(メタデータ) (2023-05-01T02:06:46Z) - Diffusion Models as Masked Autoencoders [52.442717717898056]
拡散モデルに対する近年の関心を踏まえて、生成的に事前学習された視覚表現を再考する。
拡散モデルによる直接事前学習では強い表現は得られないが、マスク付き入力上での拡散モデルと公式拡散モデルをマスク付きオートエンコーダ(DiffMAE)として条件付ける。
設計選択の長所と短所について包括的な研究を行い、拡散モデルとマスク付きオートエンコーダ間の接続を構築する。
論文 参考訳(メタデータ) (2023-04-06T17:59:56Z) - Latent Video Diffusion Models for High-Fidelity Long Video Generation [58.346702410885236]
低次元ラテント空間を用いた軽量映像拡散モデルを提案する。
また,1000フレーム以上の長編動画を生成できるように,遅延空間における階層的拡散も提案する。
我々のフレームワークは、以前の強力なベースラインよりもリアルで長いビデオを生成する。
論文 参考訳(メタデータ) (2022-11-23T18:58:39Z) - Diffusion Models in Vision: A Survey [80.82832715884597]
拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。
拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
論文 参考訳(メタデータ) (2022-09-10T22:00:30Z) - A Survey on Generative Diffusion Model [75.93774014861978]
拡散モデルは、深層生成モデルの新たなクラスである。
時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。
本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
論文 参考訳(メタデータ) (2022-09-06T16:56:21Z) - Diffusion Models: A Comprehensive Survey of Methods and Applications [10.557289965753437]
拡散モデル(英: Diffusion model)は、密度理論の確立を伴う様々なタスクにおいて印象的な結果を示す深層生成モデルのクラスである。
近年,拡散モデルの性能向上への熱意が高まっている。
論文 参考訳(メタデータ) (2022-09-02T02:59:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。