論文の概要: A Survey on Video Diffusion Models
- arxiv url: http://arxiv.org/abs/2310.10647v2
- Date: Sat, 14 Sep 2024 08:38:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-18 03:37:26.063276
- Title: A Survey on Video Diffusion Models
- Title(参考訳): ビデオ拡散モデルに関する調査
- Authors: Zhen Xing, Qijun Feng, Haoran Chen, Qi Dai, Han Hu, Hang Xu, Zuxuan Wu, Yu-Gang Jiang,
- Abstract要約: AI生成コンテンツ(AIGC)の最近の波は、コンピュータビジョンでかなりの成功を収めている。
その印象的な生成能力のため、拡散モデルは徐々にGANと自動回帰変換器に基づく手法に取って代わられている。
本稿では,AIGC時代の映像拡散モデルについて概観する。
- 参考スコア(独自算出の注目度): 103.03565844371711
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recent wave of AI-generated content (AIGC) has witnessed substantial success in computer vision, with the diffusion model playing a crucial role in this achievement. Due to their impressive generative capabilities, diffusion models are gradually superseding methods based on GANs and auto-regressive Transformers, demonstrating exceptional performance not only in image generation and editing, but also in the realm of video-related research. However, existing surveys mainly focus on diffusion models in the context of image generation, with few up-to-date reviews on their application in the video domain. To address this gap, this paper presents a comprehensive review of video diffusion models in the AIGC era. Specifically, we begin with a concise introduction to the fundamentals and evolution of diffusion models. Subsequently, we present an overview of research on diffusion models in the video domain, categorizing the work into three key areas: video generation, video editing, and other video understanding tasks. We conduct a thorough review of the literature in these three key areas, including further categorization and practical contributions in the field. Finally, we discuss the challenges faced by research in this domain and outline potential future developmental trends. A comprehensive list of video diffusion models studied in this survey is available at https://github.com/ChenHsing/Awesome-Video-Diffusion-Models.
- Abstract(参考訳): AIGC(AI- generated content)の最近の波は、コンピュータビジョンにおいてかなりの成功を収め、拡散モデルがこの達成に重要な役割を果たしている。
その印象的な生成能力のため、拡散モデルは、画像生成や編集だけでなく、ビデオ関連研究の領域においても、徐々に、GANや自動回帰変換器をベースとした手法に取って代わりつつある。
しかし、既存の調査は主に画像生成の文脈における拡散モデルに焦点を当てており、ビデオ領域での応用に関する最新のレビューはほとんどない。
そこで本研究では,AIGC時代の映像拡散モデルの包括的レビューを行う。
具体的には、拡散モデルの基礎と進化の簡潔な紹介から始める。
その後、ビデオ領域における拡散モデルの研究の概要を述べ、映像生成、ビデオ編集、その他のビデオ理解タスクの3つの重要な領域に分類する。
この分野におけるさらなる分類と実践的貢献を含む,これら3つの重要な分野における文献の徹底的なレビューを行う。
最後に,本領域における研究が直面する課題について論じ,今後の発展動向について概説する。
この調査で調査されたビデオ拡散モデルの包括的なリストはhttps://github.com/ChenHsing/Awesome-Video-Diffusion-Modelsで公開されている。
関連論文リスト
- Diffusion Model-Based Video Editing: A Survey [47.45047496559506]
本稿では,拡散モデルに基づくビデオ編集技術について概説する。
進化的軌跡を描写した映像編集手法を,コア技術の本質的な接続によって分類する。
本稿では,ポイントベース編集やポーズ誘導型ヒューマンビデオ編集など,新しい応用についても検討する。
論文 参考訳(メタデータ) (2024-06-26T04:58:39Z) - Diffusion Models in Low-Level Vision: A Survey [82.77962165415153]
拡散モデルに基づくソリューションは、優れた品質と多様性のサンプルを作成する能力で広く称賛されている。
本稿では,3つの一般化拡散モデリングフレームワークを提案し,それらと他の深層生成モデルとの相関関係について検討する。
医療、リモートセンシング、ビデオシナリオなど、他のタスクに適用された拡張拡散モデルについて要約する。
論文 参考訳(メタデータ) (2024-06-17T01:49:27Z) - Video Diffusion Models: A Survey [3.7985353171858045]
拡散生成モデルは近年、高品質でコヒーレントなビデオコンテンツを作成し、修正するための強力な技術となっている。
本調査では,映像生成における拡散モデルの重要な構成要素について概説する。
論文 参考訳(メタデータ) (2024-05-06T04:01:42Z) - State of the Art on Diffusion Models for Visual Computing [191.6168813012954]
本稿では,拡散モデルの基本数学的概念,実装の詳細,および一般的な安定拡散モデルの設計選択を紹介する。
また,拡散に基づく生成と編集に関する文献の急速な発展を概観する。
利用可能なデータセット、メトリクス、オープンな課題、社会的意味について議論する。
論文 参考訳(メタデータ) (2023-10-11T05:32:29Z) - Diffusion Models for Time Series Applications: A Survey [23.003273147019446]
拡散モデルは現在、画像、ビデオ、テキスト合成に使われている。
我々は,時系列予測,計算,生成のための拡散に基づく手法に着目する。
拡散型手法の共通限界を結論し,今後の研究の方向性を明らかにする。
論文 参考訳(メタデータ) (2023-05-01T02:06:46Z) - Diffusion Models in Vision: A Survey [80.82832715884597]
拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。
拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
論文 参考訳(メタデータ) (2022-09-10T22:00:30Z) - A Survey on Generative Diffusion Model [75.93774014861978]
拡散モデルは、深層生成モデルの新たなクラスである。
時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。
本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
論文 参考訳(メタデータ) (2022-09-06T16:56:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。