論文の概要: Diffusion Model-Based Video Editing: A Survey

• arxiv url: http://arxiv.org/abs/2407.07111v1
• Date: Wed, 26 Jun 2024 04:58:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 13:58:01.820930
• Title: Diffusion Model-Based Video Editing: A Survey
• Title（参考訳）: 拡散モデルに基づくビデオ編集:サーベイ
• Authors: Wenhao Sun, Rong-Cheng Tu, Jingyi Liao, Dacheng Tao,
• Abstract要約: 本稿では,拡散モデルに基づくビデオ編集技術について概説する。 進化的軌跡を描写した映像編集手法を,コア技術の本質的な接続によって分類する。 本稿では,ポイントベース編集やポーズ誘導型ヒューマンビデオ編集など,新しい応用についても検討する。
• 参考スコア（独自算出の注目度）: 47.45047496559506
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid development of diffusion models (DMs) has significantly advanced image and video applications, making "what you want is what you see" a reality. Among these, video editing has gained substantial attention and seen a swift rise in research activity, necessitating a comprehensive and systematic review of the existing literature. This paper reviews diffusion model-based video editing techniques, including theoretical foundations and practical applications. We begin by overviewing the mathematical formulation and image domain's key methods. Subsequently, we categorize video editing approaches by the inherent connections of their core technologies, depicting evolutionary trajectory. This paper also dives into novel applications, including point-based editing and pose-guided human video editing. Additionally, we present a comprehensive comparison using our newly introduced V2VBench. Building on the progress achieved to date, the paper concludes with ongoing challenges and potential directions for future research.
• Abstract（参考訳）: 拡散モデル(DM)の急速な開発は、画像とビデオのアプリケーションを大幅に進歩させ、「あなたが望むものは何に見えるか」を現実にしている。 このうち、ビデオ編集が注目され、研究活動が急速に増加し、既存の文献を包括的かつ体系的にレビューする必要がある。 本稿では,拡散モデルに基づくビデオ編集技術について概説する。 まず、数学的定式化と画像領域の鍵となる手法について概説する。 その後、進化軌道を描写した映像編集手法を、コア技術固有の接続によって分類する。 本稿では,ポイントベース編集やポーズ誘導型ヒューマンビデオ編集など,新しい応用についても検討する。 さらに,新たに導入したV2VBenchを用いた総合比較を行った。 これまでに達成された進歩に基づいて、この論文は、現在進行中の課題と今後の研究への潜在的方向性を結論付けている。

関連論文リスト

• Edit as You See: Image-guided Video Editing via Masked Motion Modeling [18.89936405508778]
  画像誘導映像編集拡散モデル(IVEDiff)を提案する。 IVEDiffは画像編集モデル上に構築されており、ビデオ編集の時間的一貫性を維持するための学習可能なモーションモジュールを備えている。 本手法は,高画質な編集対象を忠実に処理しながら,時間的にスムーズな編集映像を生成することができる。
  論文  参考訳（メタデータ） (2025-01-08T07:52:12Z)
• StableV2V: Stablizing Shape Consistency in Video-to-Video Editing [11.09708780767668]
  本稿では,形状に一貫性のあるビデオ編集手法であるStableV2Vについて述べる。 提案手法は,編集パイプライン全体を複数のシーケンシャルな手順に分解し,最初のビデオフレームを編集し,配信された動作とユーザプロンプトのアライメントを確立し,最終的にそのアライメントに基づいて編集内容を他のすべてのフレームに伝達する。 実験結果と解析結果から,既存の最先端研究と比較して,提案手法の性能,視覚的整合性,推論効率が向上していることが示唆された。
  論文  参考訳（メタデータ） (2024-11-17T11:48:01Z)
• Instruction-Guided Editing Controls for Images and Multimedia: A Survey in LLM era [50.19334853510935]
  命令ベースの編集の最近の進歩は、ユーザ意図と複雑な編集操作の間の橋渡しとして自然言語を用いて、視覚コンテンツとの直感的な対話を可能にしている。 我々は,エンターテイメントから教育に至るまで,様々な産業において強力なビジュアル編集を民主化することを目指している。
  論文  参考訳（メタデータ） (2024-11-15T05:18:15Z)
• A Survey of Multimodal-Guided Image Editing with Text-to-Image Diffusion Models [117.77807994397784]
  画像編集は、ユーザーが特定の要求を満たすために、与えられた合成画像または実際の画像を編集することを目的としている。 この分野での最近の顕著な進歩は、テキスト・ツー・イメージ(T2I)拡散モデルの開発に基づいている。 T2Iベースの画像編集手法は、編集性能を大幅に向上させ、マルチモーダル入力でガイドされたコンテンツを修正するためのユーザフレンドリーなインタフェースを提供する。
  論文  参考訳（メタデータ） (2024-06-20T17:58:52Z)
• Video Diffusion Models: A Survey [3.7985353171858045]
  拡散生成モデルは近年、高品質でコヒーレントなビデオコンテンツを作成し、修正するための強力な技術となっている。 本調査では,映像生成における拡散モデルの重要な構成要素について概説する。
  論文  参考訳（メタデータ） (2024-05-06T04:01:42Z)
• A Survey on Video Diffusion Models [103.03565844371711]
  AI生成コンテンツ(AIGC)の最近の波は、コンピュータビジョンでかなりの成功を収めている。 その印象的な生成能力のため、拡散モデルは徐々にGANと自動回帰変換器に基づく手法に取って代わられている。 本稿では,AIGC時代の映像拡散モデルについて概観する。
  論文  参考訳（メタデータ） (2023-10-16T17:59:28Z)
• State of the Art on Diffusion Models for Visual Computing [191.6168813012954]
  本稿では,拡散モデルの基本数学的概念,実装の詳細,および一般的な安定拡散モデルの設計選択を紹介する。 また,拡散に基づく生成と編集に関する文献の急速な発展を概観する。 利用可能なデータセット、メトリクス、オープンな課題、社会的意味について議論する。
  論文  参考訳（メタデータ） (2023-10-11T05:32:29Z)
• Dreamix: Video Diffusion Models are General Video Editors [22.127604561922897]
  テキスト駆動画像とビデオ拡散モデルは最近、前例のない世代のリアリズムを達成した。 一般的なビデオのテキストベースの動きと外観編集を行うことができる最初の拡散ベース手法を提案する。
  論文  参考訳（メタデータ） (2023-02-02T18:58:58Z)
• The Anatomy of Video Editing: A Dataset and Benchmark Suite for AI-Assisted Video Editing [90.59584961661345]
  この研究は、AIによるビデオ編集の研究を促進するために、データセットとベンチマークであるビデオ編集の解剖学を導入している。 本ベンチマークスイートでは,映像の自動撮影やビデオ組み立て支援など,視覚効果以外の映像編集作業に重点を置いている。 これらの前線の研究を可能にするために、196176年の映画シーンから採取した150万枚以上のタグと、撮影技術に関する概念を注釈付けした。
  論文  参考訳（メタデータ） (2022-07-20T10:53:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。