論文の概要: Diffusion Model-Based Video Editing: A Survey

• arxiv url: http://arxiv.org/abs/2407.07111v1
• Date: Wed, 26 Jun 2024 04:58:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 13:58:01.820930
• Title: Diffusion Model-Based Video Editing: A Survey
• Title（参考訳）: 拡散モデルに基づくビデオ編集:サーベイ
• Authors: Wenhao Sun, Rong-Cheng Tu, Jingyi Liao, Dacheng Tao,
• Abstract要約: 本稿では,拡散モデルに基づくビデオ編集技術について概説する。 進化的軌跡を描写した映像編集手法を,コア技術の本質的な接続によって分類する。 本稿では,ポイントベース編集やポーズ誘導型ヒューマンビデオ編集など,新しい応用についても検討する。
• 参考スコア（独自算出の注目度）: 47.45047496559506
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid development of diffusion models (DMs) has significantly advanced image and video applications, making "what you want is what you see" a reality. Among these, video editing has gained substantial attention and seen a swift rise in research activity, necessitating a comprehensive and systematic review of the existing literature. This paper reviews diffusion model-based video editing techniques, including theoretical foundations and practical applications. We begin by overviewing the mathematical formulation and image domain's key methods. Subsequently, we categorize video editing approaches by the inherent connections of their core technologies, depicting evolutionary trajectory. This paper also dives into novel applications, including point-based editing and pose-guided human video editing. Additionally, we present a comprehensive comparison using our newly introduced V2VBench. Building on the progress achieved to date, the paper concludes with ongoing challenges and potential directions for future research.
• Abstract（参考訳）: 拡散モデル(DM)の急速な開発は、画像とビデオのアプリケーションを大幅に進歩させ、「あなたが望むものは何に見えるか」を現実にしている。 このうち、ビデオ編集が注目され、研究活動が急速に増加し、既存の文献を包括的かつ体系的にレビューする必要がある。 本稿では,拡散モデルに基づくビデオ編集技術について概説する。 まず、数学的定式化と画像領域の鍵となる手法について概説する。 その後、進化軌道を描写した映像編集手法を、コア技術固有の接続によって分類する。 本稿では,ポイントベース編集やポーズ誘導型ヒューマンビデオ編集など,新しい応用についても検討する。 さらに,新たに導入したV2VBenchを用いた総合比較を行った。 これまでに達成された進歩に基づいて、この論文は、現在進行中の課題と今後の研究への潜在的方向性を結論付けている。

関連論文リスト

• A Survey of Multimodal-Guided Image Editing with Text-to-Image Diffusion Models [117.77807994397784]
  画像編集は、ユーザーが特定の要求を満たすために、与えられた合成画像または実際の画像を編集することを目的としている。 この分野での最近の顕著な進歩は、テキスト・ツー・イメージ(T2I)拡散モデルの開発に基づいている。 T2Iベースの画像編集手法は、編集性能を大幅に向上させ、マルチモーダル入力でガイドされたコンテンツを修正するためのユーザフレンドリーなインタフェースを提供する。
  論文  参考訳（メタデータ） (2024-06-20T17:58:52Z)
• Temporally Consistent Object Editing in Videos using Extended Attention [9.605596668263173]
  本稿では,事前学習した画像拡散モデルを用いて映像を編集する手法を提案する。 編集された情報がすべてのビデオフレームで一貫していることを保証する。
  論文  参考訳（メタデータ） (2024-06-01T02:31:16Z)
• VIDiff: Translating Videos via Multi-Modal Instructions with Diffusion Models [96.55004961251889]
  Video Instruction Diffusion (VIDiff) は、幅広いビデオタスク用に設計された統合基盤モデルである。 我々のモデルは,ユーザの指示に基づいて,所望の結果を数秒以内に編集し,翻訳することができる。 様々な入力ビデオや書き起こしに対して,質的かつ定量的に,説得力のある生成結果を提供する。
  論文  参考訳（メタデータ） (2023-11-30T18:59:52Z)
• A Survey on Video Diffusion Models [107.4734254941333]
  AI生成コンテンツ(AIGC)の最近の波は、コンピュータビジョンでかなりの成功を収めている。 その印象的な生成能力のため、拡散モデルは徐々にGANと自動回帰変換器に基づく手法に取って代わられている。 本稿では,AIGC時代の映像拡散モデルについて概観する。
  論文  参考訳（メタデータ） (2023-10-16T17:59:28Z)
• State of the Art on Diffusion Models for Visual Computing [191.6168813012954]
  本稿では,拡散モデルの基本数学的概念,実装の詳細,および一般的な安定拡散モデルの設計選択を紹介する。 また,拡散に基づく生成と編集に関する文献の急速な発展を概観する。 利用可能なデータセット、メトリクス、オープンな課題、社会的意味について議論する。
  論文  参考訳（メタデータ） (2023-10-11T05:32:29Z)
• StableVideo: Text-driven Consistency-aware Diffusion Video Editing [24.50933856309234]
  拡散に基づく手法は、リアルな画像やビデオを生成することができるが、ビデオ内の既存のオブジェクトを編集するのに苦労し、その外観は時間の経過とともに保たれる。 本稿では、既存のテキスト駆動拡散モデルへの時間的依存を導入し、編集対象に対して一貫した外観を生成する。 我々は,この機構,すなわちStableVideoに基づくテキスト駆動のビデオ編集フレームワークを構築し,一貫性を意識したビデオ編集を実現する。
  論文  参考訳（メタデータ） (2023-08-18T14:39:16Z)
• Dreamix: Video Diffusion Models are General Video Editors [22.127604561922897]
  テキスト駆動画像とビデオ拡散モデルは最近、前例のない世代のリアリズムを達成した。 一般的なビデオのテキストベースの動きと外観編集を行うことができる最初の拡散ベース手法を提案する。
  論文  参考訳（メタデータ） (2023-02-02T18:58:58Z)
• The Anatomy of Video Editing: A Dataset and Benchmark Suite for AI-Assisted Video Editing [90.59584961661345]
  この研究は、AIによるビデオ編集の研究を促進するために、データセットとベンチマークであるビデオ編集の解剖学を導入している。 本ベンチマークスイートでは,映像の自動撮影やビデオ組み立て支援など,視覚効果以外の映像編集作業に重点を置いている。 これらの前線の研究を可能にするために、196176年の映画シーンから採取した150万枚以上のタグと、撮影技術に関する概念を注釈付けした。
  論文  参考訳（メタデータ） (2022-07-20T10:53:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。