論文の概要: DiffusionAtlas: High-Fidelity Consistent Diffusion Video Editing

• arxiv url: http://arxiv.org/abs/2312.03772v1
• Date: Tue, 5 Dec 2023 23:40:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-08 17:39:55.769682
• Title: DiffusionAtlas: High-Fidelity Consistent Diffusion Video Editing
• Title（参考訳）: DiffusionAtlas: 高精度な拡散ビデオ編集
• Authors: Shao-Yu Chang, Hwann-Tzong Chen and Tyng-Luh Liu
• Abstract要約: 本稿では,拡散型ビデオ編集フレームワークであるDiffusionAtlasについて述べる。 本手法は,視覚時間拡散モデルを用いて拡散アトラス上で直接オブジェクトを編集し,フレーム間のコヒーレントなオブジェクト識別を保証する。
• 参考スコア（独自算出の注目度）: 27.014978053413788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a diffusion-based video editing framework, namely DiffusionAtlas, which can achieve both frame consistency and high fidelity in editing video object appearance. Despite the success in image editing, diffusion models still encounter significant hindrances when it comes to video editing due to the challenge of maintaining spatiotemporal consistency in the object's appearance across frames. On the other hand, atlas-based techniques allow propagating edits on the layered representations consistently back to frames. However, they often struggle to create editing effects that adhere correctly to the user-provided textual or visual conditions due to the limitation of editing the texture atlas on a fixed UV mapping field. Our method leverages a visual-textual diffusion model to edit objects directly on the diffusion atlases, ensuring coherent object identity across frames. We design a loss term with atlas-based constraints and build a pretrained text-driven diffusion model as pixel-wise guidance for refining shape distortions and correcting texture deviations. Qualitative and quantitative experiments show that our method outperforms state-of-the-art methods in achieving consistent high-fidelity video-object editing.
• Abstract（参考訳）: 本研究では,ビデオオブジェクトの外観の編集において,フレーム一貫性と高い忠実度を両立できる拡散型映像編集フレームワークである diffusionatlas を提案する。 画像編集の成功にもかかわらず、拡散モデルは、フレーム間のオブジェクトの出現の時空間的一貫性を維持することの難しさから、ビデオ編集において大きな障害に直面する。 一方、atlasベースの技術では、階層化された表現の編集を一貫してフレームに戻せる。 しかし、固定されたUVマッピングフィールド上のテクスチャアトラスの編集に制限があるため、ユーザが提供するテキストや視覚条件に正しく準拠する編集エフェクトを作成するのに苦労することが多い。 本手法は,視覚的テキスト拡散モデルを用いて拡散アトラス上で直接オブジェクトを編集し,フレーム間のコヒーレントなオブジェクト識別を保証する。 アトラスに基づく制約付き損失項を設計し,事前学習したテキスト駆動拡散モデルを構築し,形状歪みの高精度化とテクスチャ偏差の補正を行う。 定性的かつ定量的な実験により,本手法は一貫した高忠実度映像オブジェクト編集において最先端の手法よりも優れていた。

関連論文リスト

• DiffEditor: Boosting Accuracy and Flexibility on Diffusion-based Image Editing [66.43179841884098]
  大規模テキスト・ツー・イメージ(T2I)拡散モデルは、ここ数年で画像生成に革命をもたらした。 既存の拡散型画像編集における2つの弱点を正すためにDiffEditorを提案する。 本手法は,様々な精細な画像編集タスクにおいて,最先端の性能を効率的に達成することができる。
  論文  参考訳（メタデータ） (2024-02-04T18:50:29Z)
• VASE: Object-Centric Appearance and Shape Manipulation of Real Videos [108.60416277357712]
  本研究では,オブジェクトの外観と,特にオブジェクトの精密かつ明示的な構造的変更を実行するために設計された,オブジェクト中心のフレームワークを紹介する。 我々は,事前学習した画像条件拡散モデル上にフレームワークを構築し,時間次元を扱うためのレイヤを統合するとともに,形状制御を実現するためのトレーニング戦略とアーキテクチャ修正を提案する。 我々は,画像駆動映像編集タスクにおいて,最先端技術に類似した性能を示し,新しい形状編集機能を示す手法について検討した。
  論文  参考訳（メタデータ） (2024-01-04T18:59:24Z)
• FLATTEN: optical FLow-guided ATTENtion for consistent text-to-video editing [65.60744699017202]
  拡散モデルのU-Netにおける注目モジュールに光フローを導入し,テキスト対ビデオ編集の不整合問題に対処する。 提案手法であるFLATTENでは,異なるフレームにまたがる同一フローパス上のパッチを適用して,アテンションモジュール内の相互にアテンションする。 既存のテキスト・ビデオ編集ベンチマークの結果から,提案手法が新たな最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-10-09T17:59:53Z)
• Ground-A-Video: Zero-shot Grounded Video Editing using Text-to-image Diffusion Models [65.268245109828]
  Ground-A-Videoは、マルチ属性ビデオ編集のためのビデオからビデオへの変換フレームワークである。 トレーニング不要な方法で、時間的に一貫した入力ビデオの編集を可能にする。 実験と応用により、Ground-A-Videoのゼロショットキャパシティは、編集精度とフレームの整合性の観点から、他のベースライン手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-02T11:28:37Z)
• MagicProp: Diffusion-based Video Editing via Motion-aware Appearance Propagation [74.32046206403177]
  MagicPropは、ビデオ編集プロセスを、外観編集とモーション対応の外観伝搬という2つのステージに分割する。 第一段階では、MagicPropは入力ビデオから単一のフレームを選択し、フレームの内容やスタイルを変更するために画像編集技術を適用する。 第2段階では、MagicPropは編集されたフレームを外観参照として使用し、自動回帰レンダリングアプローチを使用して残りのフレームを生成する。
  論文  参考訳（メタデータ） (2023-09-02T11:13:29Z)
• StableVideo: Text-driven Consistency-aware Diffusion Video Editing [24.50933856309234]
  拡散に基づく手法は、リアルな画像やビデオを生成することができるが、ビデオ内の既存のオブジェクトを編集するのに苦労し、その外観は時間の経過とともに保たれる。 本稿では、既存のテキスト駆動拡散モデルへの時間的依存を導入し、編集対象に対して一貫した外観を生成する。 我々は,この機構,すなわちStableVideoに基づくテキスト駆動のビデオ編集フレームワークを構築し,一貫性を意識したビデオ編集を実現する。
  論文  参考訳（メタデータ） (2023-08-18T14:39:16Z)
• InFusion: Inject and Attention Fusion for Multi Concept Zero-Shot Text-based Video Editing [27.661609140918916]
  InFusionはゼロショットテキストベースのビデオ編集のためのフレームワークである。 編集プロンプトで言及されているさまざまな概念に対する画素レベルの制御による複数の概念の編集をサポートする。 私たちのフレームワークは、トレーニングを必要としないため、編集のためのワンショットチューニングモデルの安価な代替品です。
  論文  参考訳（メタデータ） (2023-07-22T17:05:47Z)
• VidEdit: Zero-Shot and Spatially Aware Text-Driven Video Editing [18.24307442582304]
  ゼロショットテキストベースのビデオ編集のための新しい方法であるVidEditを紹介する。 実験の結果,VidEditはDAVISデータセット上で最先端の手法より優れていることがわかった。
  論文  参考訳（メタデータ） (2023-06-14T19:15:49Z)
• Edit-A-Video: Single Video Editing with Object-Aware Consistency [49.43316939996227]
  本稿では,事前訓練されたTTIモデルと単一のテキスト,ビデオ>ペアのみを付与したビデオ編集フレームワークを提案する。 本フレームワークは,(1)時間モジュールチューニングを付加して2Dモデルを3Dモデルに膨らませること,(2)原動画をノイズに反転させ,対象のテキストプロンプトとアテンションマップインジェクションで編集すること,の2段階からなる。 各種のテキスト・ビデオに対して広範な実験結果を示し,背景整合性,テキストアライメント,ビデオ編集品質の点で,ベースラインに比べて提案手法の優位性を示す。
  論文  参考訳（メタデータ） (2023-03-14T14:35:59Z)
• Shape-aware Text-driven Layered Video Editing [39.56765973770167]
  形状変化に対処する形状認識型テキスト駆動ビデオ編集手法を提案する。 まず、入力と編集されたすべてのフレーム間の変形場を伝搬する。 次に、事前学習したテキスト条件拡散モデルを用いて、形状歪みを補正し、目に見えない領域を完成させる。
  論文  参考訳（メタデータ） (2023-01-30T18:41:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。