論文の概要: Task-agnostic Temporally Consistent Facial Video Editing
- arxiv url: http://arxiv.org/abs/2007.01466v1
- Date: Fri, 3 Jul 2020 02:49:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-14 05:28:00.816594
- Title: Task-agnostic Temporally Consistent Facial Video Editing
- Title(参考訳): タスク非依存の一時的な顔映像編集
- Authors: Meng Cao, Haozhi Huang, Hao Wang, Xuan Wang, Li Shen, Sheng Wang,
Linchao Bao, Zhifeng Li, Jiebo Luo
- Abstract要約: タスクに依存しない、時間的に一貫した顔画像編集フレームワークを提案する。
3次元再構成モデルに基づいて,本フレームワークはより統一的で不整合な方法で複数の編集タスクを処理するように設計されている。
現状の顔画像編集法と比較すると,本フレームワークはより写実的で時間的に滑らかな映像像を生成する。
- 参考スコア(独自算出の注目度): 84.62351915301795
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent research has witnessed the advances in facial image editing tasks. For
video editing, however, previous methods either simply apply transformations
frame by frame or utilize multiple frames in a concatenated or iterative
fashion, which leads to noticeable visual flickers. In addition, these methods
are confined to dealing with one specific task at a time without any
extensibility. In this paper, we propose a task-agnostic temporally consistent
facial video editing framework. Based on a 3D reconstruction model, our
framework is designed to handle several editing tasks in a more unified and
disentangled manner. The core design includes a dynamic training sample
selection mechanism and a novel 3D temporal loss constraint that fully exploits
both image and video datasets and enforces temporal consistency. Compared with
the state-of-the-art facial image editing methods, our framework generates
video portraits that are more photo-realistic and temporally smooth.
- Abstract(参考訳): 最近の研究は、顔画像編集タスクの進歩を目撃している。
しかし、ビデオ編集では、従来の手法では変換フレームをフレームごとに適用するか、複数のフレームを連結または反復的に利用する。
加えて、これらのメソッドは拡張性なしに一度にひとつの特定のタスクを扱うことに限定されます。
本稿では,タスクに依存しない時間的一貫性のある顔映像編集フレームワークを提案する。
3次元復元モデルに基づき,複数の編集タスクをより統一的かつ不連続な方法で処理するように設計した。
コア設計には、動的トレーニングサンプル選択機構と、画像とビデオのデータセットを完全に活用し、時間的一貫性を強制する新しい3D時間的損失制約が含まれている。
現状の顔画像編集法と比較すると,本フレームワークはより写実的で時間的に滑らかな映像像を生成する。
関連論文リスト
- Real-time 3D-aware Portrait Editing from a Single Image [114.97405659269198]
本研究は,与えられたプロンプトに従って顔画像を効率よく編集できる3DPEを提示する。
ライトウェイトモジュールは、3Dポートレートジェネレータとテキスト・ツー・イメージ・モデルから抽出され、顔形状とオープン語彙編集能力の事前知識を提供する。
コード、モデル、インターフェースは、将来の研究を促進するために公開されます。
論文 参考訳(メタデータ) (2024-02-21T18:36:26Z) - VASE: Object-Centric Appearance and Shape Manipulation of Real Videos [108.60416277357712]
本研究では,オブジェクトの外観と,特にオブジェクトの精密かつ明示的な構造的変更を実行するために設計された,オブジェクト中心のフレームワークを紹介する。
我々は,事前学習した画像条件拡散モデル上にフレームワークを構築し,時間次元を扱うためのレイヤを統合するとともに,形状制御を実現するためのトレーニング戦略とアーキテクチャ修正を提案する。
我々は,画像駆動映像編集タスクにおいて,最先端技術に類似した性能を示し,新しい形状編集機能を示す手法について検討した。
論文 参考訳(メタデータ) (2024-01-04T18:59:24Z) - Editing 3D Scenes via Text Prompts without Retraining [80.57814031701744]
DN2Nはテキスト駆動編集方式であり、普遍的な編集機能を備えたNeRFモデルの直接取得を可能にする。
本手法では,2次元画像のテキストベース編集モデルを用いて3次元シーン画像の編集を行う。
本手法は,外観編集,天気変化,材質変化,スタイル伝達など,複数種類の編集を行う。
論文 参考訳(メタデータ) (2023-09-10T02:31:50Z) - Edit-A-Video: Single Video Editing with Object-Aware Consistency [49.43316939996227]
本稿では,事前訓練されたTTIモデルと単一のテキスト,ビデオ>ペアのみを付与したビデオ編集フレームワークを提案する。
本フレームワークは,(1)時間モジュールチューニングを付加して2Dモデルを3Dモデルに膨らませること,(2)原動画をノイズに反転させ,対象のテキストプロンプトとアテンションマップインジェクションで編集すること,の2段階からなる。
各種のテキスト・ビデオに対して広範な実験結果を示し,背景整合性,テキストアライメント,ビデオ編集品質の点で,ベースラインに比べて提案手法の優位性を示す。
論文 参考訳(メタデータ) (2023-03-14T14:35:59Z) - Diffusion Video Autoencoders: Toward Temporally Consistent Face Video
Editing via Disentangled Video Encoding [35.18070525015657]
拡散オートエンコーダに基づく新しい顔映像編集フレームワークを提案する。
我々のモデルは拡散モデルに基づいており、再構築と編集の両方を同時に行うことができる。
論文 参考訳(メタデータ) (2022-12-06T07:41:51Z) - Temporally Consistent Semantic Video Editing [44.50322018842475]
本稿では、時間的コヒーレントなビデオ編集を容易にするための、シンプルで効果的な方法を提案する。
我々の中核となる考え方は、潜在コードと事前学習されたジェネレータの両方を最適化することで、時間的測光の不整合を最小限にすることである。
論文 参考訳(メタデータ) (2022-06-21T17:59:59Z) - Unfolding a blurred image [36.519356428362286]
我々は、教師なしの方法でシャープビデオから動きの表現を学習する。
次に、ビデオ再構成の代用タスクを実行する畳み込みリカレントビデオオートエンコーダネットワークを訓練する。
ぼやけた画像のためのモーションエンコーダのガイドトレーニングに使用される。
このネットワークは、ぼやけた画像から埋め込み動作情報を抽出し、トレーニングされたリカレントビデオデコーダとともにシャープなビデオを生成する。
論文 参考訳(メタデータ) (2022-01-28T09:39:55Z) - UniFaceGAN: A Unified Framework for Temporally Consistent Facial Video
Editing [78.26925404508994]
我々は,UniFaceGANと呼ばれる時間的に一貫した顔画像編集フレームワークを提案する。
本フレームワークは,顔交換と顔再現を同時に行うように設計されている。
現状の顔画像編集法と比較すると,本フレームワークはより写実的で時間的に滑らかな映像像を生成する。
論文 参考訳(メタデータ) (2021-08-12T10:35:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。