論文の概要: UniFaceGAN: A Unified Framework for Temporally Consistent Facial Video Editing

• arxiv url: http://arxiv.org/abs/2108.05650v1
• Date: Thu, 12 Aug 2021 10:35:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-13 22:59:51.300106
• Title: UniFaceGAN: A Unified Framework for Temporally Consistent Facial Video Editing
• Title（参考訳）: UniFaceGAN: 一時的な顔画像編集のための統一フレームワーク
• Authors: Meng Cao, Haozhi Huang, Hao Wang, Xuan Wang, Li Shen, Sheng Wang, Linchao Bao, Zhifeng Li, Jiebo Luo
• Abstract要約: 我々は,UniFaceGANと呼ばれる時間的に一貫した顔画像編集フレームワークを提案する。 本フレームワークは,顔交換と顔再現を同時に行うように設計されている。 現状の顔画像編集法と比較すると,本フレームワークはより写実的で時間的に滑らかな映像像を生成する。
• 参考スコア（独自算出の注目度）: 78.26925404508994
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent research has witnessed advances in facial image editing tasks including face swapping and face reenactment. However, these methods are confined to dealing with one specific task at a time. In addition, for video facial editing, previous methods either simply apply transformations frame by frame or utilize multiple frames in a concatenated or iterative fashion, which leads to noticeable visual flickers. In this paper, we propose a unified temporally consistent facial video editing framework termed UniFaceGAN. Based on a 3D reconstruction model and a simple yet efficient dynamic training sample selection mechanism, our framework is designed to handle face swapping and face reenactment simultaneously. To enforce the temporal consistency, a novel 3D temporal loss constraint is introduced based on the barycentric coordinate interpolation. Besides, we propose a region-aware conditional normalization layer to replace the traditional AdaIN or SPADE to synthesize more context-harmonious results. Compared with the state-of-the-art facial image editing methods, our framework generates video portraits that are more photo-realistic and temporally smooth.
• Abstract（参考訳）: 近年の研究では、顔交換や顔の再現など、顔画像編集タスクの進歩が見られた。 しかし、これらのメソッドは一度にひとつの特定のタスクを扱うことに限定される。 さらに、ビデオの顔編集では、従来の手法では、フレーム単位での変換を単純に適用するか、複数のフレームを連結的または反復的に利用することで、目立った視覚的なフリックを生じる。 本稿では,ユニファガンと呼ばれる時間的一貫性のある顔映像編集フレームワークを提案する。 3次元再構成モデルと簡単な動的トレーニングサンプル選択機構に基づいて,顔のスワッピングと顔の再現を同時に行うように設計されている。 時間的一貫性を強制するために、バリ中心座標補間に基づく新しい3次元時間的損失制約を導入する。 さらに,従来のAdaINやSPADEを代替し,よりコンテキスト調和な結果を合成する領域対応条件正規化層を提案する。 現状の顔画像編集法と比較すると,本フレームワークはより写実的で時間的に滑らかな映像像を生成する。

関連論文リスト

• Kalman-Inspired Feature Propagation for Video Face Super-Resolution [78.84881180336744]
  時間前に安定した顔を維持するための新しい枠組みを導入する。 カルマンフィルタの原理は,従来の復元フレームからの情報を用いて,現在のフレームの復元過程をガイドし,調整することができる。 ビデオフレーム間で顔の細部を連続的にキャプチャする手法の有効性を実験により実証した。
  論文  参考訳（メタデータ） (2024-08-09T17:57:12Z)
• FED-NeRF: Achieve High 3D Consistency and Temporal Coherence for Face Video Editing on Dynamic NeRF [77.94545888842883]
  本稿では,動的顔GAN-NeRF構造上に構築された新しい顔ビデオ編集アーキテクチャを提案する。 潜在コードの編集により、マルチビューステレオ再構成によって検証されるように、顔上でのマルチビュー一貫した編集を確実にすることができる。 本研究では,連続フレームにおける表情のスムーズな変化を保存し,時間的コヒーレンスを維持する安定化器を提案する。
  論文  参考訳（メタデータ） (2024-01-05T03:23:38Z)
• Diffusion Video Autoencoders: Toward Temporally Consistent Face Video Editing via Disentangled Video Encoding [35.18070525015657]
  拡散オートエンコーダに基づく新しい顔映像編集フレームワークを提案する。 我々のモデルは拡散モデルに基づいており、再構築と編集の両方を同時に行うことができる。
  論文  参考訳（メタデータ） (2022-12-06T07:41:51Z)
• Video2StyleGAN: Encoding Video in Latent Space for Manipulation [63.03250800510085]
  本稿では,顔映像のセマンティックな操作のために,顔映像をStyleGANの潜在空間に符号化する新しいネットワークを提案する。 提案手法は,リアルタイム(66fps)の高速化を実現しつつ,既存の単一画像手法よりも大幅に優れる。
  論文  参考訳（メタデータ） (2022-06-27T06:48:15Z)
• F3A-GAN: Facial Flow for Face Animation with Generative Adversarial Networks [24.64246570503213]
  本研究では,人間の顔の自然な動きを表現するために,顔の流れと呼ばれる3次元幾何学的流れに基づく新しい表現を提案する。 顔の編集に顔のフローを利用するために,条件付き顔のフローを連続的に生成するフレームワークを構築した。
  論文  参考訳（メタデータ） (2022-05-12T16:40:27Z)
• Image-to-Video Generation via 3D Facial Dynamics [78.01476554323179]
  静止画像から様々な映像を生成するために多目的モデルであるFaceAnimeを提案する。 私たちのモデルは、顔ビデオや顔ビデオの予測など、さまざまなAR/VRやエンターテイメントアプリケーションに汎用的です。
  論文  参考訳（メタデータ） (2021-05-31T02:30:11Z)
• Task-agnostic Temporally Consistent Facial Video Editing [84.62351915301795]
  タスクに依存しない、時間的に一貫した顔画像編集フレームワークを提案する。 3次元再構成モデルに基づいて,本フレームワークはより統一的で不整合な方法で複数の編集タスクを処理するように設計されている。 現状の顔画像編集法と比較すると,本フレームワークはより写実的で時間的に滑らかな映像像を生成する。
  論文  参考訳（メタデータ） (2020-07-03T02:49:20Z)
• Head2Head++: Deep Facial Attributes Re-Targeting [6.230979482947681]
  我々は,顔の3次元形状とGANを利用して,顔と頭部の再現作業のための新しいディープラーニングアーキテクチャを設計する。 駆動単眼動作から複雑な非剛性顔の動きを捉え,時間的に一貫した映像を合成する。 我々のシステムは、ほぼリアルタイムでエンドツーエンドの再現(18fps)を行う。
  論文  参考訳（メタデータ） (2020-06-17T23:38:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。