論文の概要: DynamicFace: High-Quality and Consistent Video Face Swapping using Composable 3D Facial Priors

• arxiv url: http://arxiv.org/abs/2501.08553v1
• Date: Wed, 15 Jan 2025 03:28:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 15:52:30.589718
• Title: DynamicFace: High-Quality and Consistent Video Face Swapping using Composable 3D Facial Priors
• Title（参考訳）: DynamicFace: 合成可能な3次元顔プリミティブを用いた高品質で一貫性のあるビデオ顔スワッピング
• Authors: Runqi Wang, Sijie Xu, Tianyao He, Yang Chen, Wei Zhu, Dejia Song, Nemo Chen, Xu Tang, Yao Hu,
• Abstract要約: 顔交換は、ターゲット顔の表情、ポーズ、髪、背景などの属性を保持しながら、ソース顔のアイデンティティをターゲット顔に転送する。 本稿では,拡散モデルとプラグイン・アンド・プレイ時層を利用した映像面スワップを実現するDynamicFaceを提案する。 本手法は,顔のスワップ,画像の画質,アイデンティティの保存,表情の正確性を示す。
• 参考スコア（独自算出の注目度）: 24.721887093958284
• License:
• Abstract: Face swapping transfers the identity of a source face to a target face while retaining the attributes like expression, pose, hair, and background of the target face. Advanced face swapping methods have achieved attractive results. However, these methods often inadvertently transfer identity information from the target face, compromising expression-related details and accurate identity. We propose a novel method DynamicFace that leverages the power of diffusion model and plug-and-play temporal layers for video face swapping. First, we introduce four fine-grained face conditions using 3D facial priors. All conditions are designed to be disentangled from each other for precise and unique control. Then, we adopt Face Former and ReferenceNet for high-level and detailed identity injection. Through experiments on the FF++ dataset, we demonstrate that our method achieves state-of-the-art results in face swapping, showcasing superior image quality, identity preservation, and expression accuracy. Besides, our method could be easily transferred to video domain with temporal attention layer. Our code and results will be available on the project page: https://dynamic-face.github.io/
• Abstract（参考訳）: 顔交換は、ターゲット顔の表情、ポーズ、髪、背景などの属性を保持しながら、ソース顔のアイデンティティをターゲット顔に転送する。 高度な顔交換法は魅力的な結果を得た。 しかし、これらの方法は、しばしばターゲットの顔から不注意にアイデンティティ情報を転送し、表現に関連する詳細と正確なアイデンティティを妥協する。 本稿では,映像面スワップのための拡散モデルとプラグアンドプレイ時層を利用した新しい動的顔処理手法を提案する。 まず,3次元顔前駆体を用いた4つのきめ細かい顔条件を導入する。 すべての条件は、正確でユニークな制御のために互いに絡み合うように設計されている。 次に、高レベルかつ詳細なID注入にFace formerとReferenceNetを採用します。 FF++データセットを用いた実験により, 顔のスワップ, 優れた画像品質, アイデンティティの保存, 表現精度を示す手法が得られた。 また,本手法は時間的注意層を有するビデオ領域に容易に移行できる。 私たちのコードと結果はプロジェクトのページで公開されます。

関連論文リスト

• OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
  拡散モデルは、顔の修復において顕著な性能を示した。 顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。 その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-11-26T07:07:48Z)
• ReliableSwap: Boosting General Face Swapping Via Reliable Supervision [9.725105108879717]
  本稿では,訓練中に対象とソースの同一性が異なる場合のイメージレベルのガイダンスとして機能する,サイクルトリプレットと呼ばれる信頼性の高い監視機能を構築することを提案する。 具体的には,顔の再現とブレンディング技術を用いて,前もって実際の画像からスワップされた顔の合成を行う。 フェーススワッピングフレームワークであるReliableSwapは、既存のフェースワップネットワークの性能を無視できるオーバーヘッドで向上させることができる。
  論文  参考訳（メタデータ） (2023-06-08T17:01:14Z)
• Face Transformer: Towards High Fidelity and Accurate Face Swapping [54.737909435708936]
  Face swappingは、ソース顔の同一性とターゲット顔の属性を融合させるスワップ画像を生成することを目的としている。 本稿では,顔の同一性と対象属性を同時に正確に保存できる新しい顔交換ネットワークであるFace Transformerを提案する。
  論文  参考訳（メタデータ） (2023-04-05T15:51:44Z)
• DiffFace: Diffusion-based Face Swapping with Facial Guidance [24.50570533781642]
  DiffFaceと呼ばれる拡散型顔交換フレームワークを初めて提案する。 トレーニングID条件DDPM、顔誘導によるサンプリング、および目標保存ブレンディングで構成されている。 DiffFaceは、トレーニングの安定性、高い忠実度、サンプルの多様性、制御性など、よりよいメリットを実現している。
  論文  参考訳（メタデータ） (2022-12-27T02:51:46Z)
• FlowFace: Semantic Flow-guided Shape-aware Face Swapping [43.166181219154936]
  本稿では,形状認識型顔交換のためのセマンティックフロー誘導2段階フレームワークであるFlowFaceを提案する。 FlowFaceは、フェイスリフォームネットワークとフェイススワップネットワークで構成されています。 我々は、訓練済みの顔マスク付きオートエンコーダを用いて、顔と顔の両方から顔の特徴を抽出する。
  論文  参考訳（メタデータ） (2022-12-06T07:23:39Z)
• FaceTuneGAN: Face Autoencoder for Convolutional Expression Transfer Using Neural Generative Adversarial Networks [0.7043489166804575]
  顔の識別と表情を分離して符号化する新しい3次元顔モデル表現であるFaceTuneGANを提案する。 本稿では,2次元領域で使用されている画像と画像の変換ネットワークを3次元顔形状に適応させる手法を提案する。
  論文  参考訳（メタデータ） (2021-12-01T14:42:03Z)
• HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping [116.1022638063613]
  本研究では,光源面の顔形状を保存し,写真リアルな結果を生成できるHifiFaceを提案する。 本稿では,エンコーダとデコーダの組み合わせを最適化するSemantic Facial Fusionモジュールを提案する。
  論文  参考訳（メタデータ） (2021-06-18T07:39:09Z)
• Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo Collection [65.92058628082322]
  非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。 本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T03:10:17Z)
• FaceController: Controllable Attribute Editing for Face in the Wild [74.56117807309576]
  単純なフィードフォワードネットワークを提案し、高忠実度な顔を生成する。 本手法では,既存かつ容易に把握可能な事前情報を利用することで,野生の多様な顔属性の制御,転送,編集を行うことができる。 本手法では,3Dプリミティブを用いてアイデンティティ,表現,ポーズ,イルミネーションを分離し,地域別スタイルコードを用いてテクスチャとカラーを分離する。
  論文  参考訳（メタデータ） (2021-02-23T02:47:28Z)
• Face Super-Resolution Guided by 3D Facial Priors [92.23902886737832]
  シャープな顔構造を把握した3次元顔先行情報を明示的に組み込んだ新しい顔超解像法を提案する。 我々の研究は、顔属性のパラメトリック記述の融合に基づく3次元形態的知識を初めて探求したものである。 提案した3D先行画像は、最先端技術よりも優れた顔超解像結果が得られる。
  論文  参考訳（メタデータ） (2020-07-18T15:26:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。