論文の概要: HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping

• arxiv url: http://arxiv.org/abs/2106.09965v1
• Date: Fri, 18 Jun 2021 07:39:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-21 14:06:47.881829
• Title: HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping
• Title（参考訳）: HifiFace:3D形状とセマンティックな事前ガイドによる高忠実な顔スワップ
• Authors: Yuhan Wang, Xu Chen, Junwei Zhu, Wenqing Chu, Ying Tai, Chengjie Wang, Jilin Li, Yongjian Wu, Feiyue Huang and Rongrong Ji
• Abstract要約: 本研究では,光源面の顔形状を保存し,写真リアルな結果を生成できるHifiFaceを提案する。 本稿では,エンコーダとデコーダの組み合わせを最適化するSemantic Facial Fusionモジュールを提案する。
• 参考スコア（独自算出の注目度）: 116.1022638063613
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we propose a high fidelity face swapping method, called HifiFace, which can well preserve the face shape of the source face and generate photo-realistic results. Unlike other existing face swapping works that only use face recognition model to keep the identity similarity, we propose 3D shape-aware identity to control the face shape with the geometric supervision from 3DMM and 3D face reconstruction method. Meanwhile, we introduce the Semantic Facial Fusion module to optimize the combination of encoder and decoder features and make adaptive blending, which makes the results more photo-realistic. Extensive experiments on faces in the wild demonstrate that our method can preserve better identity, especially on the face shape, and can generate more photo-realistic results than previous state-of-the-art methods.
• Abstract（参考訳）: 本研究では,光源面の形状をよく保存し,フォトリアリスティックな結果を生成するhififaceと呼ばれる高忠実度顔スワップ法を提案する。 顔の同一性を維持するために顔認識モデルのみを用いる他の既存の顔交換作業とは異なり、3次元MMおよび3次元顔再構成法から幾何的監督により顔形状を制御する3次元形状認識IDを提案する。 一方,エンコーダとデコーダの組み合わせを最適化するセマンティック・ファシアル・フュージョン(Semantic Facial Fusion)モジュールを導入し,アダプティブ・ブレンディングを行い,その結果をよりリアルにする。 野生の顔に関する広範囲な実験は、この手法が、特に顔の形状において、より良いアイデンティティを保ち、従来の最先端の手法よりもよりフォトリアリスティックな結果を生み出すことを証明している。

関連論文リスト

• End-to-end Face-swapping via Adaptive Latent Representation Learning [12.364688530047786]
  本稿では,高精細・高精細・高精細・高精細・高精細な顔交換のための新しいエンドツーエンド統合フレームワークを提案する。 顔の知覚とブレンドをエンドツーエンドのトレーニングとテストのプロセスに統合することで、野生の顔に高いリアルな顔スワッピングを実現することができる。
  論文  参考訳（メタデータ） (2023-03-07T19:16:20Z)
• Generating 2D and 3D Master Faces for Dictionary Attacks with a Network-Assisted Latent Space Evolution [68.8204255655161]
  マスターフェイス(英: master face)とは、人口の比率の高い顔認証をパスする顔画像である。 2次元および3次元の顔認証モデルに対して,これらの顔の最適化を行う。 3Dでは,2次元スタイルGAN2ジェネレータを用いて顔を生成し,深部3次元顔再構成ネットワークを用いて3次元構造を予測する。
  論文  参考訳（メタデータ） (2022-11-25T09:15:38Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• FaceTuneGAN: Face Autoencoder for Convolutional Expression Transfer Using Neural Generative Adversarial Networks [0.7043489166804575]
  顔の識別と表情を分離して符号化する新しい3次元顔モデル表現であるFaceTuneGANを提案する。 本稿では,2次元領域で使用されている画像と画像の変換ネットワークを3次元顔形状に適応させる手法を提案する。
  論文  参考訳（メタデータ） (2021-12-01T14:42:03Z)
• SAFA: Structure Aware Face Animation [9.58882272014749]
  顔画像の異なる成分をモデル化するために,特定の幾何学的構造を構成する構造認識顔画像(SAFA)手法を提案する。 顔のモデリングには3Dフォーマブルモデル(3DMM)、髪やひげなどの他の前景のコンポーネントをモデル化するための複数のアフィン変換、背景をモデル化するためのアイデンティティ変換を使用します。 3DMMの幾何学的埋め込みは、運転シーンの現実的な構造を生成するだけでなく、生成した画像の隠蔽領域の知覚の向上にも寄与する。
  論文  参考訳（メタデータ） (2021-11-09T03:22:38Z)
• 3DFaceFill: An Analysis-By-Synthesis Approach to Face Completion [2.0305676256390934]
  3DFaceFillは、画像形成過程を明示的に考慮した顔合成のための分析バイシンセシス手法である。 1)顔を構成体3Dメッシュに切り離すエンコーダ、3Dポーズ、照明およびアルベド因子、(2)顔アルベドのUV表現を塗布するオートエンコーダ、(3)完成した顔を再合成するオートエンコーダからなる。
  論文  参考訳（メタデータ） (2021-10-20T06:31:47Z)
• Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo Collection [65.92058628082322]
  非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。 本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T03:10:17Z)
• One Shot Face Swapping on Megapixels [65.47443090320955]
  本稿では,顔面スワッピング(略してMegaFS)における最初のメガピクセルレベル法を提案する。 本手法の成功に対する3つの新しい貢献は,顔の完全な表現,安定したトレーニング,限られたメモリ使用量である。
  論文  参考訳（メタデータ） (2021-05-11T10:41:47Z)
• Face Super-Resolution Guided by 3D Facial Priors [92.23902886737832]
  シャープな顔構造を把握した3次元顔先行情報を明示的に組み込んだ新しい顔超解像法を提案する。 我々の研究は、顔属性のパラメトリック記述の融合に基づく3次元形態的知識を初めて探求したものである。 提案した3D先行画像は、最先端技術よりも優れた顔超解像結果が得られる。
  論文  参考訳（メタデータ） (2020-07-18T15:26:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。