論文の概要: Semantic-aware One-shot Face Re-enactment with Dense Correspondence Estimation

• arxiv url: http://arxiv.org/abs/2211.12674v1
• Date: Wed, 23 Nov 2022 03:02:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 15:15:40.006452
• Title: Semantic-aware One-shot Face Re-enactment with Dense Correspondence Estimation
• Title（参考訳）: ディエンス対応推定を用いた意味認識型ワンショット顔再現
• Authors: Yunfan Liu, Qi Li, Zhenan Sun, Tieniu Tan
• Abstract要約: ワンショットの顔の再現は、ソースと駆動する顔の同一性ミスマッチのため、難しい作業である。 本稿では,3次元形態素モデル(3DMM)を明示的な顔のセマンティックな分解とアイデンティティの絡み合いに利用することを提案する。
• 参考スコア（独自算出の注目度）: 100.60938767993088
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One-shot face re-enactment is a challenging task due to the identity mismatch between source and driving faces. Specifically, the suboptimally disentangled identity information of driving subjects would inevitably interfere with the re-enactment results and lead to face shape distortion. To solve this problem, this paper proposes to use 3D Morphable Model (3DMM) for explicit facial semantic decomposition and identity disentanglement. Instead of using 3D coefficients alone for re-enactment control, we take the advantage of the generative ability of 3DMM to render textured face proxies. These proxies contain abundant yet compact geometric and semantic information of human faces, which enable us to compute the face motion field between source and driving images by estimating the dense correspondence. In this way, we could approximate re-enactment results by warping source images according to the motion field, and a Generative Adversarial Network (GAN) is adopted to further improve the visual quality of warping results. Extensive experiments on various datasets demonstrate the advantages of the proposed method over existing start-of-the-art benchmarks in both identity preservation and re-enactment fulfillment.
• Abstract（参考訳）: ワンショット顔の再現は、ソースと駆動面の同一性ミスマッチのため、難しい課題である。 具体的には、運転者の不整合性情報に対して、必然的に再現結果に干渉し、顔形状の歪みを引き起こす。 そこで本研究では,3次元モーフィブルモデル(3DMM)を明示的な顔のセマンティックな分解と識別の不整合に利用することを提案する。 再現性制御に3D係数のみを用いる代わりに、3DMMによるテクスチャ化された顔プロキシの描画能力を生かした。 これらのプロキシには、人間の顔の十分なコンパクトな幾何学的・意味的な情報が含まれており、密度の高い対応を推定することにより、音源と駆動画像の間の顔の動き場を計算することができる。 このようにして、モーションフィールドに応じてソースイメージをワープすることで、再現結果を近似することができ、また、ワープ結果の視覚的品質をさらに向上するために、ジェネレーティブ・ディバイザリアル・ネットワーク(GAN)が採用される。 各種データセットに対する広範囲な実験により,提案手法は,アイデンティティ保存と再現充足の両面において,既存の最先端ベンチマークよりも優れていることが示された。

関連論文リスト

• OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
  拡散モデルは、顔の修復において顕著な性能を示した。 顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。 その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-11-26T07:07:48Z)
• G2Face: High-Fidelity Reversible Face Anonymization via Generative and Geometric Priors [71.69161292330504]
  可逆顔匿名化(Reversible face anonymization)は、顔画像の繊細なアイデンティティ情報を、合成された代替品に置き換えようとしている。 本稿では,Gtextsuperscript2Faceを提案する。 提案手法は,高データの有効性を保ちながら,顔の匿名化と回復において既存の最先端技術よりも優れる。
  論文  参考訳（メタデータ） (2024-08-18T12:36:47Z)
• Learning Dense Correspondence for NeRF-Based Face Reenactment [24.072019889495966]
  本研究では,三面体を基本的なNeRF表現として採用し,顔三面体を正準三面体,恒等変形,運動の3つの構成要素に分解する新しい枠組みを提案する。 筆者らのフレームワークは,従来の3次元パラメトリックモデルを使わずに,ワンショットの多視点顔再現を実現する最初の手法である。
  論文  参考訳（メタデータ） (2023-12-16T11:31:34Z)
• Non-Deterministic Face Mask Removal Based On 3D Priors [3.8502825594372703]
  提案手法では,マルチタスクの3次元顔再構成モジュールと顔塗装モジュールを統合する。 本手法は,3次元形状パラメータを徐々に制御することにより,表情や口の動きの異なる高品質な動的塗装結果を生成する。
  論文  参考訳（メタデータ） (2022-02-20T16:27:44Z)
• Implicit Neural Deformation for Multi-View Face Reconstruction [43.88676778013593]
  マルチビューRGB画像から新しい3次元顔再構成法を提案する。 従来の3次元形態素モデルに基づく手法とは異なり,本手法は暗黙の表現を利用してリッチな幾何学的特徴を符号化する。 いくつかのベンチマークデータセットに対する実験結果から,提案手法は代替ベースラインよりも優れ,最先端の手法に比べて優れた顔再構成結果が得られることが示された。
  論文  参考訳（メタデータ） (2021-12-05T07:02:53Z)
• Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo Collection [65.92058628082322]
  非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。 本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T03:10:17Z)
• Everything's Talkin': Pareidolia Face Reenactment [119.49707201178633]
  pareidolia face reenactmentは、ビデオ中の人間の顔とタンデムで動く静的なイラストリーフェイスのアニメーションと定義されている。 顔再現法と従来の顔再現法との差異が大きいため, 形状のばらつきとテクスチャのばらつきが導入された。 この2つの課題に取り組むために,新しいパラメトリック非教師なし再現アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-07T11:19:13Z)
• 3D Dense Geometry-Guided Facial Expression Synthesis by Adversarial Learning [54.24887282693925]
  本稿では,3次元密度(深度,表面正規度)情報を表現操作に用いる新しいフレームワークを提案する。 既製の最先端3D再構成モデルを用いて深度を推定し,大規模RGB-Depthデータセットを作成する。 実験により,提案手法は競争ベースラインと既存の芸術を大きなマージンで上回ることを示した。
  論文  参考訳（メタデータ） (2020-09-30T17:12:35Z)
• 3D Face Anti-spoofing with Factorized Bilinear Coding [35.30886962572515]
  本稿では, きめ細かい分類の観点から, 新規なアンチ・スプーフィング法を提案する。 RGB と YCbCr 空間から識別的かつ相補的情報を抽出することにより、3次元顔スプーフィング検出の原理的解法を開発した。
  論文  参考訳（メタデータ） (2020-05-12T03:09:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。