論文の概要: MaskRenderer: 3D-Infused Multi-Mask Realistic Face Reenactment

• arxiv url: http://arxiv.org/abs/2309.05095v1
• Date: Sun, 10 Sep 2023 17:41:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-12 14:37:19.641304
• Title: MaskRenderer: 3D-Infused Multi-Mask Realistic Face Reenactment
• Title（参考訳）: MaskRenderer:3D融合マルチマスクリアリスティック顔再現
• Authors: Tina Behrouzi, Atefeh Shahroudnejad, Payam Mousavi
• Abstract要約: 本研究では,現実的かつ高忠実なフレームをリアルタイムに生成できる,エンド・ツー・エンドの識別非依存の顔再現システムMaskRendererを提案する。
• 参考スコア（独自算出の注目度）: 0.7673339435080445
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel end-to-end identity-agnostic face reenactment system, MaskRenderer, that can generate realistic, high fidelity frames in real-time. Although recent face reenactment works have shown promising results, there are still significant challenges such as identity leakage and imitating mouth movements, especially for large pose changes and occluded faces. MaskRenderer tackles these problems by using (i) a 3DMM to model 3D face structure to better handle pose changes, occlusion, and mouth movements compared to 2D representations; (ii) a triplet loss function to embed the cross-reenactment during training for better identity preservation; and (iii) multi-scale occlusion, improving inpainting and restoring missing areas. Comprehensive quantitative and qualitative experiments conducted on the VoxCeleb1 test set, demonstrate that MaskRenderer outperforms state-of-the-art models on unseen faces, especially when the Source and Driving identities are very different.
• Abstract（参考訳）: 本研究では,現実的かつ高忠実なフレームをリアルタイムに生成できる,エンドツーエンドの顔認識システムMaskRendererを提案する。 最近の顔再現研究は有望な結果を示しているが、特に大きなポーズの変化や隠蔽された顔に対して、アイデンティティの漏洩や口の動きの模倣といった重要な課題がある。 MaskRendererはこれらの問題に対処する (i)2d表現と比較してポーズの変化、咬合、口の動きをよりよく扱うための3dmmの3d顔構造 二 身元保存を改善するための訓練の際、相互行為を組み込む三重項損失関数 (iii)多変量咬合、塗り込みの改善、欠落領域の修復。 VoxCeleb1テストセットで実施された総合的な定量的および定性的実験は、MaskRendererが、特にソースとドライビングのアイデンティティが非常に異なる場合、見えない顔の最先端モデルよりも優れていることを示した。

関連論文リスト

• FitDiff: Robust monocular 3D facial shape and reflectance estimation using Diffusion Models [79.65289816077629]
  拡散型3次元顔アバター生成モデルFitDiffを提案する。 本モデルでは,「近距離」2次元顔画像から抽出したアイデンティティ埋め込みを利用して,再現性のある顔アバターを高精度に生成する。 FitDiffは、顔認識の埋め込みを前提とした最初の3D LDMであり、一般的なレンダリングエンジンで使用可能な、ライティング可能な人間のアバターを再構築する。
  論文  参考訳（メタデータ） (2023-12-07T17:35:49Z)
• MM-3DScene: 3D Scene Understanding by Customizing Masked Modeling with Informative-Preserved Reconstruction and Self-Distilled Consistency [120.9499803967496]
  本稿では,地域統計を探索し,代表的構造化点の発見と保存を行う新しい情報保存型再構築法を提案する。 本手法は, 地域形状のモデル化に集中し, マスク復元のあいまいさを軽減できる。 マスク付き領域における情報保存型再構築と未加工領域からの連続自己蒸留を組み合わせることにより,MM-3DSceneと呼ばれる統合フレームワークが提供される。
  論文  参考訳（メタデータ） (2022-12-20T01:53:40Z)
• Semantic-aware One-shot Face Re-enactment with Dense Correspondence Estimation [100.60938767993088]
  ワンショットの顔の再現は、ソースと駆動する顔の同一性ミスマッチのため、難しい作業である。 本稿では,3次元形態素モデル(3DMM)を明示的な顔のセマンティックな分解とアイデンティティの絡み合いに利用することを提案する。
  論文  参考訳（メタデータ） (2022-11-23T03:02:34Z)
• Non-Deterministic Face Mask Removal Based On 3D Priors [3.8502825594372703]
  提案手法では,マルチタスクの3次元顔再構成モジュールと顔塗装モジュールを統合する。 本手法は,3次元形状パラメータを徐々に制御することにより,表情や口の動きの異なる高品質な動的塗装結果を生成する。
  論文  参考訳（メタデータ） (2022-02-20T16:27:44Z)
• Segmentation-Reconstruction-Guided Facial Image De-occlusion [48.952656891182826]
  隠蔽は野生の顔画像で非常に一般的であり、顔関連タスクの劣化パフォーマンスに繋がる。 本稿では,顔分割と3次元顔再構成に基づく新しい顔除去モデルを提案する。
  論文  参考訳（メタデータ） (2021-12-15T10:40:08Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• 3DFaceFill: An Analysis-By-Synthesis Approach to Face Completion [2.0305676256390934]
  3DFaceFillは、画像形成過程を明示的に考慮した顔合成のための分析バイシンセシス手法である。 1)顔を構成体3Dメッシュに切り離すエンコーダ、3Dポーズ、照明およびアルベド因子、(2)顔アルベドのUV表現を塗布するオートエンコーダ、(3)完成した顔を再合成するオートエンコーダからなる。
  論文  参考訳（メタデータ） (2021-10-20T06:31:47Z)
• Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo Collection [65.92058628082322]
  非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。 本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T03:10:17Z)
• Unmasking Face Embeddings by Self-restrained Triplet Loss for Accurate Masked Face Recognition [6.865656740940772]
  マスク付き顔認識性能を改善するためのソリューションを提案する。 具体的には,既存の顔認識モデル上で動作させるEmbedding Unmasking Model (EUM)を提案する。 また、EUMが同一アイデンティティのマスクされていない顔のこれらに類似した埋め込みを作成することを可能にする新しい損失関数、自己拘束トリプルト(SRT)を提案します。
  論文  参考訳（メタデータ） (2021-03-02T13:43:11Z)
• A 3D model-based approach for fitting masks to faces in the wild [9.958467179573235]
  マスクされた顔に対する様々なポーズの顔画像を増やすために,WearMask3Dと呼ばれる3次元モデルに基づくアプローチを提案する。 提案手法は,まず入力画像に3D形態素モデルを適用し,マスク表面を顔モデルにオーバーレイし,各マスクテクスチャをワープし,最後に3Dマスクを2Dに投影することで進行する。 実験の結果,wearmask3dはよりリアルなマスク画像を生成することを示し,これらの画像を用いたトレーニングによりマスク顔の認識精度が向上した。
  論文  参考訳（メタデータ） (2021-03-01T06:50:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。