論文の概要: Makeup Extraction of 3D Representation via Illumination-Aware Image Decomposition

• arxiv url: http://arxiv.org/abs/2302.13279v1
• Date: Sun, 26 Feb 2023 09:48:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-28 17:52:44.123261
• Title: Makeup Extraction of 3D Representation via Illumination-Aware Image Decomposition
• Title（参考訳）: イルミネーション対応画像分解による3次元表現の生成
• Authors: Xingchao Yang, Takafumi Taketomi, Yoshihiro Kanamori
• Abstract要約: 本稿では,1枚の化粧像から3次元顔モデルのための化粧品を抽出する最初の方法を提案する。 粗い材料を抽出するために, 回帰ベースの逆レンダリングにより, 3次元形態素モデルの強みを生かした。 本手法は3次元顔モデルだけでなく2次元顔画像にも様々な用途を提供する。
• 参考スコア（独自算出の注目度）: 4.726777092009553
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Facial makeup enriches the beauty of not only real humans but also virtual characters; therefore, makeup for 3D facial models is highly in demand in productions. However, painting directly on 3D faces and capturing real-world makeup are costly, and extracting makeup from 2D images often struggles with shading effects and occlusions. This paper presents the first method for extracting makeup for 3D facial models from a single makeup portrait. Our method consists of the following three steps. First, we exploit the strong prior of 3D morphable models via regression-based inverse rendering to extract coarse materials such as geometry and diffuse/specular albedos that are represented in the UV space. Second, we refine the coarse materials, which may have missing pixels due to occlusions. We apply inpainting and optimization. Finally, we extract the bare skin, makeup, and an alpha matte from the diffuse albedo. Our method offers various applications for not only 3D facial models but also 2D portrait images. The extracted makeup is well-aligned in the UV space, from which we build a large-scale makeup dataset and a parametric makeup model for 3D faces. Our disentangled materials also yield robust makeup transfer and illumination-aware makeup interpolation/removal without a reference image.
• Abstract（参考訳）: 顔の化粧は、実際の人間だけでなく、仮想キャラクタの美しさを豊かにするため、3D顔モデルの化粧はプロダクションにおいて非常に要求される。 しかし、直接3d顔に絵を描き、現実世界のメイクアップを撮影することは費用がかかり、2d画像からメイクアップを抽出すると、陰影や閉塞に苦しむことが多い。 本稿では,1つのメイクアップポートレートから3次元顔モデルのメイクアップを抽出する最初の方法を提案する。 本手法は以下の3つのステップからなる。 まず, 回帰に基づく逆レンダリングにより, uv空間で表現される幾何学, 拡散・特異アルベドなどの粗材料を抽出することで, 3次元モーファブルモデルの強い先行性を利用する。 第2に,咬合による画素の欠落が疑われる粗い材料を精製する。 塗装と最適化を施す。 最後に, びまん性アルベドから皮膚, 化粧, アルファマットを抽出した。 本手法は,3次元顔モデルだけでなく,2次元ポートレート画像にも応用できる。 抽出されたメークアップは、uv空間によく整列しており、そこから大規模なメークアップデータセットと3d顔のためのパラメトリックメイクアップモデルを構築します。 また, この不整合材料は, 基準画像を使わずに, 強靭なメイク転移と照明対応メイク補間/除去を生じる。

関連論文リスト

• FitDiff: Robust monocular 3D facial shape and reflectance estimation using Diffusion Models [79.65289816077629]
  拡散型3次元顔アバター生成モデルFitDiffを提案する。 本モデルでは,「近距離」2次元顔画像から抽出したアイデンティティ埋め込みを利用して,再現性のある顔アバターを高精度に生成する。 FitDiffは、顔認識の埋め込みを前提とした最初の3D LDMであり、一般的なレンダリングエンジンで使用可能な、ライティング可能な人間のアバターを再構築する。
  論文  参考訳（メタデータ） (2023-12-07T17:35:49Z)
• FaceLit: Neural 3D Relightable Faces [28.0806453092185]
  FaceLitは、ユーザーが定義した様々な照明条件やビューでレンダリングできる3D顔を生成することができる。 FFHQデータセット上での3次元認識GANのFIDスコア3.5。
  論文  参考訳（メタデータ） (2023-03-27T17:59:10Z)
• BareSkinNet: De-makeup and De-lighting via 3D Face Reconstruction [2.741266294612776]
  顔画像から化粧や照明の影響を同時に除去する新しい手法であるBareSkinNetを提案する。 3次元顔再構成のプロセスを組み合わせることで,3次元形状と粗い3次元テクスチャを容易に得ることができる。 実験の結果,BareSkinNetは最先端メイク除去法より優れていたことがわかった。
  論文  参考訳（メタデータ） (2022-09-19T14:02:03Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• 3DFaceFill: An Analysis-By-Synthesis Approach to Face Completion [2.0305676256390934]
  3DFaceFillは、画像形成過程を明示的に考慮した顔合成のための分析バイシンセシス手法である。 1)顔を構成体3Dメッシュに切り離すエンコーダ、3Dポーズ、照明およびアルベド因子、(2)顔アルベドのUV表現を塗布するオートエンコーダ、(3)完成した顔を再合成するオートエンコーダからなる。
  論文  参考訳（メタデータ） (2021-10-20T06:31:47Z)
• PSGAN++: Robust Detail-Preserving Makeup Transfer and Removal [176.47249346856393]
  PSGAN++は、細部保存メイク転送と効果的なメイク除去の両方を実行することができる。 PSGAN++はメイクアップ・ディスティル・ネットワークを使用してメイクアップ情報を抽出する。 PSGAN++は化粧品の除去のためにアイデンティティ・ディスティル・ネットワーク(Identity Distill Network)を適用し、ウィットメイクアップ画像のID情報をアイデンティティ・マトリックスに埋め込む。
  論文  参考訳（メタデータ） (2021-05-26T04:37:57Z)
• SOGAN: 3D-Aware Shadow and Occlusion Robust GAN for Makeup Transfer [68.38955698584758]
  3D-Aware Shadow and Occlusion Robust GAN (SOGAN) と呼ばれる新しいメイクアップ転送手法を提案する。 最初に3D顔モデルにフィットし、顔を形とテクスチャに切り離します。 テクスチャブランチでは、テクスチャをuv空間にマッピングし、uvテクスチャ生成器を設計してメークアップを転送する。
  論文  参考訳（メタデータ） (2021-04-21T14:48:49Z)
• OSTeC: One-Shot Texture Completion [86.23018402732748]
  ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。 提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。 完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
  論文  参考訳（メタデータ） (2020-12-30T23:53:26Z)
• AvatarMe: Realistically Renderable 3D Facial Reconstruction "in-the-wild" [105.28776215113352]
  AvatarMe は、1つの "in-the-wild" 画像から高精細度で光リアルな3D顔を再構成できる最初の方法である。 6K解像度の3D画像を1枚の低解像度画像から再現する。
  論文  参考訳（メタデータ） (2020-03-30T22:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。