論文の概要: SOGAN: 3D-Aware Shadow and Occlusion Robust GAN for Makeup Transfer

• arxiv url: http://arxiv.org/abs/2104.10567v1
• Date: Wed, 21 Apr 2021 14:48:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-22 14:36:05.787043
• Title: SOGAN: 3D-Aware Shadow and Occlusion Robust GAN for Makeup Transfer
• Title（参考訳）: SOGAN:メイクアップ転送のための3D認識シャドウとオクルージョンロバストGAN
• Authors: Yueming Lyu, Jing Dong, Bo Peng, Wei Wang, Tieniu Tan
• Abstract要約: 3D-Aware Shadow and Occlusion Robust GAN (SOGAN) と呼ばれる新しいメイクアップ転送手法を提案する。 最初に3D顔モデルにフィットし、顔を形とテクスチャに切り離します。 テクスチャブランチでは、テクスチャをuv空間にマッピングし、uvテクスチャ生成器を設計してメークアップを転送する。
• 参考スコア（独自算出の注目度）: 68.38955698584758
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, virtual makeup applications have become more and more popular. However, it is still challenging to propose a robust makeup transfer method in the real-world environment. Current makeup transfer methods mostly work well on good-conditioned clean makeup images, but transferring makeup that exhibits shadow and occlusion is not satisfying. To alleviate it, we propose a novel makeup transfer method, called 3D-Aware Shadow and Occlusion Robust GAN (SOGAN). Given the source and the reference faces, we first fit a 3D face model and then disentangle the faces into shape and texture. In the texture branch, we map the texture to the UV space and design a UV texture generator to transfer the makeup. Since human faces are symmetrical in the UV space, we can conveniently remove the undesired shadow and occlusion from the reference image by carefully designing a Flip Attention Module (FAM). After obtaining cleaner makeup features from the reference image, a Makeup Transfer Module (MTM) is introduced to perform accurate makeup transfer. The qualitative and quantitative experiments demonstrate that our SOGAN not only achieves superior results in shadow and occlusion situations but also performs well in large pose and expression variations.
• Abstract（参考訳）: 近年,仮想メイクアップアプリケーションの人気が高まっている。 しかし, 実環境におけるロバストなメイクトランスファー手法の提案はいまだに困難である。 現在のメークアップ転送方式は, 清潔なメークアップ画像ではよく機能するが, 陰影や閉塞を呈するメイクアップは満足できない。 そこで我々は3D-Aware Shadow and Occlusion Robust GAN (SOGAN) と呼ばれる新しいメイクアップ転送手法を提案する。 ソースと参照面を考えると、まず3d顔モデルに適合し、次に顔を形とテクスチャに切り離します。 テクスチャブランチでは、テクスチャをuv空間にマッピングし、uvテクスチャ生成器を設計してメークアップを転送する。 人間の顔は紫外線空間では対称であるため、フリップ注意モジュール(FAM)を慎重に設計することで、望ましくない影と閉塞を基準画像から都合よく取り除くことができる。 基準画像からよりクリーンなメークアップ特徴を得た後、正確なメイクアップ転送を行うためにメイクアップ転送モジュール(MTM)を導入する。 定性的かつ定量的な実験により、我々のSOGANは影や閉塞の状況において優れた結果を得るだけでなく、大きなポーズや表現のバリエーションでも良好に機能することが示された。

関連論文リスト

• Relightify: Relightable 3D Faces from a Single Image via Diffusion Models [86.3927548091627]
  単一画像からの3次元顔BRDF再構成を高精度に行うために,拡散モデルを用いた最初のアプローチを提案する。 既存の手法とは対照的に,観測されたテクスチャを直接入力画像から取得することで,より忠実で一貫した推定が可能となる。
  論文  参考訳（メタデータ） (2023-05-10T11:57:49Z)
• Makeup Extraction of 3D Representation via Illumination-Aware Image Decomposition [4.726777092009553]
  本稿では,1枚の化粧像から3次元顔モデルのための化粧品を抽出する最初の方法を提案する。 粗い材料を抽出するために, 回帰ベースの逆レンダリングにより, 3次元形態素モデルの強みを生かした。 本手法は3次元顔モデルだけでなく2次元顔画像にも様々な用途を提供する。
  論文  参考訳（メタデータ） (2023-02-26T09:48:57Z)
• BareSkinNet: De-makeup and De-lighting via 3D Face Reconstruction [2.741266294612776]
  顔画像から化粧や照明の影響を同時に除去する新しい手法であるBareSkinNetを提案する。 3次元顔再構成のプロセスを組み合わせることで,3次元形状と粗い3次元テクスチャを容易に得ることができる。 実験の結果,BareSkinNetは最先端メイク除去法より優れていたことがわかった。
  論文  参考訳（メタデータ） (2022-09-19T14:02:03Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• PSGAN++: Robust Detail-Preserving Makeup Transfer and Removal [176.47249346856393]
  PSGAN++は、細部保存メイク転送と効果的なメイク除去の両方を実行することができる。 PSGAN++はメイクアップ・ディスティル・ネットワークを使用してメイクアップ情報を抽出する。 PSGAN++は化粧品の除去のためにアイデンティティ・ディスティル・ネットワーク(Identity Distill Network)を適用し、ウィットメイクアップ画像のID情報をアイデンティティ・マトリックスに埋め込む。
  論文  参考訳（メタデータ） (2021-05-26T04:37:57Z)
• Facial Attribute Transformers for Precise and Robust Makeup Transfer [79.41060385695977]
  高品質な化粧品転写のための新しい顔属性変換器(FAT)とその変種空間FATを提案する。 fatは、ソースの顔と参照顔の間の意味的対応とインタラクションをモデル化し、その顔属性を正確に推定し、転送することができる。 また、薄いプレートスプライン(TPS)をFATに統合し、色やテクスチャに加えて幾何学的属性を転送できる最初の方法である空間FATを作成します。
  論文  参考訳（メタデータ） (2021-04-07T03:39:02Z)
• Lipstick ain't enough: Beyond Color Matching for In-the-Wild Makeup Transfer [20.782984081934213]
  上記のすべてのメークコンポーネントを扱える総合的なメークトランスファーフレームワークを提案します。 改良されたカラー転送ブランチと新しいパターン転送ブランチで構成され、すべてのメイクアップ特性を学習する。 私達のフレームワークはライトおよび極度の構造の様式の芸術の性能の状態を達成します。
  論文  参考訳（メタデータ） (2021-04-05T12:12:56Z)
• OSTeC: One-Shot Texture Completion [86.23018402732748]
  ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。 提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。 完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
  論文  参考訳（メタデータ） (2020-12-30T23:53:26Z)
• MakeupBag: Disentangling Makeup Extraction and Application [0.0]
  MakeupBagは自動メイクスタイル転送のための新しい方法である。 抽出した化粧スタイルのカスタマイズと画素特異的な修正が可能である。 比較分析では、MakeupBagは現在の最先端のアプローチより優れていることが示されている。
  論文  参考訳（メタデータ） (2020-12-03T18:44:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。