論文の概要: PSGAN++: Robust Detail-Preserving Makeup Transfer and Removal
- arxiv url: http://arxiv.org/abs/2105.12324v1
- Date: Wed, 26 May 2021 04:37:57 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-27 13:29:25.904244
- Title: PSGAN++: Robust Detail-Preserving Makeup Transfer and Removal
- Title（参考訳）: PSGAN++:ロバストな詳細な保存メイクアップ転送と削除
- Authors: Si Liu, Wentao Jiang, Chen Gao, Ran He, Jiashi Feng, Bo Li, Shuicheng
Yan
- Abstract要約: PSGAN++は、細部保存メイク転送と効果的なメイク除去の両方を実行することができる。
PSGAN++はメイクアップ・ディスティル・ネットワークを使用してメイクアップ情報を抽出する。
PSGAN++は化粧品の除去のためにアイデンティティ・ディスティル・ネットワーク(Identity Distill Network)を適用し、ウィットメイクアップ画像のID情報をアイデンティティ・マトリックスに埋め込む。
- 参考スコア（独自算出の注目度）: 176.47249346856393
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we address the makeup transfer and removal tasks
simultaneously, which aim to transfer the makeup from a reference image to a
source image and remove the makeup from the with-makeup image respectively.
Existing methods have achieved much advancement in constrained scenarios, but
it is still very challenging for them to transfer makeup between images with
large pose and expression differences, or handle makeup details like blush on
cheeks or highlight on the nose. In addition, they are hardly able to control
the degree of makeup during transferring or to transfer a specified part in the
input face. In this work, we propose the PSGAN++, which is capable of
performing both detail-preserving makeup transfer and effective makeup removal.
For makeup transfer, PSGAN++ uses a Makeup Distill Network to extract makeup
information, which is embedded into spatial-aware makeup matrices. We also
devise an Attentive Makeup Morphing module that specifies how the makeup in the
source image is morphed from the reference image, and a makeup detail loss to
supervise the model within the selected makeup detail area. On the other hand,
for makeup removal, PSGAN++ applies an Identity Distill Network to embed the
identity information from with-makeup images into identity matrices. Finally,
the obtained makeup/identity matrices are fed to a Style Transfer Network that
is able to edit the feature maps to achieve makeup transfer or removal. To
evaluate the effectiveness of our PSGAN++, we collect a Makeup Transfer In the
Wild dataset that contains images with diverse poses and expressions and a
Makeup Transfer High-Resolution dataset that contains high-resolution images.
Experiments demonstrate that PSGAN++ not only achieves state-of-the-art results
with fine makeup details even in cases of large pose/expression differences but
also can perform partial or degree-controllable makeup transfer.
- Abstract（参考訳）: 本稿では,参照画像からソース画像へメークアップを転送し,メークアップ画像からメークアップを除去することを目的としたメークアップ転送と削除を同時に行う。
既存の手法は制約のあるシナリオでは大きな進歩を遂げているが、ポーズや表情の違いが大きい画像間でメイクアップを転送したり、頬のブラッシュや鼻のハイライトのようなメイクアップの詳細を扱うことは依然として非常に困難である。
また、入力面の特定の部分の転写や転写の際のメークアップの程度を制御できない。
そこで本研究では,psgan++ を提案する。psgan++ は精細なメイクアップ転送と効果的なメイクアップ除去の両方を行うことができる。
PSGAN++はメイクアップ・ディスティル・ネットワーク(Makeup Distill Network)を使用してメイクアップ情報を抽出し、空間認識メイク行列に埋め込む。
また、基準画像からソース画像のメイクアップがどう変化するかを特定するための注意メイクアップモーフィングモジュールと、選択されたメイクアップディテール領域内でモデルを監督するメイクアップディテールロスとを考案する。
一方,PSGAN++では,メイクアップ画像からのアイデンティティ情報をアイデンティティ行列に埋め込むために,ID Distill Networkを適用している。
最後に、得られたメークアップ/アイデンティティ行列をスタイル転送ネットワークに供給し、特徴マップを編集してメークアップ転送または削除を行う。
提案するPSGAN++の有効性を評価するため,多様なポーズや表現を持つ画像を含むWildデータセットと,高解像度な画像を含むMakeup Transfer High-Resolutionデータセットを収集した。
実験により、psgan++はポーズや表現の差異が大きい場合にも、細かいメイクアップディテールで最先端の結果が得られるだけでなく、部分的あるいは程度制御可能なメイクアップ転送も可能であることが示されている。
関連論文リスト
- DiffAM: Diffusion-based Adversarial Makeup Transfer for Facial Privacy Protection [60.73609509756533]
DiffAMは、基準画像から対向的な化粧を施した高品質な顔画像を生成するための新しいアプローチである。
実験の結果、DiffAMはブラックボックス設定で12.98%上昇し、視覚的品質の向上と攻撃の成功率の向上を実現している。
論文 参考訳（メタデータ） (2024-05-16T08:05:36Z) - Stable-Makeup: When Real-World Makeup Transfer Meets Diffusion Model [35.01727715493926]
現在のメークアップ転送方式は単純なメイクスタイルに限られており、現実のシナリオでは適用が困難である。
本研究では,多様な現実世界の化粧品を堅牢に転写できる新しい拡散型化粧品転写法であるStable-Makeupを紹介する。
論文 参考訳（メタデータ） (2024-03-12T15:53:14Z) - BeautyREC: Robust, Efficient, and Content-preserving Makeup Transfer [73.39598356799974]
本稿では,Robust,Efficient,Component-specific makeup transfer法(略して BeautyREC)を提案する。
参照画像のメイクスタイルを直接対応するコンポーネントに転送するコンポーネント固有の対応。
補助として、Transformerの長距離視覚依存性を導入して、効率的なグローバルメイク転送を実現する。
論文 参考訳（メタデータ） (2022-12-12T12:38:27Z) - SOGAN: 3D-Aware Shadow and Occlusion Robust GAN for Makeup Transfer [68.38955698584758]
3D-Aware Shadow and Occlusion Robust GAN (SOGAN) と呼ばれる新しいメイクアップ転送手法を提案する。
最初に3D顔モデルにフィットし、顔を形とテクスチャに切り離します。
テクスチャブランチでは、テクスチャをuv空間にマッピングし、uvテクスチャ生成器を設計してメークアップを転送する。
論文 参考訳（メタデータ） (2021-04-21T14:48:49Z) - Facial Attribute Transformers for Precise and Robust Makeup Transfer [79.41060385695977]
高品質な化粧品転写のための新しい顔属性変換器(FAT)とその変種空間FATを提案する。
fatは、ソースの顔と参照顔の間の意味的対応とインタラクションをモデル化し、その顔属性を正確に推定し、転送することができる。
また、薄いプレートスプライン(TPS)をFATに統合し、色やテクスチャに加えて幾何学的属性を転送できる最初の方法である空間FATを作成します。
論文 参考訳（メタデータ） (2021-04-07T03:39:02Z) - Lipstick ain't enough: Beyond Color Matching for In-the-Wild Makeup
Transfer [20.782984081934213]
上記のすべてのメークコンポーネントを扱える総合的なメークトランスファーフレームワークを提案します。
改良されたカラー転送ブランチと新しいパターン転送ブランチで構成され、すべてのメイクアップ特性を学習する。
私達のフレームワークはライトおよび極度の構造の様式の芸術の性能の状態を達成します。
論文 参考訳（メタデータ） (2021-04-05T12:12:56Z) - MakeupBag: Disentangling Makeup Extraction and Application [0.0]
MakeupBagは自動メイクスタイル転送のための新しい方法である。
抽出した化粧スタイルのカスタマイズと画素特異的な修正が可能である。
比較分析では、MakeupBagは現在の最先端のアプローチより優れていることが示されている。
論文 参考訳（メタデータ） (2020-12-03T18:44:24Z) - Cosmetic-Aware Makeup Cleanser [109.41917954315784]
顔認証は、一対の顔画像が同一のアイデンティティに属するかどうかを判定することを目的としている。
最近の研究では、顔の化粧が検証性能に悪影響を及ぼすことが明らかになっている。
本稿では,異なるポーズや表情で顔の化粧を除去する意味認識型化粧清浄器(SAMC)を提案する。
論文 参考訳（メタデータ） (2020-04-20T09:18:23Z) - Local Facial Makeup Transfer via Disentangled Representation [18.326829657548025]
そこで本稿では,顔画像の個人識別,リップメイクスタイル,アイメイクスタイル,フェイスメイクスタイルの4つの独立したコンポーネントに分割する,新しい対向ディエンタングネットワークを提案する。
我々の手法は、最先端の手法と比較して、より現実的で正確なメイク転送結果を生み出すことができる。
論文 参考訳（メタデータ） (2020-03-27T00:25:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。