論文の概要: Stable-Makeup: When Real-World Makeup Transfer Meets Diffusion Model

• arxiv url: http://arxiv.org/abs/2403.07764v2
• Date: Tue, 01 Apr 2025 08:37:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-02 20:27:04.203335
• Title: Stable-Makeup: When Real-World Makeup Transfer Meets Diffusion Model
• Title（参考訳）: Stable-Makeup: 現実のメイクアップトランスファーが拡散モデルに出会ったとき
• Authors: Yuxuan Zhang, Yirui Yuan, Yiren Song, Jiaming Liu,
• Abstract要約: 現在のメークアップ転送方式は単純なメイクスタイルに限られており、現実のシナリオでは適用が困難である。 本研究では,多様な現実世界の化粧品を堅牢に転写できる新しい拡散型化粧品転写法であるStable-Makeupを紹介する。
• 参考スコア（独自算出の注目度）: 15.380297080210559
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current makeup transfer methods are limited to simple makeup styles, making them difficult to apply in real-world scenarios. In this paper, we introduce Stable-Makeup, a novel diffusion-based makeup transfer method capable of robustly transferring a wide range of real-world makeup, onto user-provided faces. Stable-Makeup is based on a pre-trained diffusion model and utilizes a Detail-Preserving (D-P) makeup encoder to encode makeup details. It also employs content and structural control modules to preserve the content and structural information of the source image. With the aid of our newly added makeup cross-attention layers in U-Net, we can accurately transfer the detailed makeup to the corresponding position in the source image. After content-structure decoupling training, Stable-Makeup can maintain content and the facial structure of the source image. Moreover, our method has demonstrated strong robustness and generalizability, making it applicable to varioustasks such as cross-domain makeup transfer, makeup-guided text-to-image generation and so on. Extensive experiments have demonstrated that our approach delivers state-of-the-art (SOTA) results among existing makeup transfer methods and exhibits a highly promising with broad potential applications in various related fields. Code released: https://github.com/Xiaojiu-z/Stable-Makeup
• Abstract（参考訳）: 現在のメークアップ転送方式は単純なメイクスタイルに限られており、現実のシナリオでは適用が困難である。 本稿では,多様な現実世界の化粧品をユーザが提供する顔に堅牢に転写できる新しい拡散型化粧品転写法であるStable-Makeupを紹介する。 Stable-Makeupは事前トレーニングされた拡散モデルに基づいており、Detail-Preserving (D-P) メイクアップエンコーダを使用してメイクアップの詳細をエンコードしている。 また、ソース画像の内容と構造情報を保存するために、コンテンツと構造制御モジュールも採用している。 U-Netに新たに追加したメイクアップ・クロスアテンション・レイヤの助けを借りて、詳細なメイクアップをソースイメージの対応する位置に正確に転送できる。 コンテンツ構造デカップリングトレーニングの後、Stable-Makeupは、ソースイメージのコンテンツと顔構造を維持することができる。 さらに,本手法は強靭性と一般化性を示し,クロスドメインメイク転送やメイクガイドによるテキスト・ツー・イメージ生成などの多様なタスクに適用できる。 大規模な実験により, 既存の化粧品転写法において, 最先端のSOTA(State-of-the-art (SOTA)) 結果が得られ, 様々な分野への応用が期待できることを示す。 コードリリース:https://github.com/Xiaojiu-z/Stable-Makeup

関連論文リスト

• BeautyBank: Encoding Facial Makeup in Latent Space [2.113770213797994]
  素顔とメイク顔のパターン特徴をアンタングルする新しいメイクアップエンコーダであるBeautyBankを提案する。 本手法は, 化粧品の形状を高次元空間にエンコードし, 化粧品の復元に必要な細部を保存する。 また, 詳細な化粧品の保存性を高めるために, プログレッシブ・メイクアップ・チューニング(PMT)戦略を提案する。
  論文  参考訳（メタデータ） (2024-11-18T01:52:31Z)
• DiffAM: Diffusion-based Adversarial Makeup Transfer for Facial Privacy Protection [60.73609509756533]
  DiffAMは、基準画像から対向的な化粧を施した高品質な顔画像を生成するための新しいアプローチである。 実験の結果、DiffAMはブラックボックス設定で12.98%上昇し、視覚的品質の向上と攻撃の成功率の向上を実現している。
  論文  参考訳（メタデータ） (2024-05-16T08:05:36Z)
• SARA: Controllable Makeup Transfer with Spatial Alignment and Region-Adaptive Normalization [67.90315365909244]
  本稿では,空間アライメントと領域適応正規化法(SARA)を提案する。 提案手法は,大規模な空間的不整合を処理し,部分特異的かつ日陰制御可能なメイク転送を実現するための詳細なメイク転送結果を生成する。 実験の結果,SARA法は既存の手法よりも優れており,2つの公開データセット上での最先端性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2023-11-28T14:46:51Z)
• BeautyREC: Robust, Efficient, and Content-preserving Makeup Transfer [73.39598356799974]
  本稿では,Robust,Efficient,Component-specific makeup transfer法(略して BeautyREC)を提案する。 参照画像のメイクスタイルを直接対応するコンポーネントに転送するコンポーネント固有の対応。 補助として、Transformerの長距離視覚依存性を導入して、効率的なグローバルメイク転送を実現する。
  論文  参考訳（メタデータ） (2022-12-12T12:38:27Z)
• PSGAN++: Robust Detail-Preserving Makeup Transfer and Removal [176.47249346856393]
  PSGAN++は、細部保存メイク転送と効果的なメイク除去の両方を実行することができる。 PSGAN++はメイクアップ・ディスティル・ネットワークを使用してメイクアップ情報を抽出する。 PSGAN++は化粧品の除去のためにアイデンティティ・ディスティル・ネットワーク(Identity Distill Network)を適用し、ウィットメイクアップ画像のID情報をアイデンティティ・マトリックスに埋め込む。
  論文  参考訳（メタデータ） (2021-05-26T04:37:57Z)
• SOGAN: 3D-Aware Shadow and Occlusion Robust GAN for Makeup Transfer [68.38955698584758]
  3D-Aware Shadow and Occlusion Robust GAN (SOGAN) と呼ばれる新しいメイクアップ転送手法を提案する。 最初に3D顔モデルにフィットし、顔を形とテクスチャに切り離します。 テクスチャブランチでは、テクスチャをuv空間にマッピングし、uvテクスチャ生成器を設計してメークアップを転送する。
  論文  参考訳（メタデータ） (2021-04-21T14:48:49Z)
• Lipstick ain't enough: Beyond Color Matching for In-the-Wild Makeup Transfer [20.782984081934213]
  上記のすべてのメークコンポーネントを扱える総合的なメークトランスファーフレームワークを提案します。 改良されたカラー転送ブランチと新しいパターン転送ブランチで構成され、すべてのメイクアップ特性を学習する。 私達のフレームワークはライトおよび極度の構造の様式の芸術の性能の状態を達成します。
  論文  参考訳（メタデータ） (2021-04-05T12:12:56Z)
• MakeupBag: Disentangling Makeup Extraction and Application [0.0]
  MakeupBagは自動メイクスタイル転送のための新しい方法である。 抽出した化粧スタイルのカスタマイズと画素特異的な修正が可能である。 比較分析では、MakeupBagは現在の最先端のアプローチより優れていることが示されている。
  論文  参考訳（メタデータ） (2020-12-03T18:44:24Z)
• Cosmetic-Aware Makeup Cleanser [109.41917954315784]
  顔認証は、一対の顔画像が同一のアイデンティティに属するかどうかを判定することを目的としている。 最近の研究では、顔の化粧が検証性能に悪影響を及ぼすことが明らかになっている。 本稿では,異なるポーズや表情で顔の化粧を除去する意味認識型化粧清浄器(SAMC)を提案する。
  論文  参考訳（メタデータ） (2020-04-20T09:18:23Z)
• Local Facial Makeup Transfer via Disentangled Representation [18.326829657548025]
  そこで本稿では,顔画像の個人識別,リップメイクスタイル,アイメイクスタイル,フェイスメイクスタイルの4つの独立したコンポーネントに分割する,新しい対向ディエンタングネットワークを提案する。 我々の手法は、最先端の手法と比較して、より現実的で正確なメイク転送結果を生み出すことができる。
  論文  参考訳（メタデータ） (2020-03-27T00:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。