論文の概要: Stable-Makeup: When Real-World Makeup Transfer Meets Diffusion Model

• arxiv url: http://arxiv.org/abs/2403.07764v1
• Date: Tue, 12 Mar 2024 15:53:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 20:53:39.696892
• Title: Stable-Makeup: When Real-World Makeup Transfer Meets Diffusion Model
• Title（参考訳）: Stable-Makeup: 現実のメイクアップトランスファーが拡散モデルに出会ったとき
• Authors: Yuxuan Zhang, Lifu Wei, Qing Zhang, Yiren Song, Jiaming Liu, Huaxia Li, Xu Tang, Yao Hu, Haibo Zhao
• Abstract要約: 現在のメークアップ転送方式は単純なメイクスタイルに限られており、現実のシナリオでは適用が困難である。 本研究では,多様な現実世界の化粧品を堅牢に転写できる新しい拡散型化粧品転写法であるStable-Makeupを紹介する。
• 参考スコア（独自算出の注目度）: 35.01727715493926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current makeup transfer methods are limited to simple makeup styles, making them difficult to apply in real-world scenarios. In this paper, we introduce Stable-Makeup, a novel diffusion-based makeup transfer method capable of robustly transferring a wide range of real-world makeup, onto user-provided faces. Stable-Makeup is based on a pre-trained diffusion model and utilizes a Detail-Preserving (D-P) makeup encoder to encode makeup details. It also employs content and structural control modules to preserve the content and structural information of the source image. With the aid of our newly added makeup cross-attention layers in U-Net, we can accurately transfer the detailed makeup to the corresponding position in the source image. After content-structure decoupling training, Stable-Makeup can maintain content and the facial structure of the source image. Moreover, our method has demonstrated strong robustness and generalizability, making it applicable to varioustasks such as cross-domain makeup transfer, makeup-guided text-to-image generation and so on. Extensive experiments have demonstrated that our approach delivers state-of-the-art (SOTA) results among existing makeup transfer methods and exhibits a highly promising with broad potential applications in various related fields.
• Abstract（参考訳）: 現在のメークアップ転送方式は単純なメイクスタイルに限られており、現実のシナリオでは適用が困難である。 本稿では,幅広い実世界のメイクアップをユーザが提供する顔にロバストに伝達できる新しい拡散型メイクアップ法であるstable-makeupを提案する。 Stable-Makeupは事前トレーニングされた拡散モデルに基づいており、Detail-Preserving (D-P) メイクアップエンコーダを使用してメイクアップの詳細をエンコードしている。 また、ソース画像の内容と構造情報を保存するために、コンテンツと構造制御モジュールを使用する。 U-Netに新たにメークアップされたクロスアテンションレイヤの助けを借りて、詳細なメイクアップをソースイメージの対応する位置に正確に転送できる。 コンテンツ構造分離トレーニングの後、Stable-Makeupは、ソースイメージのコンテンツと顔構造を維持することができる。 また, クロスドメインメイクアップ転送, メークアップガイドテキストから画像への生成など, 様々なタスクに適用可能な, 強固な堅牢性と一般化性を示した。 広範囲にわたる実験により, 既存のメークアップトランスファー法において最先端(sota)結果が得られ, 様々な分野において, 幅広い潜在的応用が期待できることを示した。

関連論文リスト

• DiffAM: Diffusion-based Adversarial Makeup Transfer for Facial Privacy Protection [60.73609509756533]
  DiffAMは、基準画像から対向的な化粧を施した高品質な顔画像を生成するための新しいアプローチである。 実験の結果、DiffAMはブラックボックス設定で12.98%上昇し、視覚的品質の向上と攻撃の成功率の向上を実現している。
  論文  参考訳（メタデータ） (2024-05-16T08:05:36Z)
• BeautyREC: Robust, Efficient, and Content-preserving Makeup Transfer [73.39598356799974]
  本稿では,Robust,Efficient,Component-specific makeup transfer法(略して BeautyREC)を提案する。 参照画像のメイクスタイルを直接対応するコンポーネントに転送するコンポーネント固有の対応。 補助として、Transformerの長距離視覚依存性を導入して、効率的なグローバルメイク転送を実現する。
  論文  参考訳（メタデータ） (2022-12-12T12:38:27Z)
• EleGANt: Exquisite and Locally Editable GAN for Makeup Transfer [13.304362849679391]
  EleGANt (EleGANt) を用いたエキサイティングで局所的に編集可能なGANを提案する。 顔の特徴をピラミッドの特徴マップにエンコードし、高周波情報を保存する。 EleGANtは、機能マップの対応する編集によって任意の領域でカスタマイズされたローカル編集を実現する最初の方法である。
  論文  参考訳（メタデータ） (2022-07-20T11:52:07Z)
• PSGAN++: Robust Detail-Preserving Makeup Transfer and Removal [176.47249346856393]
  PSGAN++は、細部保存メイク転送と効果的なメイク除去の両方を実行することができる。 PSGAN++はメイクアップ・ディスティル・ネットワークを使用してメイクアップ情報を抽出する。 PSGAN++は化粧品の除去のためにアイデンティティ・ディスティル・ネットワーク(Identity Distill Network)を適用し、ウィットメイクアップ画像のID情報をアイデンティティ・マトリックスに埋め込む。
  論文  参考訳（メタデータ） (2021-05-26T04:37:57Z)
• SOGAN: 3D-Aware Shadow and Occlusion Robust GAN for Makeup Transfer [68.38955698584758]
  3D-Aware Shadow and Occlusion Robust GAN (SOGAN) と呼ばれる新しいメイクアップ転送手法を提案する。 最初に3D顔モデルにフィットし、顔を形とテクスチャに切り離します。 テクスチャブランチでは、テクスチャをuv空間にマッピングし、uvテクスチャ生成器を設計してメークアップを転送する。
  論文  参考訳（メタデータ） (2021-04-21T14:48:49Z)
• Lipstick ain't enough: Beyond Color Matching for In-the-Wild Makeup Transfer [20.782984081934213]
  上記のすべてのメークコンポーネントを扱える総合的なメークトランスファーフレームワークを提案します。 改良されたカラー転送ブランチと新しいパターン転送ブランチで構成され、すべてのメイクアップ特性を学習する。 私達のフレームワークはライトおよび極度の構造の様式の芸術の性能の状態を達成します。
  論文  参考訳（メタデータ） (2021-04-05T12:12:56Z)
• MakeupBag: Disentangling Makeup Extraction and Application [0.0]
  MakeupBagは自動メイクスタイル転送のための新しい方法である。 抽出した化粧スタイルのカスタマイズと画素特異的な修正が可能である。 比較分析では、MakeupBagは現在の最先端のアプローチより優れていることが示されている。
  論文  参考訳（メタデータ） (2020-12-03T18:44:24Z)
• Cosmetic-Aware Makeup Cleanser [109.41917954315784]
  顔認証は、一対の顔画像が同一のアイデンティティに属するかどうかを判定することを目的としている。 最近の研究では、顔の化粧が検証性能に悪影響を及ぼすことが明らかになっている。 本稿では,異なるポーズや表情で顔の化粧を除去する意味認識型化粧清浄器(SAMC)を提案する。
  論文  参考訳（メタデータ） (2020-04-20T09:18:23Z)
• Local Facial Makeup Transfer via Disentangled Representation [18.326829657548025]
  そこで本稿では,顔画像の個人識別,リップメイクスタイル,アイメイクスタイル,フェイスメイクスタイルの4つの独立したコンポーネントに分割する,新しい対向ディエンタングネットワークを提案する。 我々の手法は、最先端の手法と比較して、より現実的で正確なメイク転送結果を生み出すことができる。
  論文  参考訳（メタデータ） (2020-03-27T00:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。