論文の概要: Diffusion-Based Makeup Transfer with Facial Region-Aware Makeup Features

• arxiv url: http://arxiv.org/abs/2603.20012v2
• Date: Wed, 25 Mar 2026 11:47:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-26 14:25:25.88328
• Title: Diffusion-Based Makeup Transfer with Facial Region-Aware Makeup Features
• Title（参考訳）: 顔面領域を考慮した拡散型メイクアップ伝達
• Authors: Zheng Gao, Debin Meng, Yunqi Miao, Zhensong Zhang, Songcen Xu, Ioannis Patras, Jifei Song,
• Abstract要約: 顔面領域対応メイクアップ機能(FRAM)は,(1)メイクアップCLIPファインタニング,(2)アイデンティティと顔領域対応メイクアップの2段階からなる。 具体的には、学習可能なトークンを使用してメイクアップCLIPエンコーダを問い合わせ、メイクアップインジェクションのための顔領域対応メイクアップ特徴を抽出する。 実験結果から, 地域制御性およびメークアップ転送性能の優位性について検証した。
• 参考スコア（独自算出の注目度）: 42.68385892478631
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Current diffusion-based makeup transfer methods commonly use the makeup information encoded by off-the-shelf foundation models (e.g., CLIP) as condition to preserve the makeup style of reference image in the generation. Although effective, these works mainly have two limitations: (1) foundation models pre-trained for generic tasks struggle to capture makeup styles; (2) the makeup features of reference image are injected to the diffusion denoising model as a whole for global makeup transfer, overlooking the facial region-aware makeup features (i.e., eyes, mouth, etc) and limiting the regional controllability for region-specific makeup transfer. To address these, in this work, we propose Facial Region-Aware Makeup features (FRAM), which has two stages: (1) makeup CLIP fine-tuning; (2) identity and facial region-aware makeup injection. For makeup CLIP fine-tuning, unlike prior works using off-the-shelf CLIP, we synthesize annotated makeup style data using GPT-o3 and text-driven image editing model, and then use the data to train a makeup CLIP encoder through self-supervised and image-text contrastive learning. For identity and facial region-aware makeup injection, we construct before-and-after makeup image pairs from the edited images in stage 1 and then use them to learn to inject identity of source image and makeup of reference image to the diffusion denoising model for makeup transfer. Specifically, we use learnable tokens to query the makeup CLIP encoder to extract facial region-aware makeup features for makeup injection, which is learned via an attention loss to enable regional control. As for identity injection, we use a ControlNet Union to encode source image and its 3D mesh simultaneously. The experimental results verify the superiority of our regional controllability and our makeup transfer performance. Code is available at https://github.com/zaczgao/Facial_Region-Aware_Makeup.
• Abstract（参考訳）: 現在の拡散型メークアップ転送法では, 既成の基盤モデル(例えばCLIP)で符号化されたメイクアップ情報を, 生成時の参照画像のメイクスタイルを維持する条件として用いることが一般的である。 効果はあるものの,(1) 一般的な作業のために事前訓練された基礎モデルでは, 化粧スタイルの把握が困難であり, (2) 参照画像の化粧特徴は, グローバルメイク転送の拡散デノナイジングモデル全体に注入され, 顔領域認識化粧特徴(目, 口など)を見渡すとともに, 地域別メイク転送の地域制御性を制限する。 そこで本研究では,(1)メイクCLIPファインタニング,(2)アイデンティティと顔領域認識メイクインジェクションの2段階からなる顔面領域認識メイクアップ機能(FRAM)を提案する。 メイクアップCLIPの微調整については、既成のCLIPとは異なり、GPT-o3とテキスト駆動画像編集モデルを用いて注釈付きメイクスタイルデータを合成し、そのデータを用いて、セルフ教師付きおよび画像テキストコントラスト学習を通じてメイクアップCLIPエンコーダを訓練する。 顔領域を意識したメイクアップインジェクションでは,ステージ1の編集画像から前後のメイクイメージペアを構築し,それを用いてソース画像の同一性や参照画像のメイクを,メイク転送のための拡散認知モデルに注入する。 具体的には、学習可能なトークンを用いてメイクアップCLIPエンコーダを問合せし、メイクアップインジェクションのための顔領域対応メイクアップ特徴を抽出する。 アイデンティティ注入に関しては、ソースイメージとその3Dメッシュを同時にエンコードするために、ControlNet Unionを使用します。 実験結果から, 地域制御性およびメークアップ転送性能の優位性について検証した。 コードはhttps://github.com/zaczgao/Facial_Region-Aware_Makeupで公開されている。

関連論文リスト

• AvatarMakeup: Realistic Makeup Transfer for 3D Animatable Head Avatars [89.31582684550723]
  AvatarMakeupは、アニメーションを通して最先端のメイクアップ転送品質と一貫性を達成する。 コヒーレント複製は、生成した化粧画像中の平均的な顔属性を復号することで、グローバルな紫外線マップを最適化する。 実験によると、AvatarMakeupはアニメーションを通して、最先端のメイクアップの質と一貫性を実現する。
  論文  参考訳（メタデータ） (2025-07-03T08:26:57Z)
• Stable-Makeup: When Real-World Makeup Transfer Meets Diffusion Model [15.380297080210559]
  現在のメークアップ転送方式は単純なメイクスタイルに限られており、現実のシナリオでは適用が困難である。 本研究では,多様な現実世界の化粧品を堅牢に転写できる新しい拡散型化粧品転写法であるStable-Makeupを紹介する。
  論文  参考訳（メタデータ） (2024-03-12T15:53:14Z)
• DRAN: Detailed Region-Adaptive Normalization for Conditional Image Synthesis [25.936764522125703]
  DRAN(Detailed Region-Adaptive Normalization)と呼ばれる新しい正規化モジュールを提案する。 きめ細かい表現と粗い表現の両方を適応的に学習する。 我々は、幅広い複雑なメイクスタイルを含む新しいメイクアップデータセット(Makeup-Complexデータセット)を収集する。
  論文  参考訳（メタデータ） (2021-09-29T16:19:37Z)
• PSGAN++: Robust Detail-Preserving Makeup Transfer and Removal [176.47249346856393]
  PSGAN++は、細部保存メイク転送と効果的なメイク除去の両方を実行することができる。 PSGAN++はメイクアップ・ディスティル・ネットワークを使用してメイクアップ情報を抽出する。 PSGAN++は化粧品の除去のためにアイデンティティ・ディスティル・ネットワーク(Identity Distill Network)を適用し、ウィットメイクアップ画像のID情報をアイデンティティ・マトリックスに埋め込む。
  論文  参考訳（メタデータ） (2021-05-26T04:37:57Z)
• Cosmetic-Aware Makeup Cleanser [109.41917954315784]
  顔認証は、一対の顔画像が同一のアイデンティティに属するかどうかを判定することを目的としている。 最近の研究では、顔の化粧が検証性能に悪影響を及ぼすことが明らかになっている。 本稿では,異なるポーズや表情で顔の化粧を除去する意味認識型化粧清浄器(SAMC)を提案する。
  論文  参考訳（メタデータ） (2020-04-20T09:18:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。