論文の概要: Diffusion-Based Makeup Transfer with Facial Region-Aware Makeup Features

• arxiv url: http://arxiv.org/abs/2603.20012v1
• Date: Fri, 20 Mar 2026 14:54:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:39.192478
• Title: Diffusion-Based Makeup Transfer with Facial Region-Aware Makeup Features
• Title（参考訳）: 顔面領域を考慮した拡散型メイクアップ伝達
• Abstract要約: 顔面領域対応メイクアップ機能(FRAM)は,(1)メイクアップCLIPファインタニング,(2)アイデンティティと顔領域対応メイクアップの2段階からなる。 具体的には、学習可能なトークンを使用してメイクアップCLIPエンコーダを問い合わせ、メイクアップインジェクションのための顔領域対応メイクアップ特徴を抽出する。 実験結果から, 地域制御性およびメークアップ転送性能の優位性について検証した。
• 参考スコア（独自算出の注目度）: 42.68385892478631
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Current diffusion-based makeup transfer methods commonly use the makeup information encoded by off-the-shelf foundation models (e.g., CLIP) as condition to preserve the makeup style of reference image in the generation. Although effective, these works mainly have two limitations: (1) foundation models pre-trained for generic tasks struggle to capture makeup styles; (2) the makeup features of reference image are injected to the diffusion denoising model as a whole for global makeup transfer, overlooking the facial region-aware makeup features (i.e., eyes, mouth, etc) and limiting the regional controllability for region-specific makeup transfer. To address these, in this work, we propose Facial Region-Aware Makeup features (FRAM), which has two stages: (1) makeup CLIP fine-tuning; (2) identity and facial region-aware makeup injection. For makeup CLIP fine-tuning, unlike prior works using off-the-shelf CLIP, we synthesize annotated makeup style data using GPT-o3 and text-driven image editing model, and then use the data to train a makeup CLIP encoder through self-supervised and image-text contrastive learning. For identity and facial region-aware makeup injection, we construct before-and-after makeup image pairs from the edited images in stage 1 and then use them to learn to inject identity of source image and makeup of reference image to the diffusion denoising model for makeup transfer. Specifically, we use learnable tokens to query the makeup CLIP encoder to extract facial region-aware makeup features for makeup injection, which is learned via an attention loss to enable regional control. As for identity injection, we use a ControlNet Union to encode source image and its 3D mesh simultaneously. The experimental results verify the superiority of our regional controllability and our makeup transfer performance.
• Abstract（参考訳）: 現在の拡散型メークアップ転送法では, 既成の基盤モデル(例えばCLIP)で符号化されたメイクアップ情報を, 生成時の参照画像のメイクスタイルを維持する条件として用いることが一般的である。 効果はあるものの,(1) 一般的な作業のために事前訓練された基礎モデルでは, 化粧スタイルの把握が困難であり, (2) 参照画像の化粧特徴は, グローバルメイク転送の拡散デノナイジングモデル全体に注入され, 顔領域認識化粧特徴(目, 口など)を見渡すとともに, 地域別メイク転送の地域制御性を制限する。 そこで本研究では,(1)メイクCLIPファインタニング,(2)アイデンティティと顔領域認識メイクインジェクションの2段階からなる顔面領域認識メイクアップ機能(FRAM)を提案する。 メイクアップCLIPの微調整については、既成のCLIPとは異なり、GPT-o3とテキスト駆動画像編集モデルを用いて注釈付きメイクスタイルデータを合成し、そのデータを用いて、セルフ教師付きおよび画像テキストコントラスト学習を通じてメイクアップCLIPエンコーダを訓練する。 顔領域を意識したメイクアップインジェクションでは,ステージ1の編集画像から前後のメイクイメージペアを構築し,それを用いてソース画像の同一性や参照画像のメイクを,メイク転送のための拡散認知モデルに注入する。 具体的には、学習可能なトークンを用いてメイクアップCLIPエンコーダを問合せし、メイクアップインジェクションのための顔領域対応メイクアップ特徴を抽出する。 アイデンティティ注入に関しては、ソースイメージとその3Dメッシュを同時にエンコードするために、ControlNet Unionを使用します。 実験結果から, 地域制御性およびメークアップ転送性能の優位性について検証した。

関連論文リスト

• Anchoring on Reality: Breaking the Pseudo-Target Ceiling in Makeup Transfer [70.44549081321442]
  メイクアップ転送は、そのアイデンティティと幾何学を保ちながら、ソースフェイスに参照化粧スタイルを適用する。 現在の手法は、大規模な編集モデルの弱い先行や合成擬似ターゲットに依存している。 本稿では,現実に適応した改良サイクルを持つ2段階のフレームワークであるART(Anchoring on Reality Makeup Transfer)を提案する。
  論文  参考訳（メタデータ） (2026-06-30T03:28:01Z)
• AvatarMakeup: Realistic Makeup Transfer for 3D Animatable Head Avatars [89.31582684550723]
  AvatarMakeupは、アニメーションを通して最先端のメイクアップ転送品質と一貫性を達成する。 コヒーレント複製は、生成した化粧画像中の平均的な顔属性を復号することで、グローバルな紫外線マップを最適化する。 実験によると、AvatarMakeupはアニメーションを通して、最先端のメイクアップの質と一貫性を実現する。
  論文  参考訳（メタデータ） (2025-07-03T08:26:57Z)
• BeautyBank: Encoding Facial Makeup in Latent Space [2.113770213797994]
  素顔とメイク顔のパターン特徴をアンタングルする新しいメイクアップエンコーダであるBeautyBankを提案する。 本手法は, 化粧品の形状を高次元空間にエンコードし, 化粧品の復元に必要な細部を保存する。 また, 詳細な化粧品の保存性を高めるために, プログレッシブ・メイクアップ・チューニング(PMT)戦略を提案する。
  論文  参考訳（メタデータ） (2024-11-18T01:52:31Z)
• Stable-Makeup: When Real-World Makeup Transfer Meets Diffusion Model [15.380297080210559]
  現在のメークアップ転送方式は単純なメイクスタイルに限られており、現実のシナリオでは適用が困難である。 本研究では,多様な現実世界の化粧品を堅牢に転写できる新しい拡散型化粧品転写法であるStable-Makeupを紹介する。
  論文  参考訳（メタデータ） (2024-03-12T15:53:14Z)
• EleGANt: Exquisite and Locally Editable GAN for Makeup Transfer [13.304362849679391]
  EleGANt (EleGANt) を用いたエキサイティングで局所的に編集可能なGANを提案する。 顔の特徴をピラミッドの特徴マップにエンコードし、高周波情報を保存する。 EleGANtは、機能マップの対応する編集によって任意の領域でカスタマイズされたローカル編集を実現する最初の方法である。
  論文  参考訳（メタデータ） (2022-07-20T11:52:07Z)
• DRAN: Detailed Region-Adaptive Normalization for Conditional Image Synthesis [25.936764522125703]
  DRAN(Detailed Region-Adaptive Normalization)と呼ばれる新しい正規化モジュールを提案する。 きめ細かい表現と粗い表現の両方を適応的に学習する。 我々は、幅広い複雑なメイクスタイルを含む新しいメイクアップデータセット(Makeup-Complexデータセット)を収集する。
  論文  参考訳（メタデータ） (2021-09-29T16:19:37Z)
• PSGAN++: Robust Detail-Preserving Makeup Transfer and Removal [176.47249346856393]
  PSGAN++は、細部保存メイク転送と効果的なメイク除去の両方を実行することができる。 PSGAN++はメイクアップ・ディスティル・ネットワークを使用してメイクアップ情報を抽出する。 PSGAN++は化粧品の除去のためにアイデンティティ・ディスティル・ネットワーク(Identity Distill Network)を適用し、ウィットメイクアップ画像のID情報をアイデンティティ・マトリックスに埋め込む。
  論文  参考訳（メタデータ） (2021-05-26T04:37:57Z)
• SOGAN: 3D-Aware Shadow and Occlusion Robust GAN for Makeup Transfer [68.38955698584758]
  3D-Aware Shadow and Occlusion Robust GAN (SOGAN) と呼ばれる新しいメイクアップ転送手法を提案する。 最初に3D顔モデルにフィットし、顔を形とテクスチャに切り離します。 テクスチャブランチでは、テクスチャをuv空間にマッピングし、uvテクスチャ生成器を設計してメークアップを転送する。
  論文  参考訳（メタデータ） (2021-04-21T14:48:49Z)
• Cosmetic-Aware Makeup Cleanser [109.41917954315784]
  顔認証は、一対の顔画像が同一のアイデンティティに属するかどうかを判定することを目的としている。 最近の研究では、顔の化粧が検証性能に悪影響を及ぼすことが明らかになっている。 本稿では,異なるポーズや表情で顔の化粧を除去する意味認識型化粧清浄器(SAMC)を提案する。
  論文  参考訳（メタデータ） (2020-04-20T09:18:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。