論文の概要: From Synthetic to Real: Toward Identity-Consistent Makeup Transfer with Synthetic and Real Data

• arxiv url: http://arxiv.org/abs/2605.07861v1
• Date: Fri, 08 May 2026 15:21:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:39.15367
• Title: From Synthetic to Real: Toward Identity-Consistent Makeup Transfer with Synthetic and Real Data
• Title（参考訳）: 合成から現実へ:合成と実データによるアイデンティティ一貫性のあるメイクアップ転送に向けて
• Authors: Yue Yu, Jiayu Wang, Jiajia Shi, Jingjing Chen, Yu-Gang Jiang,
• Abstract要約: メイクアップ転送は、同一性や背景を保ちながら、ソースポートレートに参照ポートレートのメイクスタイルを適用することを目的としている。 近年の拡散と流れに基づくアプローチは、教師付きトレーニングのために合成データを利用するようになり、大幅に改善された。 本稿では,ポストトレーニングフレームワークであるConsistentBeautyとRealBeautyを提案する。
• 参考スコア（独自算出の注目度）: 63.40634698361175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Makeup transfer aims to apply the makeup style of a reference portrait to a source portrait while preserving identity and background. Early methods formulate this task as unsupervised image-to-image translation, relying on surrogate objectives and often yielding limited performance. Recent diffusion- and flow-based approaches instead exploit synthetic data for supervised training, leading to significant improvements. However, these methods still face two critical challenges: synthetic supervision frequently fails to faithfully preserve identity, and the domain gap between synthetic and real data limits generalization, resulting in degraded performance in complex real-world scenarios. To address these issues, this paper first proposes ConsistentBeauty, a novel data curation pipeline that ensures makeup fidelity and strict identity consistency within the synthesized data. Second, we propose RealBeauty, a synthetic-to-real post-training framework. Beyond supervised learning on curated synthetic data, we further adapt the model to real-world scenarios through reinforcement learning and design novel verifiable rewards tailored to the makeup transfer task. It allows the model to further benefit from real makeup patterns beyond synthetic supervision. In addition, we establish a new diverse benchmark for makeup transfer, covering a wide range of skin tones, ages, genders, poses, and makeup styles, thereby enabling a more comprehensive evaluation of model performance under diverse real-world conditions. Extensive experiments show that our method achieves state-of-the-art performance on multiple benchmarks and demonstrates clear advantages in identity preservation and performance on complex real-world cases.
• Abstract（参考訳）: メイクアップ転送は、同一性や背景を保ちながら、ソースポートレートに参照ポートレートのメイクスタイルを適用することを目的としている。 初期の方法は、このタスクを教師なしのイメージ・ツー・イメージの翻訳として定式化し、サロゲートの目的に依存し、しばしば限られたパフォーマンスをもたらす。 近年の拡散と流れに基づくアプローチは、教師付きトレーニングのために合成データを利用するようになり、大幅に改善された。 しかし、これらの手法は依然として2つの重要な課題に直面している: 合成監督はしばしばアイデンティティを忠実に保存することに失敗し、合成データと実データの間の領域ギャップは一般化され、複雑な実世界のシナリオでは性能が劣化する。 これらの問題に対処するために、まず、合成データ内の化粧品の忠実度と厳密なアイデンティティ整合性を保証する新しいデータキュレーションパイプラインであるConsistentBeautyを提案する。 次に,RealBeautyを提案する。 得られた合成データに対する教師付き学習以外にも,提案手法を実世界のシナリオに適用し,メイクアップ・トランスファー・タスクに適した新しい検証可能な報酬をデザインする。 これにより、モデルは、合成監督以上の実際のメイクパターンの恩恵を受けることができる。 さらに,さまざまな肌の色,年齢,性別,ポーズ,メイクスタイルをカバーし,多様な実環境下でのモデル性能のより包括的な評価を可能にする。 大規模な実験により,本手法は複数のベンチマーク上での最先端性能を実現し,複雑な実世界の場合におけるアイデンティティの保存と性能の明確な優位性を示す。

関連論文リスト

• Supervised makeup transfer with a curated dataset: Decoupling identity and makeup features for enhanced transformation [21.71636658071446]
  拡散モデルは、生成タスクにおいて大きな進歩を示しており、化粧転移のためのGANベースのアプローチのより安定した代替手段を提供する。 既存の手法では、データセットの制限、アイデンティティとメイクの特徴の不整合、制御性の弱さに悩まされることが多い。 我々は, 合成, 現実的, フィルタされたサンプルを組み合わせて, 多様性と忠実性を向上する列車生成・フィルタ・リトラクション戦略を用いて, 高品質なモデルを構築した。 第3に,ユーザが目や唇,顔の化粧を自然言語のプロンプトで修正できる,きめ細かな領域特異的制御を実現するためのテキスト誘導機構を提案する。
  論文  参考訳（メタデータ） (2026-01-31T13:46:38Z)
• Towards High-Fidelity, Identity-Preserving Real-Time Makeup Transfer: Decoupling Style Generation [10.030819778997836]
  リアルタイムな仮想メイク試行のための新しいフレームワークを提案する。 堅牢な時間的整合性を持つ高忠実でアイデンティティ保存性化粧品の転写を実現する。
  論文  参考訳（メタデータ） (2025-09-02T15:52:56Z)
• SynFER: Towards Boosting Facial Expression Recognition with Synthetic Data [78.70620682374624]
  ハイレベルなテキスト記述に基づく表情画像データの合成のための新しいフレームワークであるSynFERを紹介する。 合成データの質と信頼性を確保するため,セマンティックガイダンス手法と擬似ラベル生成手法を提案する。 その結果, 提案手法の有効性と合成データの有効性が検証された。
  論文  参考訳（メタデータ） (2024-10-13T14:58:21Z)
• Is Synthetic Image Useful for Transfer Learning? An Investigation into Data Generation, Volume, and Utilization [62.157627519792946]
  ブリッジドトランスファー(ブリッジドトランスファー)と呼ばれる新しいフレームワークを導入する。このフレームワークは、当初、トレーニング済みモデルの微調整に合成画像を使用し、転送性を向上させる。 合成画像と実画像のスタイルアライメントを改善するために,データセットスタイルの逆変換方式を提案する。 提案手法は10の異なるデータセットと5つの異なるモデルで評価され、一貫した改善が示されている。
  論文  参考訳（メタデータ） (2024-03-28T22:25:05Z)
• ContraNeRF: Generalizable Neural Radiance Fields for Synthetic-to-real Novel View Synthesis via Contrastive Learning [102.46382882098847]
  まず,合成から現実への新規な視点合成における合成データの影響について検討した。 本稿では,幾何制約を伴う多視点一貫した特徴を学習するために,幾何対応のコントラスト学習を導入することを提案する。 提案手法は,PSNR,SSIM,LPIPSの点で,既存の一般化可能な新規ビュー合成手法よりも高い画質で精細な画像を描画することができる。
  論文  参考訳（メタデータ） (2023-03-20T12:06:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。