論文の概要: SARA: Controllable Makeup Transfer with Spatial Alignment and Region-Adaptive Normalization

• arxiv url: http://arxiv.org/abs/2311.16828v2
• Date: Tue, 21 May 2024 13:43:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 19:01:09.270690
• Title: SARA: Controllable Makeup Transfer with Spatial Alignment and Region-Adaptive Normalization
• Title（参考訳）: SARA:空間アライメントと領域適応正規化による制御可能なメイクアップ転送
• Authors: Xiaojing Zhong, Xinyi Huang, Zhonghua Wu, Guosheng Lin, Qingyao Wu,
• Abstract要約: 本稿では,空間アライメントと領域適応正規化法(SARA)を提案する。 提案手法は,大規模な空間的不整合を処理し,部分特異的かつ日陰制御可能なメイク転送を実現するための詳細なメイク転送結果を生成する。 実験の結果,SARA法は既存の手法よりも優れており,2つの公開データセット上での最先端性能を実現していることがわかった。
• 参考スコア（独自算出の注目度）: 67.90315365909244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Makeup transfer is a process of transferring the makeup style from a reference image to the source images, while preserving the source images' identities. This technique is highly desirable and finds many applications. However, existing methods lack fine-level control of the makeup style, making it challenging to achieve high-quality results when dealing with large spatial misalignments. To address this problem, we propose a novel Spatial Alignment and Region-Adaptive normalization method (SARA) in this paper. Our method generates detailed makeup transfer results that can handle large spatial misalignments and achieve part-specific and shade-controllable makeup transfer. Specifically, SARA comprises three modules: Firstly, a spatial alignment module that preserves the spatial context of makeup and provides a target semantic map for guiding the shape-independent style codes. Secondly, a region-adaptive normalization module that decouples shape and makeup style using per-region encoding and normalization, which facilitates the elimination of spatial misalignments. Lastly, a makeup fusion module blends identity features and makeup style by injecting learned scale and bias parameters. Experimental results show that our SARA method outperforms existing methods and achieves state-of-the-art performance on two public datasets.
• Abstract（参考訳）: メイクアップ転送(Makeup Transfer)は、ソースイメージのアイデンティティを保持しながら、基準画像からソースイメージにメイクスタイルを転送するプロセスである。 この手法は非常に望ましいものであり、多くの応用を見出す。 しかし、既存の手法ではメイクスタイルの微妙な制御が欠如しており、空間的ミスアライメントが大きい場合、高品質な結果を得ることが困難である。 そこで本稿では,空間アライメントと領域適応正規化法(SARA)を提案する。 提案手法は,大規模な空間的不整合を処理し,部分特異的で日陰制御可能なメイク転送を実現するための詳細なメイク転送結果を生成する。 具体的には、SARAは3つのモジュールから構成される: まず、化粧の空間的文脈を保存し、形状に依存しないスタイルコードを導くためのターゲットセマンティックマップを提供する空間的アライメントモジュール。 第2に、領域単位のエンコーディングと正規化を用いて形状とメイクスタイルを分離する領域適応正規化モジュールにより、空間的ミスアライメントの除去を容易にする。 最後に、メークアップ融合モジュールは、学習スケールとバイアスパラメータを注入することによって、アイデンティティ特徴とメイクスタイルをブレンドする。 実験の結果,SARA法は既存の手法よりも優れており,2つの公開データセット上での最先端性能を実現していることがわかった。

関連論文リスト

• Towards Effective Image Manipulation Detection with Proposal Contrastive Learning [61.5469708038966]
  本稿では,効果的な画像操作検出のためのコントラスト学習(PCL)を提案する。 我々のPCLは、RGBとノイズビューから2種類のグローバル特徴を抽出し、2ストリームアーキテクチャで構成されている。 我々のPCLは、実際にラベル付けされていないデータに容易に適用でき、手作業によるラベル付けコストを削減し、より一般化可能な機能を促進することができる。
  論文  参考訳（メタデータ） (2022-10-16T13:30:13Z)
• EleGANt: Exquisite and Locally Editable GAN for Makeup Transfer [13.304362849679391]
  EleGANt (EleGANt) を用いたエキサイティングで局所的に編集可能なGANを提案する。 顔の特徴をピラミッドの特徴マップにエンコードし、高周波情報を保存する。 EleGANtは、機能マップの対応する編集によって任意の領域でカスタマイズされたローカル編集を実現する最初の方法である。
  論文  参考訳（メタデータ） (2022-07-20T11:52:07Z)
• Towards Full-to-Empty Room Generation with Structure-Aware Feature Encoding and Soft Semantic Region-Adaptive Normalization [67.64622529651677]
  本稿では,ソフトセマンティックな領域適応正規化モジュール (softSEAN) ブロックを提案する。 我々のアプローチは、トレーニングの複雑さと非微分可能性の問題を緩和することの利点の他に、比較した手法を量的にも質的にも上回っている。 我々のSoftSEANブロックは、既存の識別および生成モデルのためのドロップインモジュールとして使用することができる。
  論文  参考訳（メタデータ） (2021-12-10T09:00:13Z)
• SSAT: A Symmetric Semantic-Aware Transformer Network for Makeup Transfer and Removal [17.512402192317992]
  メークアップ転送と削除を同時に行うためのSSAT(Symmetric Semantic-Aware Transformer)ネットワークを提案する。 SSCFTモジュールと弱い教師付きセマンティックロスが提案され、正確なセマンティック対応の確立をモデル化し促進する。 実験により, より視覚的に正確なメイク転送結果が得られることがわかった。
  論文  参考訳（メタデータ） (2021-12-07T11:08:12Z)
• Low-Rank Subspaces in GANs [101.48350547067628]
  この研究は、GAN生成をより正確に制御できる低ランクな部分空間を導入している。 LowRankGAN は属性多様体の低次元表現を見つけることができる。 さまざまなデータセットでトレーニングされた最先端のGANモデル(StyleGAN2やBigGANなど)の実験は、私たちのLowRankGANの有効性を示しています。
  論文  参考訳（メタデータ） (2021-06-08T16:16:32Z)
• Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization [72.65828901909708]
  制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。 本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。 本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-31T07:07:44Z)
• SAFIN: Arbitrary Style Transfer With Self-Attentive Factorized Instance Normalization [71.85169368997738]
  芸術的スタイル転送は、ある画像のスタイル特性を他の画像に移し、その内容を保持することを目的としている。 自己注意に基づくアプローチは、部分的な成功でこの問題に取り組みましたが、望ましくない成果物に悩まされています。 本論文は,自己意識と正規化という両世界のベストを結合することを目的とする。
  論文  参考訳（メタデータ） (2021-05-13T08:01:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。