論文の概要: SSAT: A Symmetric Semantic-Aware Transformer Network for Makeup Transfer and Removal

• arxiv url: http://arxiv.org/abs/2112.03631v1
• Date: Tue, 7 Dec 2021 11:08:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-08 14:44:40.963278
• Title: SSAT: A Symmetric Semantic-Aware Transformer Network for Makeup Transfer and Removal
• Title（参考訳）: ssat: メイクアップ転送と削除のための対称的意味認識トランスフォーマーネットワーク
• Authors: Zhaoyang Sun and Yaxiong Chen and Shengwu Xiong
• Abstract要約: メークアップ転送と削除を同時に行うためのSSAT(Symmetric Semantic-Aware Transformer)ネットワークを提案する。 SSCFTモジュールと弱い教師付きセマンティックロスが提案され、正確なセマンティック対応の確立をモデル化し促進する。 実験により, より視覚的に正確なメイク転送結果が得られることがわかった。
• 参考スコア（独自算出の注目度）: 17.512402192317992
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Makeup transfer is not only to extract the makeup style of the reference image, but also to render the makeup style to the semantic corresponding position of the target image. However, most existing methods focus on the former and ignore the latter, resulting in a failure to achieve desired results. To solve the above problems, we propose a unified Symmetric Semantic-Aware Transformer (SSAT) network, which incorporates semantic correspondence learning to realize makeup transfer and removal simultaneously. In SSAT, a novel Symmetric Semantic Corresponding Feature Transfer (SSCFT) module and a weakly supervised semantic loss are proposed to model and facilitate the establishment of accurate semantic correspondence. In the generation process, the extracted makeup features are spatially distorted by SSCFT to achieve semantic alignment with the target image, then the distorted makeup features are combined with unmodified makeup irrelevant features to produce the final result. Experiments show that our method obtains more visually accurate makeup transfer results, and user study in comparison with other state-of-the-art makeup transfer methods reflects the superiority of our method. Besides, we verify the robustness of the proposed method in the difference of expression and pose, object occlusion scenes, and extend it to video makeup transfer. Code will be available at https://gitee.com/sunzhaoyang0304/ssat-msp.
• Abstract（参考訳）: メイクアップ転送は、参照画像のメイクスタイルを抽出するだけでなく、そのメイクスタイルをターゲット画像の意味的対応する位置にレンダリングする。 しかし、既存のほとんどのメソッドは前者に集中し、後者を無視しているため、望ましい結果が得られなかった。 上記の問題を解決するために,意味対応学習を取り入れたSSAT(Symmetric Semantic-Aware Transformer)ネットワークを提案する。 ssatでは,新しい対称的意味対応特徴伝達(sscft)モジュールと弱い教師付き意味損失をモデル化し,正確な意味対応の確立を容易にする。 生成工程において、抽出した化粧特徴をSCFTにより空間的に歪ませて対象画像と意味的整合を達成し、歪んだ化粧特徴と無関係な化粧特徴とを組み合わせて最終結果を生成する。 実験の結果,提案手法はより視覚的に正確なメイク転送結果を得ることができ,また,他の最先端メイク転送手法と比較してユーザによる研究は,本手法の優位性を反映していることがわかった。 また,提案手法の表現とポーズの違い,オブジェクトのオクルージョン場面におけるロバスト性を検証し,映像メイクアップトランスファーに拡張した。 コードはhttps://gitee.com/sunzhaoyang0304/ssat-mspで入手できる。

関連論文リスト

• Semantic Image Synthesis with Unconditional Generator [8.65146533481257]
  本稿では,事前訓練した非条件生成器を用いて,プロキシマスクに従って特徴マップを再構成することを提案する。 プロキシマスクは、単純なクラスタリングによってジェネレータ内のランダムサンプルの特徴マップから作成される。 提案手法は,実画像の自由な空間編集,スケッチ・ツー・フォト,スクリブル・ツー・フォトなど,様々な用途に応用できる。
  論文  参考訳（メタデータ） (2024-02-22T09:10:28Z)
• SARA: Controllable Makeup Transfer with Spatial Alignment and Region-Adaptive Normalization [67.90315365909244]
  本稿では,空間アライメントと領域適応正規化法(SARA)を提案する。 提案手法は,大規模な空間的不整合を処理し,部分特異的かつ日陰制御可能なメイク転送を実現するための詳細なメイク転送結果を生成する。 実験の結果,SARA法は既存の手法よりも優れており,2つの公開データセット上での最先端性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2023-11-28T14:46:51Z)
• SemST: Semantically Consistent Multi-Scale Image Translation via Structure-Texture Alignment [32.41465452443824]
  教師なし画像画像変換(I2I)は、ソースドメインからの入力をターゲットドメインの出力に転送するクロスドメイン画像マッピングを学習する。 ソース領域とターゲット領域の異なる意味統計は、意味歪みとして知られる内容の相違をもたらす。 翻訳における意味的一貫性を維持する新しいI2I法が提案され,SemSTと命名された。
  論文  参考訳（メタデータ） (2023-10-08T03:44:58Z)
• BeautyREC: Robust, Efficient, and Content-preserving Makeup Transfer [73.39598356799974]
  本稿では,Robust,Efficient,Component-specific makeup transfer法(略して BeautyREC)を提案する。 参照画像のメイクスタイルを直接対応するコンポーネントに転送するコンポーネント固有の対応。 補助として、Transformerの長距離視覚依存性を導入して、効率的なグローバルメイク転送を実現する。
  論文  参考訳（メタデータ） (2022-12-12T12:38:27Z)
• More comprehensive facial inversion for more effective expression recognition [8.102564078640274]
  IFER(Inversion FER)と呼ばれるFERタスクの画像反転機構に基づく新しい生成手法を提案する。 ASITは、分布アライメント損失に制約された、ソースと生成された画像間のセマンティック特徴のコサイン類似度を測定する画像反転判別器を備えている。 FFHQやCelebA-HQなどの顔データセット上でASITを広範囲に評価し,現状の顔インバージョン性能を実現する方法を示した。
  論文  参考訳（メタデータ） (2022-11-24T12:31:46Z)
• Diffusion-based Image Translation using Disentangled Style and Content Representation [51.188396199083336]
  セマンティックテキストや単一のターゲット画像でガイドされた拡散ベースの画像変換により、柔軟なスタイル変換が可能になった。 逆拡散中、画像の原内容を維持することはしばしば困難である。 本稿では,不整合スタイルとコンテンツ表現を用いた新しい拡散に基づく教師なし画像翻訳手法を提案する。 提案手法は,テキスト誘導と画像誘導の両方の翻訳作業において,最先端のベースラインモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-09-30T06:44:37Z)
• Learning Disentangled Representation for One-shot Progressive Face Swapping [65.98684203654908]
  ジェネレーティブ・アドバーサリアル・ネットワークに基づくワンショット・フェイススワップのためのシンプルで効率的なFaceSwapperを提案する。 提案手法は,不整合表現モジュールと意味誘導融合モジュールから構成される。 その結果,本手法は,トレーニングサンプルの少ないベンチマークで最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-24T11:19:04Z)
• Semi-parametric Makeup Transfer via Semantic-aware Correspondence [99.02329132102098]
  ソース非メイクアップ画像と参照メークアップ画像との間の大きな相違は、メイクアップ転送における重要な課題の1つである。 非パラメトリック技術は、ポーズ、表現、オクルージョンの相違に対処する高い可能性を持っている。 非パラメトリックおよびパラメトリック機構の相互強度を組み合わせたtextbfSemi-textbfparametric textbfMakeup textbfTransfer (SpMT) 法を提案する。
  論文  参考訳（メタデータ） (2022-03-04T12:54:19Z)
• SAFIN: Arbitrary Style Transfer With Self-Attentive Factorized Instance Normalization [71.85169368997738]
  芸術的スタイル転送は、ある画像のスタイル特性を他の画像に移し、その内容を保持することを目的としている。 自己注意に基づくアプローチは、部分的な成功でこの問題に取り組みましたが、望ましくない成果物に悩まされています。 本論文は,自己意識と正規化という両世界のベストを結合することを目的とする。
  論文  参考訳（メタデータ） (2021-05-13T08:01:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。