Fugu-MT 論文翻訳(概要): Semi-parametric Makeup Transfer via Semantic-aware Correspondence

論文の概要: Semi-parametric Makeup Transfer via Semantic-aware Correspondence

arxiv url: http://arxiv.org/abs/2203.02286v1
Date: Fri, 4 Mar 2022 12:54:19 GMT
ステータス: 処理完了
システム内更新日: 2022-03-07 15:08:39.529577
Title: Semi-parametric Makeup Transfer via Semantic-aware Correspondence
Title（参考訳）: 意味認識対応による半パラメトリックメイクアップ転送
Authors: Mingrui Zhu, Yun Yi, Nannan Wang, Xiaoyu Wang, Xinbo Gao
Abstract要約: ソース非メイクアップ画像と参照メークアップ画像との間の大きな相違は、メイクアップ転送における重要な課題の1つである。非パラメトリック技術は、ポーズ、表現、オクルージョンの相違に対処する高い可能性を持っている。非パラメトリックおよびパラメトリック機構の相互強度を組み合わせたtextbfSemi-textbfparametric textbfMakeup textbfTransfer (SpMT) 法を提案する。
参考スコア（独自算出の注目度）: 99.02329132102098
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The large discrepancy between the source non-makeup image and the reference makeup image is one of the key challenges in makeup transfer. Conventional approaches for makeup transfer either learn disentangled representation or perform pixel-wise correspondence in a parametric way between two images. We argue that non-parametric techniques have a high potential for addressing the pose, expression, and occlusion discrepancies. To this end, this paper proposes a \textbf{S}emi-\textbf{p}arametric \textbf{M}akeup \textbf{T}ransfer (SpMT) method, which combines the reciprocal strengths of non-parametric and parametric mechanisms. The non-parametric component is a novel \textbf{S}emantic-\textbf{a}ware \textbf{C}orrespondence (SaC) module that explicitly reconstructs content representation with makeup representation under the strong constraint of component semantics. The reconstructed representation is desired to preserve the spatial and identity information of the source image while "wearing" the makeup of the reference image. The output image is synthesized via a parametric decoder that draws on the reconstructed representation. Extensive experiments demonstrate the superiority of our method in terms of visual quality, robustness, and flexibility. Code and pre-trained model are available at \url{https://github.com/AnonymScholar/SpMT.
Abstract（参考訳）: ソース非メイクアップ画像と基準メイク画像との間の大きな相違は、メイクアップ転送における重要な課題の1つである。メイク転送の従来のアプローチは、アンタングル表現を学習するか、2つの画像間のパラメトリックな方法でピクセルワイズ対応を実行する。我々は,非パラメトリック手法がポーズ,表現,咬合の相違に対処する可能性が高いと主張している。そこで本稿では,非パラメトリック機構とパラメトリック機構の相互強度を結合した \textbf{S}emi-\textbf{p}arametric \textbf{M}akeup \textbf{T}ransfer (SpMT) 法を提案する。非パラメトリックなコンポーネントは新規な \textbf{S}emantic-\textbf{a}ware \textbf{C}or correspondingence (SaC) モジュールであり、コンポーネントセマンティクスの強い制約の下で構成表現でコンテンツ表現を明示的に再構成する。再構成された表現は、基準画像のメイクアップを「着用」しながら、ソース画像の空間的およびアイデンティティ情報を保存することが望まれる。出力画像は、再構成された表現に描画するパラメトリックデコーダを介して合成される。広範な実験により,視覚品質,ロバスト性,柔軟性の観点から,本手法の優越性が示された。コードと事前トレーニングされたモデルは、 \url{https://github.com/AnonymScholar/SpMTで入手できる。

関連論文リスト

Self-Supervised Pre-training with Symmetric Superimposition Modeling for Scene Text Recognition [43.61569815081384]
テキスト画像中の局所的特徴と言語情報を同時に捉えるための対称性重畳モデルを提案する。画素レベルでは、原画像と逆画像の再構成を行い、文字の形状やテクスチャレベルの言語的文脈を捉える。特徴レベルでは、意味レベルの言語文脈と局所的文字識別をモデル化するために、異なる拡張で同一の原画像と逆画像の特徴を再構築する。
論文参考訳（メタデータ） (2024-05-09T15:23:38Z)
Coarse-to-Fine Latent Diffusion for Pose-Guided Person Image Synthesis [65.7968515029306]
PGPIS(Pose-Guided Person Image Synthesis)のためのCFLD(Coarse-to-Fine Latent Diffusion)法を提案する。認識修正デコーダは、学習可能なクエリの集合を段階的に洗練し、粗いプロンプトとして人物画像の意味的理解を抽出するように設計されている。
論文参考訳（メタデータ） (2024-02-28T06:07:07Z)
MaskDiffusion: Boosting Text-to-Image Consistency with Conditional Mask [84.84034179136458]
テキスト・イメージのミスマッチ問題に繋がる重要な要因は、モダリティ間の関係学習の不十分さである。本稿では,注目マップと迅速な埋め込みを条件とした適応マスクを提案し,画像特徴に対する各テキストトークンの寄与度を動的に調整する。この手法はMaskDiffusionと呼ばれ、トレーニング不要で、一般的な事前学習拡散モデルに対してホットプラグ可能である。
論文参考訳（メタデータ） (2023-09-08T15:53:37Z)
Energy-Based Cross Attention for Bayesian Context Update in Text-to-Image Diffusion Models [62.603753097900466]
本稿では,文脈ベクトルの後部をモデル化し,適応的文脈制御のための新しいエネルギーベースモデル(EBM)を提案する。具体的には、まず遅延画像表現とテキスト埋め込みのESMをデノナイズドオートエンコーダの各クロスアテンション層に定式化する。我々の潜在ESMは、異なるコンテキストからの相互注意出力の線形結合として、ゼロショット合成を可能としています。
論文参考訳（メタデータ） (2023-06-16T14:30:41Z)
Towards Better Text-Image Consistency in Text-to-Image Generation [15.735515302139335]
私たちはSemantic similarity Distance(SSD)と呼ばれる新しいCLIPベースのメトリクスを開発した。さらに,異なる粒度で意味情報を融合できる並列深層核生成適応ネットワーク (PDF-GAN) を設計する。我々のPDF-GANは、CUBおよびCOCOデータセットの良好な画像品質を維持しながら、テキスト画像の一貫性を著しく向上させることができる。
論文参考訳（メタデータ） (2022-10-27T07:47:47Z)
Memory-Driven Text-to-Image Generation [126.58244124144827]
本稿では,メモリ駆動型半パラメトリックによるテキスト・ツー・イメージ生成手法を提案する。非パラメトリック成分は、画像のトレーニングセットから構築された画像特徴のメモリバンクである。パラメトリック成分は生成的敵ネットワークです
論文参考訳（メタデータ） (2022-08-15T06:32:57Z)
BOSS: Bottom-up Cross-modal Semantic Composition with Hybrid Counterfactual Training for Robust Content-based Image Retrieval [61.803481264081036]
CIR(Content-Based Image Retrieval)は,サンプル画像と補完テキストの合成を同時に解釈することで,対象画像の検索を目的とする。本稿では,新しいアンダーラインtextbfBottom-up crunderlinetextbfOss-modal underlinetextbfSemantic compounderlinetextbfSition (textbfBOSS) とHybrid Counterfactual Training frameworkを用いてこの問題に取り組む。
論文参考訳（メタデータ） (2022-07-09T07:14:44Z)
Paired Image-to-Image Translation Quality Assessment Using Multi-Method Fusion [0.0]
本稿では,画像品質の信号のペア化と変換を併用して,後者の類似性と仮説的基底真理を推定する手法を提案する。我々は,深部画像構造とテクスチャ類似性(DISTS)を予測するために,勾配型回帰器のアンサンブルを用いたマルチメソッドフュージョン(MMF)モデルを訓練した。分析の結果,測定時間と予測精度の間にトレードオフが生じ,特徴制約を課すことが判明した。
論文参考訳（メタデータ） (2022-05-09T11:05:15Z)
SSAT: A Symmetric Semantic-Aware Transformer Network for Makeup Transfer and Removal [17.512402192317992]
メークアップ転送と削除を同時に行うためのSSAT(Symmetric Semantic-Aware Transformer)ネットワークを提案する。 SSCFTモジュールと弱い教師付きセマンティックロスが提案され、正確なセマンティック対応の確立をモデル化し促進する。実験により, より視覚的に正確なメイク転送結果が得られることがわかった。
論文参考訳（メタデータ） (2021-12-07T11:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。