論文の概要: SPG-VTON: Semantic Prediction Guidance for Multi-pose Virtual Try-on
- arxiv url: http://arxiv.org/abs/2108.01578v1
- Date: Tue, 3 Aug 2021 15:40:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-04 16:02:17.073860
- Title: SPG-VTON: Semantic Prediction Guidance for Multi-pose Virtual Try-on
- Title（参考訳）: SPG-VTON:多目的仮想試行のための意味予測ガイダンス
- Authors: Bingwen Hu, Ping Liu, Zhedong Zheng, and Mingwu Ren
- Abstract要約: イメージベースの仮想試着は、多様な人間のポーズの下で、ターゲットのインショップ服を基準人物に適合させることが難しい。
エンドツーエンドのセマンティック予測誘導多目的仮想トライオンネットワーク(SPG-VTON)を提案する。
提案手法を,最大規模の多目的データセット(MPV)とDeepFashionデータセットで評価する。
- 参考スコア（独自算出の注目度）: 27.870740623131816
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Image-based virtual try-on is challenging in fitting a target in-shop clothes
into a reference person under diverse human poses. Previous works focus on
preserving clothing details ( e.g., texture, logos, patterns ) when
transferring desired clothes onto a target person under a fixed pose. However,
the performances of existing methods significantly dropped when extending
existing methods to multi-pose virtual try-on. In this paper, we propose an
end-to-end Semantic Prediction Guidance multi-pose Virtual Try-On Network
(SPG-VTON), which could fit the desired clothing into a reference person under
arbitrary poses. Concretely, SPG-VTON is composed of three sub-modules. First,
a Semantic Prediction Module (SPM) generates the desired semantic map. The
predicted semantic map provides more abundant guidance to locate the desired
clothes region and produce a coarse try-on image. Second, a Clothes Warping
Module (CWM) warps in-shop clothes to the desired shape according to the
predicted semantic map and the desired pose. Specifically, we introduce a
conductible cycle consistency loss to alleviate the misalignment in the clothes
warping process. Third, a Try-on Synthesis Module (TSM) combines the coarse
result and the warped clothes to generate the final virtual try-on image,
preserving details of the desired clothes and under the desired pose. Besides,
we introduce a face identity loss to refine the facial appearance and maintain
the identity of the final virtual try-on result at the same time. We evaluate
the proposed method on the most massive multi-pose dataset (MPV) and the
DeepFashion dataset. The qualitative and quantitative experiments show that
SPG-VTON is superior to the state-of-the-art methods and is robust to the data
noise, including background and accessory changes, i.e., hats and handbags,
showing good scalability to the real-world scenario.
- Abstract（参考訳）: イメージベースの仮想試着は、多様な人間のポーズの下で、ターゲットのインショップ服を基準人物に適合させることが難しい。
以前の作品では、特定のポーズで対象人物に希望の服を移す際に、衣料品の詳細(テクスチャ、ロゴ、パターンなど)を保存することに焦点を当てていた。
しかし、既存のメソッドをマルチ目的仮想トライオンに拡張する際、既存のメソッドのパフォーマンスは大幅に低下した。
本稿では,目的の衣服を任意のポーズで基準人物に適合させることができる,エンドツーエンド意味予測ガイダンスマルチポステッド仮想試着ネットワーク(spg-vton)を提案する。
具体的には、SPG-VTONは3つのサブモジュールから構成される。
まず、意味予測モジュール(SPM)が所望のセマンティックマップを生成する。
予測されたセマンティックマップは、望ましい衣服領域を特定し、粗い試着画像を生成するためのより豊富なガイダンスを提供する。
第二に、CWM(Crothes Warping Module)は、予測されたセマンティックマップと所望のポーズに従って、洋服を所望の形状にワープする。
具体的には, 衣服の反りを緩和するために, 導電性サイクル一貫性の損失を導入する。
第3に、試着合成モジュール(TSM)は、粗い結果と歪んだ服を組み合わせ、最終的な仮想試着画像を生成し、所望の服の詳細と所望のポーズで保存する。
さらに,顔の外観を洗練し,最終的な仮想トライオン結果の同一性を維持するために,顔のアイデンティティ損失を導入する。
提案手法を,最大規模の多目的データセット(MPV)とDeepFashionデータセットで評価する。
定性的かつ定量的な実験は、SPG-VTONが最先端の手法よりも優れており、背景やアクセサリの変更、すなわち帽子やハンドバッグなどのデータノイズに対して堅牢であり、現実のシナリオに優れたスケーラビリティを示すことを示している。
関連論文リスト
- IMAGDressing-v1: Customizable Virtual Dressing [58.44155202253754]
IMAGDressing-v1は、固定された衣服とオプション条件で自由に編集可能な人間の画像を生成する仮想ドレッシングタスクである。
IMAGDressing-v1は、CLIPのセマンティック特徴とVAEのテクスチャ特徴をキャプチャする衣料UNetを組み込んでいる。
本稿では,凍結自己注意とトレーニング可能なクロスアテンションを含むハイブリッドアテンションモジュールを提案する。
論文 参考訳（メタデータ） (2024-07-17T16:26:30Z) - MV-VTON: Multi-View Virtual Try-On with Diffusion Models [91.71150387151042]
画像ベースの仮想試着の目的は、与えられた衣服を自然に身に着けている対象者の画像を生成することである。
既存の方法は、前頭服を用いた正面試着のみに焦点をあてる方法である。
本稿では,服の複数ビューからドレッシング結果を再構築することを目的としたMulti-View Virtual Try-ON(MV-VTON)を紹介する。
論文 参考訳（メタデータ） (2024-04-26T12:27:57Z) - Arbitrary Virtual Try-On Network: Characteristics Preservation and
Trade-off between Body and Clothing [85.74977256940855]
本報告では,オールタイプの衣料品を対象としたArbitrary Virtual Try-On Network (AVTON)を提案する。
AVTONは、ターゲット服と参照者の特性を保存・交換することで、現実的な試行画像を合成することができる。
提案手法は,最先端の仮想試行法と比較して性能が向上する。
論文 参考訳（メタデータ） (2021-11-24T08:59:56Z) - Towards Scalable Unpaired Virtual Try-On via Patch-Routed
Spatially-Adaptive GAN [66.3650689395967]
本稿では,現実世界の仮想試行を支援するテクスチャ保存型終末ネットワークであるPAtch-routed SpaTially-Adaptive GAN (PASTA-GAN)を提案する。
PASTA-GANは、各衣服のスタイルと空間情報をアンタングルするために、革新的なパッチを外したアンタングルモジュールで構成されている。
論文 参考訳（メタデータ） (2021-11-20T08:36:12Z) - Shape Controllable Virtual Try-on for Underwear Models [0.0]
そこで我々は,下着モデル用の衣服を着る形状制御可能な仮想トライオンネットワーク(SC-VTON)を提案する。
SC-VTONは、モデルと衣服の情報を統合し、歪んだ衣服画像を生成する。
本手法は, 詳細なテクスチャで高分解能な結果が得られる。
論文 参考訳（メタデータ） (2021-07-28T04:01:01Z) - PISE: Person Image Synthesis and Editing with Decoupled GAN [64.70360318367943]
人像合成と編集のための新しい二段階生成モデルであるPISEを提案する。
ヒトのポーズ伝達では,まず対象のポーズに合わせた人間のパーシングマップを合成し,衣服の形状を表現する。
衣服の形状とスタイルを分離するため,地域ごとの符号化と正規化を共同で提案する。
論文 参考訳（メタデータ） (2021-03-06T04:32:06Z) - LGVTON: A Landmark Guided Approach to Virtual Try-On [4.617329011921226]
人物とモデルという2人のイメージから、モデルの服を着ている人の再考を生成する。
これは、ほとんどのeコマースウェブサイトでは、服のみのイメージが通常利用できないという事実を考えると便利である。
論文 参考訳（メタデータ） (2020-04-01T16:49:57Z) - Towards Photo-Realistic Virtual Try-On by Adaptively
Generating$\leftrightarrow$Preserving Image Content [85.24260811659094]
本稿では,適応コンテンツ生成・保存ネットワーク(ACGPN)という新しいビジュアル・トライオン・ネットワークを提案する。
ACGPNはまず、試行錯誤後に変更される参照画像のセマンティックレイアウトを予測する。
第二に、服のワープモジュールは、生成されたセマンティックレイアウトに従って衣服の画像をワープする。
第3に、コンテンツ融合のための塗装モジュールは、すべての情報(例えば、参照画像、セマンティックレイアウト、歪んだ衣服)を統合して、人間の身体の各意味部分を適応的に生成する。
論文 参考訳（メタデータ） (2020-03-12T15:55:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。