Fugu-MT 論文翻訳(概要): High-Fidelity Virtual Try-on with Large-Scale Unpaired Learning

論文の概要: High-Fidelity Virtual Try-on with Large-Scale Unpaired Learning

arxiv url: http://arxiv.org/abs/2411.01593v1
Date: Sun, 03 Nov 2024 15:00:26 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-05 14:39:50.078583
Title: High-Fidelity Virtual Try-on with Large-Scale Unpaired Learning
Title（参考訳）: 大規模アンペア学習による高忠実度仮想試行
Authors: Han Yang, Yanlong Zang, Ziwei Liu,
Abstract要約: VTON(Virtual try-on)は、ターゲットの衣服イメージを基準人物に転送する。高忠実度試行のための大規模未経験学習を活用するための新しいフレームワークである textbfBoosted Virtual Try-on (BVTON) を提案する。
参考スコア（独自算出の注目度）: 36.7085107012134
License:
Abstract: Virtual try-on (VTON) transfers a target clothing image to a reference person, where clothing fidelity is a key requirement for downstream e-commerce applications. However, existing VTON methods still fall short in high-fidelity try-on due to the conflict between the high diversity of dressing styles (\eg clothes occluded by pants or distorted by posture) and the limited paired data for training. In this work, we propose a novel framework \textbf{Boosted Virtual Try-on (BVTON)} to leverage the large-scale unpaired learning for high-fidelity try-on. Our key insight is that pseudo try-on pairs can be reliably constructed from vastly available fashion images. Specifically, \textbf{1)} we first propose a compositional canonicalizing flow that maps on-model clothes into pseudo in-shop clothes, dubbed canonical proxy. Each clothing part (sleeves, torso) is reversely deformed into an in-shop-like shape to compositionally construct the canonical proxy. \textbf{2)} Next, we design a layered mask generation module that generates accurate semantic layout by training on canonical proxy. We replace the in-shop clothes used in conventional pipelines with the derived canonical proxy to boost the training process. \textbf{3)} Finally, we propose an unpaired try-on synthesizer by constructing pseudo training pairs with randomly misaligned on-model clothes, where intricate skin texture and clothes boundaries can be generated. Extensive experiments on high-resolution ($1024\times768$) datasets demonstrate the superiority of our approach over state-of-the-art methods both qualitatively and quantitatively. Notably, BVTON shows great generalizability and scalability to various dressing styles and data sources.
Abstract（参考訳）: VTON(Virtual try-on)は、ターゲットの衣服イメージを基準人物に転送する。しかし, 既存のVTON法は, 高多様性のドレッシングスタイル(ズボンや姿勢のゆがみなど)と, 限られたペアデータとの相違により, 高忠実な試着では依然として不足している。本研究では,高忠実度試行のための大規模未経験学習を活用するための新しいフレームワークであるtextbf{Boosted Virtual Try-on (BVTON)を提案する。私たちのキーとなる洞察は、偽の試着ペアは、広く利用可能なファッションイメージから確実に構築できるということです。具体的には、まず、オンモデル服を擬似インショップ服にマッピングする合成正準化フローを提案し、これをカノニカルプロキシ(canonical proxy)と呼ぶ。各衣服部(袖、胴体)は、逆転してホップ状の形状に変形し、カノニカルプロキシを構成的に構成する。次に,標準プロキシをトレーニングすることで,正確な意味的レイアウトを生成する階層マスク生成モジュールを設計する。我々は、従来のパイプラインで使用されるインショップ服を、トレーニングプロセスを強化するために派生した標準的プロキシに置き換える。最後に, 複雑な肌のテクスチャや衣服の境界が生成可能な, ランダムにミスアライメントされた擬似トレーニングペアを構築することで, 試行錯誤型シンセサイザーを提案する。高解像度(1024\times768$)データセットに対する大規模な実験は、定性的かつ定量的に最先端の手法よりも、我々のアプローチが優れていることを示している。特に、BVTONは様々なドレッシングスタイルやデータソースに対して、非常に一般化性とスケーラビリティを示している。

論文の概要: High-Fidelity Virtual Try-on with Large-Scale Unpaired Learning

関連論文リスト