論文の概要: PASTA-GAN++: A Versatile Framework for High-Resolution Unpaired Virtual
Try-on
- arxiv url: http://arxiv.org/abs/2207.13475v1
- Date: Wed, 27 Jul 2022 11:47:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-28 13:42:46.862948
- Title: PASTA-GAN++: A Versatile Framework for High-Resolution Unpaired Virtual
Try-on
- Title(参考訳): PASTA-GAN++ - 高分解能な仮想試行のためのVersatileフレームワーク
- Authors: Zhenyu Xie, Zaiyu Huang, Fuwei Zhao, Haoye Dong, Michael Kampffmeyer,
Xin Dong, Feida Zhu, Xiaodan Liang
- Abstract要約: PASTA-GAN++は高解像度の仮想試行のための汎用システムである。
教師なしのトレーニング、任意の衣服カテゴリー、制御可能な衣服編集をサポートする。
- 参考スコア(独自算出の注目度): 70.12285433529998
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image-based virtual try-on is one of the most promising applications of
human-centric image generation due to its tremendous real-world potential. In
this work, we take a step forwards to explore versatile virtual try-on
solutions, which we argue should possess three main properties, namely, they
should support unsupervised training, arbitrary garment categories, and
controllable garment editing. To this end, we propose a
characteristic-preserving end-to-end network, the PAtch-routed
SpaTially-Adaptive GAN++ (PASTA-GAN++), to achieve a versatile system for
high-resolution unpaired virtual try-on. Specifically, our PASTA-GAN++ consists
of an innovative patch-routed disentanglement module to decouple the intact
garment into normalized patches, which is capable of retaining garment style
information while eliminating the garment spatial information, thus alleviating
the overfitting issue during unsupervised training. Furthermore, PASTA-GAN++
introduces a patch-based garment representation and a patch-guided parsing
synthesis block, allowing it to handle arbitrary garment categories and support
local garment editing. Finally, to obtain try-on results with realistic texture
details, PASTA-GAN++ incorporates a novel spatially-adaptive residual module to
inject the coarse warped garment feature into the generator. Extensive
experiments on our newly collected UnPaired virtual Try-on (UPT) dataset
demonstrate the superiority of PASTA-GAN++ over existing SOTAs and its ability
for controllable garment editing.
- Abstract(参考訳): 画像ベースの仮想試行は、人間の中心的な画像生成の最も有望な応用の1つだ。
本研究では,多目的仮想試行ソリューションについて,教師なしトレーニング,任意の衣料品カテゴリ,制御可能な衣料品編集という,3つの主要な特性を持つべきであると論じる。
そこで我々は,PASTA-GAN++ (PAtch-routed SpaTially-Adaptive GAN++) という特徴保存型エンドツーエンドネットワークを提案し,高分解能な仮想試行を実現する。
特に,我々のPASTA-GAN++は,無傷の衣服を正規化パッチに分離するための,革新的なパッチ引き離しモジュールで構成されており,衣服空間情報を排除しながら衣服スタイル情報を保持でき,教師なしトレーニングにおける過度な問題を軽減することができる。
さらに、PASTA-GAN++はパッチベースの衣服表現とパッチ誘導構文合成ブロックを導入し、任意の衣服カテゴリを処理し、局所的な衣服編集をサポートする。
最後に、現実的なテクスチャの詳細を持つ試行結果を得るために、PASTA-GAN++は、空間適応的な新しい残留モジュールを組み込んで、粗い歪んだ衣服機能をジェネレータに注入する。
新たに収集したUnPaired Virtual Try-on (UPT)データセットの大規模な実験は、既存のSOTAよりもPASTA-GAN++の方が優れていること、および、制御可能な衣服編集能力を示している。
関連論文リスト
- OOTDiffusion: Outfitting Fusion based Latent Diffusion for Controllable
Virtual Try-on [7.46772222515689]
OOTDiffusionは、リアルで制御可能なイメージベースの仮想トライオンのための新しいネットワークアーキテクチャである。
我々は、事前訓練された潜伏拡散モデルのパワーを活用し、UNetを設計して、衣服の詳細特徴を学習する。
VITON-HDおよびDress Codeデータセットに関する実験により、OOTDiffusionが効率よく高品質な試行結果を生成することを示した。
論文 参考訳(メタデータ) (2024-03-04T07:17:44Z) - PG-VTON: A Novel Image-Based Virtual Try-On Method via Progressive
Inference Paradigm [6.929743379017671]
プログレッシブ推論パラダイム(PGVTON)を用いた新しい仮想試行法を提案する。
形状案内として試着解析を応用し,ワープ・マッピング・コンポジションによる衣服試着を実装した。
実験により,本手法は2つの挑戦シナリオ下での最先端性能を示す。
論文 参考訳(メタデータ) (2023-04-18T12:47:26Z) - GP-VTON: Towards General Purpose Virtual Try-on via Collaborative
Local-Flow Global-Parsing Learning [63.8668179362151]
仮想トライオン(Virtual Try-ON)は、ショップ内の衣服を特定の人に転送することを目的としている。
既存の手法では、異なる衣服部品の異方性変形をモデル化するために、グローバルなワーピングモジュールを使用している。
本稿では,革新的なローカルフロー・グローバル・パーシング(LFGP)ワーピングモジュールと動的グラディエント・トラニケーション(DGT)トレーニング戦略を提案する。
論文 参考訳(メタデータ) (2023-03-24T02:12:29Z) - StyleHEAT: One-Shot High-Resolution Editable Talking Face Generation via
Pretrained StyleGAN [49.917296433657484]
ワンショット・トーキング・フェイス・ジェネレーションは、任意のポートレート画像から高品質なトーキング・フェイス・ビデオを合成することを目的としている。
本研究では,事前学習したStyleGANの潜在特徴空間について検討し,優れた空間変換特性について考察する。
本稿では,事前学習したStyleGANをベースとした,強力な機能セットを実現する統一フレームワークを提案する。
論文 参考訳(メタデータ) (2022-03-08T12:06:12Z) - Arbitrary Virtual Try-On Network: Characteristics Preservation and
Trade-off between Body and Clothing [85.74977256940855]
本報告では,オールタイプの衣料品を対象としたArbitrary Virtual Try-On Network (AVTON)を提案する。
AVTONは、ターゲット服と参照者の特性を保存・交換することで、現実的な試行画像を合成することができる。
提案手法は,最先端の仮想試行法と比較して性能が向上する。
論文 参考訳(メタデータ) (2021-11-24T08:59:56Z) - Towards Scalable Unpaired Virtual Try-On via Patch-Routed
Spatially-Adaptive GAN [66.3650689395967]
本稿では,現実世界の仮想試行を支援するテクスチャ保存型終末ネットワークであるPAtch-routed SpaTially-Adaptive GAN (PASTA-GAN)を提案する。
PASTA-GANは、各衣服のスタイルと空間情報をアンタングルするために、革新的なパッチを外したアンタングルモジュールで構成されている。
論文 参考訳(メタデータ) (2021-11-20T08:36:12Z) - SPG-VTON: Semantic Prediction Guidance for Multi-pose Virtual Try-on [27.870740623131816]
イメージベースの仮想試着は、多様な人間のポーズの下で、ターゲットのインショップ服を基準人物に適合させることが難しい。
エンドツーエンドのセマンティック予測誘導多目的仮想トライオンネットワーク(SPG-VTON)を提案する。
提案手法を,最大規模の多目的データセット(MPV)とDeepFashionデータセットで評価する。
論文 参考訳(メタデータ) (2021-08-03T15:40:50Z) - Controllable Person Image Synthesis with Spatially-Adaptive Warped
Normalization [72.65828901909708]
制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。
本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。
本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
論文 参考訳(メタデータ) (2021-05-31T07:07:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。