論文の概要: Arbitrary Virtual Try-On Network: Characteristics Preservation and
Trade-off between Body and Clothing
- arxiv url: http://arxiv.org/abs/2111.12346v1
- Date: Wed, 24 Nov 2021 08:59:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-25 15:34:43.466825
- Title: Arbitrary Virtual Try-On Network: Characteristics Preservation and
Trade-off between Body and Clothing
- Title(参考訳): 任意の仮想試着ネットワーク:身体と衣服の特徴保存とトレードオフ
- Authors: Yu Liu and Mingbo Zhao and Zhao Zhang and Haijun Zhang and Shuicheng
Yan
- Abstract要約: 本報告では,オールタイプの衣料品を対象としたArbitrary Virtual Try-On Network (AVTON)を提案する。
AVTONは、ターゲット服と参照者の特性を保存・交換することで、現実的な試行画像を合成することができる。
提案手法は,最先端の仮想試行法と比較して性能が向上する。
- 参考スコア(独自算出の注目度): 85.74977256940855
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning based virtual try-on system has achieved some encouraging
progress recently, but there still remain several big challenges that need to
be solved, such as trying on arbitrary clothes of all types, trying on the
clothes from one category to another and generating image-realistic results
with few artifacts. To handle this issue, we in this paper first collect a new
dataset with all types of clothes, \ie tops, bottoms, and whole clothes, each
one has multiple categories with rich information of clothing characteristics
such as patterns, logos, and other details. Based on this dataset, we then
propose the Arbitrary Virtual Try-On Network (AVTON) that is utilized for
all-type clothes, which can synthesize realistic try-on images by preserving
and trading off characteristics of the target clothes and the reference person.
Our approach includes three modules: 1) Limbs Prediction Module, which is
utilized for predicting the human body parts by preserving the characteristics
of the reference person. This is especially good for handling cross-category
try-on task (\eg long sleeves \(\leftrightarrow\) short sleeves or long pants
\(\leftrightarrow\) skirts, \etc), where the exposed arms or legs with the skin
colors and details can be reasonably predicted; 2) Improved Geometric Matching
Module, which is designed to warp clothes according to the geometry of the
target person. We improve the TPS based warping method with a compactly
supported radial function (Wendland's \(\Psi\)-function); 3) Trade-Off Fusion
Module, which is to trade off the characteristics of the warped clothes and the
reference person. This module is to make the generated try-on images look more
natural and realistic based on a fine-tune symmetry of the network structure.
Extensive simulations are conducted and our approach can achieve better
performance compared with the state-of-the-art virtual try-on methods.
- Abstract(参考訳): ディープラーニングをベースとした仮想試着システムは最近、いくつかの大きな進歩を遂げているが、あらゆるタイプの任意の衣服を試着したり、あるカテゴリーから別のカテゴリーまで服を試着したり、少数のアーティファクトでイメージリアルな結果を生み出すなど、解決すべきいくつかの大きな課題がまだ残っている。
この問題に対処するため,本論文ではまず,あらゆる種類の衣服,上着,下着,衣服全体に関する新しいデータセットを収集し,それぞれにパターン,ロゴ,その他の細部といった衣料特性の豊富な情報を含む複数のカテゴリを分類した。
このデータセットに基づいて、ターゲットの衣服と参照者の特性を保存・交換することでリアルな試着画像を合成できる、オールタイプの衣服に利用されるArbitrary Virtual Try-On Network (AVTON)を提案する。
このアプローチには3つのモジュールがあります。
1)参照者の特性を保存して人体部分を予測するのに使用されるリムズ予測モジュール。
これは特に、肌の色と細部が露出した腕や脚が合理的に予測できるクロスカテゴリトライオンタスク(\eg long sleeves \(\leftrightarrow\) short sleevesまたはlong pants \(\leftrightarrow\) skirts, \etc)を扱うのに便利である。
2)対象者の形状に応じて衣服を反動させるように設計された幾何学的マッチングモジュールの改良。
コンパクトに支持されたラジアル関数 (wendland の \(\psi\)-関数) を用いて, tps に基づくワーピング法を改善する。
3)トレードオフ融合モジュールは、反りのある衣服と参照者の特性をトレードオフするものである。
このモジュールは、ネットワーク構造の微調整対称性に基づいて、生成された試行画像をより自然でリアルに見せる。
大規模なシミュレーションを行い,最先端の仮想試行法と比較して性能が向上する。
関連論文リスト
- PocoLoco: A Point Cloud Diffusion Model of Human Shape in Loose Clothing [97.83361232792214]
PocoLocoは、ゆるい服を着た3D人間のための、テンプレートのない、ポイントベースの、ポーズ条件付き生成モデルである。
本研究では,アバター服の変形をデノナイズ拡散フレームワーク内の条件付き点雲生成タスクとして定式化する。
ゆるい服装でさまざまなポーズをとる2人の被験者のデータセットを、合計75K点の雲で公開する。
論文 参考訳(メタデータ) (2024-11-06T20:42:13Z) - High-Fidelity Virtual Try-on with Large-Scale Unpaired Learning [36.7085107012134]
VTON(Virtual try-on)は、ターゲットの衣服イメージを基準人物に転送する。
高忠実度試行のための大規模未経験学習を活用するための新しいフレームワークである textbfBoosted Virtual Try-on (BVTON) を提案する。
論文 参考訳(メタデータ) (2024-11-03T15:00:26Z) - ClothCombo: Modeling Inter-Cloth Interaction for Draping Multi-Layered
Clothes [3.8079353598215757]
人間の3次元モデルに任意の服の組み合わせを描画するパイプラインであるClathComboを提示する。
本手法は,GNNに基づくネットワークを用いて,異なる階層の衣服間の相互作用を効率的にモデル化する。
論文 参考訳(メタデータ) (2023-04-07T06:23:54Z) - Neural Point-based Shape Modeling of Humans in Challenging Clothing [75.75870953766935]
SMPLのようなパラメトリックな3Dボディモデルは、最小限の衣服だけを表現し、衣服に拡張するのは難しい。
我々は、正準化を学習されたポーズ非依存の「粗い形状」に置き換える粗い段階で点ベースの手法を拡張する。
このアプローチは、身体に適合し、脱落する衣服に対してうまく機能する。
論文 参考訳(メタデータ) (2022-09-14T17:59:17Z) - Significance of Skeleton-based Features in Virtual Try-On [3.7552180803118325]
textitVirtual Try-ON(VTON)というアイデアは、ユーザーが自宅の快適な場所で衣服を試すのに便利であることによって、電子小売の恩恵を受ける。
既存のVTONの手法のほとんどは、腕を折りたたんでポーズをとれば、一貫性のない結果をもたらす。
本稿では,合成ネットワークとマスク予測ネットワークという,学習に基づく2つのモジュールを提案する。
論文 参考訳(メタデータ) (2022-08-17T05:24:03Z) - Towards Scalable Unpaired Virtual Try-On via Patch-Routed
Spatially-Adaptive GAN [66.3650689395967]
本稿では,現実世界の仮想試行を支援するテクスチャ保存型終末ネットワークであるPAtch-routed SpaTially-Adaptive GAN (PASTA-GAN)を提案する。
PASTA-GANは、各衣服のスタイルと空間情報をアンタングルするために、革新的なパッチを外したアンタングルモジュールで構成されている。
論文 参考訳(メタデータ) (2021-11-20T08:36:12Z) - SPG-VTON: Semantic Prediction Guidance for Multi-pose Virtual Try-on [27.870740623131816]
イメージベースの仮想試着は、多様な人間のポーズの下で、ターゲットのインショップ服を基準人物に適合させることが難しい。
エンドツーエンドのセマンティック予測誘導多目的仮想トライオンネットワーク(SPG-VTON)を提案する。
提案手法を,最大規模の多目的データセット(MPV)とDeepFashionデータセットで評価する。
論文 参考訳(メタデータ) (2021-08-03T15:40:50Z) - SMPLicit: Topology-aware Generative Model for Clothed People [65.84665248796615]
SMPLicitは、身体のポーズ、形状、衣服の形状を共同で表現する新しい生成モデルである。
実験では,3dスキャンの装着や,服装者の画像の3d再構成にsmplicitが容易に利用できることを示す。
論文 参考訳(メタデータ) (2021-03-11T18:57:03Z) - LGVTON: A Landmark Guided Approach to Virtual Try-On [4.617329011921226]
人物とモデルという2人のイメージから、モデルの服を着ている人の再考を生成する。
これは、ほとんどのeコマースウェブサイトでは、服のみのイメージが通常利用できないという事実を考えると便利である。
論文 参考訳(メタデータ) (2020-04-01T16:49:57Z) - Towards Photo-Realistic Virtual Try-On by Adaptively
Generating$\leftrightarrow$Preserving Image Content [85.24260811659094]
本稿では,適応コンテンツ生成・保存ネットワーク(ACGPN)という新しいビジュアル・トライオン・ネットワークを提案する。
ACGPNはまず、試行錯誤後に変更される参照画像のセマンティックレイアウトを予測する。
第二に、服のワープモジュールは、生成されたセマンティックレイアウトに従って衣服の画像をワープする。
第3に、コンテンツ融合のための塗装モジュールは、すべての情報(例えば、参照画像、セマンティックレイアウト、歪んだ衣服)を統合して、人間の身体の各意味部分を適応的に生成する。
論文 参考訳(メタデータ) (2020-03-12T15:55:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。