論文の概要: GP-VTON: Towards General Purpose Virtual Try-on via Collaborative Local-Flow Global-Parsing Learning

• arxiv url: http://arxiv.org/abs/2303.13756v1
• Date: Fri, 24 Mar 2023 02:12:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 16:03:10.717270
• Title: GP-VTON: Towards General Purpose Virtual Try-on via Collaborative Local-Flow Global-Parsing Learning
• Title（参考訳）: gp-vton:コラボレーティブなローカルフローグローバルパーシング学習による汎用仮想トライオンに向けて
• Authors: Zhenyu Xie and Zaiyu Huang and Xin Dong and Fuwei Zhao and Haoye Dong and Xijin Zhang and Feida Zhu and Xiaodan Liang
• Abstract要約: 仮想トライオン(Virtual Try-ON)は、ショップ内の衣服を特定の人に転送することを目的としている。 既存の手法では、異なる衣服部品の異方性変形をモデル化するために、グローバルなワーピングモジュールを使用している。 本稿では,革新的なローカルフロー・グローバル・パーシング(LFGP)ワーピングモジュールと動的グラディエント・トラニケーション(DGT)トレーニング戦略を提案する。
• 参考スコア（独自算出の注目度）: 63.8668179362151
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image-based Virtual Try-ON aims to transfer an in-shop garment onto a specific person. Existing methods employ a global warping module to model the anisotropic deformation for different garment parts, which fails to preserve the semantic information of different parts when receiving challenging inputs (e.g, intricate human poses, difficult garments). Moreover, most of them directly warp the input garment to align with the boundary of the preserved region, which usually requires texture squeezing to meet the boundary shape constraint and thus leads to texture distortion. The above inferior performance hinders existing methods from real-world applications. To address these problems and take a step towards real-world virtual try-on, we propose a General-Purpose Virtual Try-ON framework, named GP-VTON, by developing an innovative Local-Flow Global-Parsing (LFGP) warping module and a Dynamic Gradient Truncation (DGT) training strategy. Specifically, compared with the previous global warping mechanism, LFGP employs local flows to warp garments parts individually, and assembles the local warped results via the global garment parsing, resulting in reasonable warped parts and a semantic-correct intact garment even with challenging inputs.On the other hand, our DGT training strategy dynamically truncates the gradient in the overlap area and the warped garment is no more required to meet the boundary constraint, which effectively avoids the texture squeezing problem. Furthermore, our GP-VTON can be easily extended to multi-category scenario and jointly trained by using data from different garment categories. Extensive experiments on two high-resolution benchmarks demonstrate our superiority over the existing state-of-the-art methods.
• Abstract（参考訳）: イメージベースのVirtual Try-ONは、ショップ内服を特定の人に転送する。 既存の手法では、異なる衣服部品の異方性変形をモデル化するためにグローバルワーピングモジュールを使用しており、困難な入力を受ける際に異なる部品の意味情報を保存できない(例えば、複雑な人間のポーズ、難しい衣服)。 さらに、それらのほとんどは、通常境界形状の制約を満たすためにテクスチャスクイージングを必要とする保存領域の境界に合わせるために、入力された衣料を直接反動させ、テクスチャ歪みを生じさせる。 上記の劣った性能は、実世界のアプリケーションから既存の方法を妨げる。 これらの問題を解決するために,GP-VTONと呼ばれる汎用仮想トライオンフレームワークを提案し,革新的なローカルフロー・グローバル・パーシング(LFGP)ワーピングモジュールと動的グラディエント・トランニケーション(DGT)トレーニング戦略を開発した。 Specifically, compared with the previous global warping mechanism, LFGP employs local flows to warp garments parts individually, and assembles the local warped results via the global garment parsing, resulting in reasonable warped parts and a semantic-correct intact garment even with challenging inputs.On the other hand, our DGT training strategy dynamically truncates the gradient in the overlap area and the warped garment is no more required to meet the boundary constraint, which effectively avoids the texture squeezing problem. さらに,GP-VTONは多カテゴリーのシナリオに容易に拡張でき,異なる衣服カテゴリーのデータを用いて共同で訓練することができる。 2つの高分解能ベンチマークに関する広範囲な実験は、既存の最先端手法よりも優れていることを示している。

関連論文リスト

• StyDeSty: Min-Max Stylization and Destylization for Single Domain Generalization [85.18995948334592]
  単一のドメインの一般化(単一DG)は、単一のトレーニングドメインからのみ見えないドメインに一般化可能な堅牢なモデルを学ぶことを目的としている。 最先端のアプローチは、主に新しいデータを合成するために、敵対的な摂動やスタイルの強化といったデータ拡張に頼っている。 データ拡張の過程で、ソースと擬似ドメインのアライメントを明示的に考慮したemphStyDeStyを提案する。
  論文  参考訳（メタデータ） (2024-06-01T02:41:34Z)
• GC-VTON: Predicting Globally Consistent and Occlusion Aware Local Flows with Neighborhood Integrity Preservation for Virtual Try-on [0.0]
  フローベースの衣服のワープは、画像ベースの仮想トライオンネットワークの不可欠な部分である。 本研究では,グローバルな境界アライメントと局所的なテクスチャ保存タスクを分離する手法を提案する。 次に、局所フローと大域境界アライメントを調和させる2つのモジュール間で整合損失が生じる。
  論文  参考訳（メタデータ） (2023-11-07T10:09:49Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• PG-VTON: A Novel Image-Based Virtual Try-On Method via Progressive Inference Paradigm [6.929743379017671]
  プログレッシブ推論パラダイム(PGVTON)を用いた新しい仮想試行法を提案する。 形状案内として試着解析を応用し,ワープ・マッピング・コンポジションによる衣服試着を実装した。 実験により,本手法は2つの挑戦シナリオ下での最先端性能を示す。
  論文  参考訳（メタデータ） (2023-04-18T12:47:26Z)
• PASTA-GAN++: A Versatile Framework for High-Resolution Unpaired Virtual Try-on [70.12285433529998]
  PASTA-GAN++は高解像度の仮想試行のための汎用システムである。 教師なしのトレーニング、任意の衣服カテゴリー、制御可能な衣服編集をサポートする。
  論文  参考訳（メタデータ） (2022-07-27T11:47:49Z)
• Style-Based Global Appearance Flow for Virtual Try-On [119.95115739956661]
  本研究では, 新たなグローバルな外見フロー推定モデルを提案する。 仮想試行ベンチマークによる実験結果から,本手法が新たな最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-04-03T10:58:04Z)
• Towards Scalable Unpaired Virtual Try-On via Patch-Routed Spatially-Adaptive GAN [66.3650689395967]
  本稿では,現実世界の仮想試行を支援するテクスチャ保存型終末ネットワークであるPAtch-routed SpaTially-Adaptive GAN (PASTA-GAN)を提案する。 PASTA-GANは、各衣服のスタイルと空間情報をアンタングルするために、革新的なパッチを外したアンタングルモジュールで構成されている。
  論文  参考訳（メタデータ） (2021-11-20T08:36:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。