論文の概要: TryOn-Adapter: Efficient Fine-Grained Clothing Identity Adaptation for High-Fidelity Virtual Try-On
- arxiv url: http://arxiv.org/abs/2404.00878v1
- Date: Mon, 1 Apr 2024 03:15:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 23:36:00.995361
- Title: TryOn-Adapter: Efficient Fine-Grained Clothing Identity Adaptation for High-Fidelity Virtual Try-On
- Title(参考訳): TryOn-Adapter: 高忠実度仮想トライオンのための効率的なファイングラニング・アイデンティティ・アダプタ
- Authors: Jiazheng Xing, Chao Xu, Yijie Qian, Yang Liu, Guang Dai, Baigui Sun, Yong Liu, Jingdong Wang,
- Abstract要約: 仮想試着は、衣服のパターンやテクスチャの歪みを避けながら、特定の人物にシームレスにフィットするように、所定の衣服を調整することに焦点を当てる。
我々はTryOn-Adapterと呼ばれる効果的で効率的なフレームワークを提案する。
- 参考スコア(独自算出の注目度): 34.51850518458418
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Virtual try-on focuses on adjusting the given clothes to fit a specific person seamlessly while avoiding any distortion of the patterns and textures of the garment. However, the clothing identity uncontrollability and training inefficiency of existing diffusion-based methods, which struggle to maintain the identity even with full parameter training, are significant limitations that hinder the widespread applications. In this work, we propose an effective and efficient framework, termed TryOn-Adapter. Specifically, we first decouple clothing identity into fine-grained factors: style for color and category information, texture for high-frequency details, and structure for smooth spatial adaptive transformation. Our approach utilizes a pre-trained exemplar-based diffusion model as the fundamental network, whose parameters are frozen except for the attention layers. We then customize three lightweight modules (Style Preserving, Texture Highlighting, and Structure Adapting) incorporated with fine-tuning techniques to enable precise and efficient identity control. Meanwhile, we introduce the training-free T-RePaint strategy to further enhance clothing identity preservation while maintaining the realistic try-on effect during the inference. Our experiments demonstrate that our approach achieves state-of-the-art performance on two widely-used benchmarks. Additionally, compared with recent full-tuning diffusion-based methods, we only use about half of their tunable parameters during training. The code will be made publicly available at https://github.com/jiazheng-xing/TryOn-Adapter.
- Abstract(参考訳): 仮想試着は、衣服のパターンやテクスチャの歪みを避けながら、特定の人物にシームレスにフィットするように、所定の衣服を調整することに焦点を当てる。
しかし, 完全パラメータトレーニングにおいてもアイデンティティの維持に苦慮する既存拡散法では, 衣料のアイデンティティの制御不能とトレーニングの非効率性は, 幅広い応用を妨げる重要な限界である。
本研究では,TryOn-Adapterと呼ばれる効果的で効率的なフレームワークを提案する。
具体的には、まず衣服のアイデンティティを、色とカテゴリ情報のスタイル、高周波の詳細のテクスチャ、スムーズな空間適応変換のための構造という、きめ細かな要素に分解する。
提案手法では,注意層を除くパラメータを凍結した基本ネットワークとして,事前学習した模擬拡散モデルを用いる。
次に、3つの軽量モジュール(スタイル保存、テクスチャハイライト、構造適応)を微調整技術でカスタマイズし、正確かつ効率的なアイデンティティ制御を実現します。
一方,トレーニングフリーのT-RePaint戦略を導入し,衣服の身元管理をさらに強化するとともに,推論時のリアルな試行効果を維持した。
提案手法は, 広く利用されている2つのベンチマークにおいて, 最先端の性能を実現することを実証した。
さらに、最近のフルチューニング拡散法と比較して、トレーニング中に調整可能なパラメータの約半分しか使用していない。
コードはhttps://github.com/jiazheng-xing/TryOn-Adapter.comで公開される。
関連論文リスト
- Better Fit: Accommodate Variations in Clothing Types for Virtual Try-on [25.550019373321653]
画像ベースの仮想試着は、ターゲットとなる服を着替えたモデル画像に転送することを目的としている。
トレーニングマスクを動的に調整する適応型マスクトレーニングパラダイムを提案する。
未ペアの試行検証のために、総合的なクロストライオンベンチマークを構築した。
論文 参考訳(メタデータ) (2024-03-13T12:07:14Z) - Improving Diffusion Models for Virtual Try-on [53.96244595495942]
本稿では,キュレートされた衣服を身に着けている人のイメージをレンダリングする,イメージベースの仮想試行について考察する。
衣服の忠実度を改善し,仮想試行画像を生成する新しい拡散モデルを提案する。
本稿では,一対の人着画像を用いたカスタマイズ手法を提案する。
論文 参考訳(メタデータ) (2024-03-08T08:12:18Z) - Product-Level Try-on: Characteristics-preserving Try-on with Realistic
Clothes Shading and Wrinkles [28.40312452732804]
現実的な衣服の陰影やしわを発生させながら,ロゴや刺青の細かな細部を保存できる新しい拡散型製品レベルの仮想試行パイプライン,ie PLTONを提案する。
PLTONは、従来のワープネットワークでポーズするターゲットモデルにインショップ服をワープし、ハイパスフィルタを使用して静的な布の特徴を保存するためのHF-Mapを抽出する。
1024 768データセットの大規模な定量および定性的実験は、実際の衣服のダイナミクスを模倣する上で、我々のフレームワークの優位性を実証している。
論文 参考訳(メタデータ) (2024-01-20T14:35:34Z) - WarpDiffusion: Efficient Diffusion Model for High-Fidelity Virtual
Try-on [81.15988741258683]
画像ベースの仮想トライオン(VITON)は、ホップ内の衣服イメージを対象人物に転送することを目的としている。
現在の方法では、衣服と肌の境界付近の合成品質や、ねじれた衣服のしわや影のような現実的な効果を見落としていることが多い。
本稿では,新しい情報的・局所的な特徴的注意機構を通じてワーピングと拡散に基づくパラダイムを橋渡しするワープ拡散を提案する。
論文 参考訳(メタデータ) (2023-12-06T18:34:32Z) - Single Stage Warped Cloth Learning and Semantic-Contextual Attention
Feature Fusion for Virtual TryOn [6.508088032296086]
画像ベースの仮想試着は、ホップの衣服を着ている人の画像に合わせることを目的としている。
対象の衣服を人物画像の対応する身体部分と整列させるガーメント・ワープは、この目標を達成するための重要なステップである。
明示的な多段階学習なしに暗黙的に同じことを学習する新しいシングルステージフレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-08T06:05:01Z) - HOOD: Hierarchical Graphs for Generalized Modelling of Clothing Dynamics [84.29846699151288]
本手法は体型によらず, ゆるく自由な衣服だけでなく, タイトフィットの衣服にも適用できる。
1つの重要な貢献として、厳密なストレッチモードを効率的に伝播する階層的なメッセージパッシング方式を提案する。
論文 参考訳(メタデータ) (2022-12-14T14:24:00Z) - Arbitrary Virtual Try-On Network: Characteristics Preservation and
Trade-off between Body and Clothing [85.74977256940855]
本報告では,オールタイプの衣料品を対象としたArbitrary Virtual Try-On Network (AVTON)を提案する。
AVTONは、ターゲット服と参照者の特性を保存・交換することで、現実的な試行画像を合成することができる。
提案手法は,最先端の仮想試行法と比較して性能が向上する。
論文 参考訳(メタデータ) (2021-11-24T08:59:56Z) - Towards Scalable Unpaired Virtual Try-On via Patch-Routed
Spatially-Adaptive GAN [66.3650689395967]
本稿では,現実世界の仮想試行を支援するテクスチャ保存型終末ネットワークであるPAtch-routed SpaTially-Adaptive GAN (PASTA-GAN)を提案する。
PASTA-GANは、各衣服のスタイルと空間情報をアンタングルするために、革新的なパッチを外したアンタングルモジュールで構成されている。
論文 参考訳(メタデータ) (2021-11-20T08:36:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。