論文の概要: TryOn-Adapter: Efficient Fine-Grained Clothing Identity Adaptation for High-Fidelity Virtual Try-On

• arxiv url: http://arxiv.org/abs/2404.00878v1
• Date: Mon, 1 Apr 2024 03:15:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 23:36:00.995361
• Title: TryOn-Adapter: Efficient Fine-Grained Clothing Identity Adaptation for High-Fidelity Virtual Try-On
• Title（参考訳）: TryOn-Adapter: 高忠実度仮想トライオンのための効率的なファイングラニング・アイデンティティ・アダプタ
• Authors: Jiazheng Xing, Chao Xu, Yijie Qian, Yang Liu, Guang Dai, Baigui Sun, Yong Liu, Jingdong Wang,
• Abstract要約: 仮想試着は、衣服のパターンやテクスチャの歪みを避けながら、特定の人物にシームレスにフィットするように、所定の衣服を調整することに焦点を当てる。 我々はTryOn-Adapterと呼ばれる効果的で効率的なフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 34.51850518458418
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Virtual try-on focuses on adjusting the given clothes to fit a specific person seamlessly while avoiding any distortion of the patterns and textures of the garment. However, the clothing identity uncontrollability and training inefficiency of existing diffusion-based methods, which struggle to maintain the identity even with full parameter training, are significant limitations that hinder the widespread applications. In this work, we propose an effective and efficient framework, termed TryOn-Adapter. Specifically, we first decouple clothing identity into fine-grained factors: style for color and category information, texture for high-frequency details, and structure for smooth spatial adaptive transformation. Our approach utilizes a pre-trained exemplar-based diffusion model as the fundamental network, whose parameters are frozen except for the attention layers. We then customize three lightweight modules (Style Preserving, Texture Highlighting, and Structure Adapting) incorporated with fine-tuning techniques to enable precise and efficient identity control. Meanwhile, we introduce the training-free T-RePaint strategy to further enhance clothing identity preservation while maintaining the realistic try-on effect during the inference. Our experiments demonstrate that our approach achieves state-of-the-art performance on two widely-used benchmarks. Additionally, compared with recent full-tuning diffusion-based methods, we only use about half of their tunable parameters during training. The code will be made publicly available at https://github.com/jiazheng-xing/TryOn-Adapter.
• Abstract（参考訳）: 仮想試着は、衣服のパターンやテクスチャの歪みを避けながら、特定の人物にシームレスにフィットするように、所定の衣服を調整することに焦点を当てる。 しかし, 完全パラメータトレーニングにおいてもアイデンティティの維持に苦慮する既存拡散法では, 衣料のアイデンティティの制御不能とトレーニングの非効率性は, 幅広い応用を妨げる重要な限界である。 本研究では,TryOn-Adapterと呼ばれる効果的で効率的なフレームワークを提案する。 具体的には、まず衣服のアイデンティティを、色とカテゴリ情報のスタイル、高周波の詳細のテクスチャ、スムーズな空間適応変換のための構造という、きめ細かな要素に分解する。 提案手法では,注意層を除くパラメータを凍結した基本ネットワークとして,事前学習した模擬拡散モデルを用いる。 次に、3つの軽量モジュール(スタイル保存、テクスチャハイライト、構造適応)を微調整技術でカスタマイズし、正確かつ効率的なアイデンティティ制御を実現します。 一方,トレーニングフリーのT-RePaint戦略を導入し,衣服の身元管理をさらに強化するとともに,推論時のリアルな試行効果を維持した。 提案手法は, 広く利用されている2つのベンチマークにおいて, 最先端の性能を実現することを実証した。 さらに、最近のフルチューニング拡散法と比較して、トレーニング中に調整可能なパラメータの約半分しか使用していない。 コードはhttps://github.com/jiazheng-xing/TryOn-Adapter.comで公開される。

関連論文リスト

• FitDiT: Advancing the Authentic Garment Details for High-fidelity Virtual Try-on [73.13242624924814]
  Diffusion Transformer (DiT) を用いた高忠実度仮想試行用ガーメント知覚増強技術FitDiT 布地テクスチャ抽出装置を導入し, 布地や模様, テクスチャなどのリッチな細部を, よりよく捉えられるようにした。 また,クロスカテゴリー試着中にマスク領域全体を埋める衣服の発生を防止し,衣料の正しい長さに適応する拡張緩和マスク戦略を採用した。
  論文  参考訳（メタデータ） (2024-11-15T11:02:23Z)
• High-Fidelity Virtual Try-on with Large-Scale Unpaired Learning [36.7085107012134]
  VTON(Virtual try-on)は、ターゲットの衣服イメージを基準人物に転送する。 高忠実度試行のための大規模未経験学習を活用するための新しいフレームワークである textbfBoosted Virtual Try-on (BVTON) を提案する。
  論文  参考訳（メタデータ） (2024-11-03T15:00:26Z)
• GraVITON: Graph based garment warping with attention guided inversion for Virtual-tryon [5.790630195329777]
  衣服のフローにおけるコンテキストの価値を強調する新しいグラフベースのワープ手法を提案する。 提案手法は,VITON-HDとDresscodeのデータセットで検証され,衣服のワープ,テクスチャ保存,および全体リアリズムの大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-06-04T10:29:18Z)
• Improving Diffusion Models for Authentic Virtual Try-on in the Wild [53.96244595495942]
  本稿では,キュレートされた衣服を身に着けている人のイメージをレンダリングする,イメージベースの仮想試行について考察する。 衣服の忠実度を改善し,仮想試行画像を生成する新しい拡散モデルを提案する。 本稿では,一対の人着画像を用いたカスタマイズ手法を提案する。
  論文  参考訳（メタデータ） (2024-03-08T08:12:18Z)
• HOOD: Hierarchical Graphs for Generalized Modelling of Clothing Dynamics [84.29846699151288]
  本手法は体型によらず, ゆるく自由な衣服だけでなく, タイトフィットの衣服にも適用できる。 1つの重要な貢献として、厳密なストレッチモードを効率的に伝播する階層的なメッセージパッシング方式を提案する。
  論文  参考訳（メタデータ） (2022-12-14T14:24:00Z)
• Arbitrary Virtual Try-On Network: Characteristics Preservation and Trade-off between Body and Clothing [85.74977256940855]
  本報告では,オールタイプの衣料品を対象としたArbitrary Virtual Try-On Network (AVTON)を提案する。 AVTONは、ターゲット服と参照者の特性を保存・交換することで、現実的な試行画像を合成することができる。 提案手法は,最先端の仮想試行法と比較して性能が向上する。
  論文  参考訳（メタデータ） (2021-11-24T08:59:56Z)
• Towards Scalable Unpaired Virtual Try-On via Patch-Routed Spatially-Adaptive GAN [66.3650689395967]
  本稿では,現実世界の仮想試行を支援するテクスチャ保存型終末ネットワークであるPAtch-routed SpaTially-Adaptive GAN (PASTA-GAN)を提案する。 PASTA-GANは、各衣服のスタイルと空間情報をアンタングルするために、革新的なパッチを外したアンタングルモジュールで構成されている。
  論文  参考訳（メタデータ） (2021-11-20T08:36:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。