論文の概要: FitDiT: Advancing the Authentic Garment Details for High-fidelity Virtual Try-on

• arxiv url: http://arxiv.org/abs/2411.10499v2
• Date: Fri, 22 Nov 2024 08:19:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:01:10.894115
• Title: FitDiT: Advancing the Authentic Garment Details for High-fidelity Virtual Try-on
• Title（参考訳）: FitDiT:高忠実なバーチャルトライオンのための認証ガーメント詳細の改善
• Authors: Boyuan Jiang, Xiaobin Hu, Donghao Luo, Qingdong He, Chengming Xu, Jinlong Peng, Jiangning Zhang, Chengjie Wang, Yunsheng Wu, Yanwei Fu,
• Abstract要約: Diffusion Transformer (DiT) を用いた高忠実度仮想試行用ガーメント知覚増強技術FitDiT 布地テクスチャ抽出装置を導入し, 布地や模様, テクスチャなどのリッチな細部を, よりよく捉えられるようにした。 また,クロスカテゴリー試着中にマスク領域全体を埋める衣服の発生を防止し,衣料の正しい長さに適応する拡張緩和マスク戦略を採用した。
• 参考スコア（独自算出の注目度）: 73.13242624924814
• License:
• Abstract: Although image-based virtual try-on has made considerable progress, emerging approaches still encounter challenges in producing high-fidelity and robust fitting images across diverse scenarios. These methods often struggle with issues such as texture-aware maintenance and size-aware fitting, which hinder their overall effectiveness. To address these limitations, we propose a novel garment perception enhancement technique, termed FitDiT, designed for high-fidelity virtual try-on using Diffusion Transformers (DiT) allocating more parameters and attention to high-resolution features. First, to further improve texture-aware maintenance, we introduce a garment texture extractor that incorporates garment priors evolution to fine-tune garment feature, facilitating to better capture rich details such as stripes, patterns, and text. Additionally, we introduce frequency-domain learning by customizing a frequency distance loss to enhance high-frequency garment details. To tackle the size-aware fitting issue, we employ a dilated-relaxed mask strategy that adapts to the correct length of garments, preventing the generation of garments that fill the entire mask area during cross-category try-on. Equipped with the above design, FitDiT surpasses all baselines in both qualitative and quantitative evaluations. It excels in producing well-fitting garments with photorealistic and intricate details, while also achieving competitive inference times of 4.57 seconds for a single 1024x768 image after DiT structure slimming, outperforming existing methods.
• Abstract（参考訳）: 画像ベースの仮想試行は大きな進歩を遂げているが、新たなアプローチでは、さまざまなシナリオにまたがって高忠実で堅牢な画像を生成する上で、依然として課題に直面している。 これらの手法は、テクスチャ・アウェアのメンテナンスやサイズ・アウェアのフィッティングといった問題に悩まされることが多く、全体的な効果を妨げている。 これらの制約に対処するため,Diffusion Transformer (DiT) を用いた高忠実度仮想試行用に設計されたFitDiTと呼ばれる新しい衣服知覚向上手法を提案する。 まず,テクスチャ・アウェア・メンテナンスをさらに改善するため,衣服の先駆的進化をファインチューンに取り入れた布地テクスチャ抽出装置を導入し,ストライプ,パターン,テキストなどのリッチな細部をよりよく捉えることを可能にした。 さらに、周波数距離損失をカスタマイズして周波数領域学習を導入し、高周波衣服の詳細を強化する。 サイズ認識型フィッティング問題に対処するため,クロスカテゴリー試着中にマスク領域全体を埋める衣服の発生を防止し,衣服の長さを正確に調整する拡張緩和マスク戦略を採用した。 上記の設計により、FitDiTは定性評価と定量的評価の両方において、すべてのベースラインを超えている。 フォトリアリスティックで複雑な細部を持つ適合した衣服を製造し、DiT構造がスリム化した後の1枚の1024x768画像に対して競争時間4.57秒を達成し、既存の手法より優れていた。

関連論文リスト

• Improving Virtual Try-On with Garment-focused Diffusion Models [91.95830983115474]
  拡散モデルは多くの画像合成タスクにおける生成的モデリングの革新をもたらした。 私たちは新しい拡散モデル、すなわちGarDiffを作り、衣服中心の拡散プロセスを引き起こします。 VITON-HDおよびDressCodeデータセットの実験は、最先端のVTONアプローチと比較して、GarDiffの優位性を示している。
  論文  参考訳（メタデータ） (2024-09-12T17:55:11Z)
• IMAGDressing-v1: Customizable Virtual Dressing [58.44155202253754]
  IMAGDressing-v1は、固定された衣服とオプション条件で自由に編集可能な人間の画像を生成する仮想ドレッシングタスクである。 IMAGDressing-v1は、CLIPのセマンティック特徴とVAEのテクスチャ特徴をキャプチャする衣料UNetを組み込んでいる。 本稿では,凍結自己注意とトレーニング可能なクロスアテンションを含むハイブリッドアテンションモジュールを提案する。
  論文  参考訳（メタデータ） (2024-07-17T16:26:30Z)
• GraVITON: Graph based garment warping with attention guided inversion for Virtual-tryon [5.790630195329777]
  衣服のフローにおけるコンテキストの価値を強調する新しいグラフベースのワープ手法を提案する。 提案手法は,VITON-HDとDresscodeのデータセットで検証され,衣服のワープ,テクスチャ保存,および全体リアリズムの大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-06-04T10:29:18Z)
• AnyFit: Controllable Virtual Try-on for Any Combination of Attire Across Any Scenario [50.62711489896909]
  AnyFitは、高解像度のベンチマークと実世界のデータのベースラインを、大きなギャップで上回っている。 AnyFitの高忠実度バーチャル試作品における印象的なパフォーマンスは、あらゆるイメージから見ても、ファッションコミュニティにおける将来の研究の新たな道を切り開くものです。
  論文  参考訳（メタデータ） (2024-05-28T13:33:08Z)
• TryOn-Adapter: Efficient Fine-Grained Clothing Identity Adaptation for High-Fidelity Virtual Try-On [34.51850518458418]
  仮想試着は、衣服のパターンやテクスチャの歪みを避けながら、特定の人物にシームレスにフィットするように、所定の衣服を調整することに焦点を当てる。 我々はTryOn-Adapterと呼ばれる効果的で効率的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-01T03:15:41Z)
• Improving Diffusion Models for Authentic Virtual Try-on in the Wild [53.96244595495942]
  本稿では,キュレートされた衣服を身に着けている人のイメージをレンダリングする,イメージベースの仮想試行について考察する。 衣服の忠実度を改善し,仮想試行画像を生成する新しい拡散モデルを提案する。 本稿では,一対の人着画像を用いたカスタマイズ手法を提案する。
  論文  参考訳（メタデータ） (2024-03-08T08:12:18Z)
• Towards Scalable Unpaired Virtual Try-On via Patch-Routed Spatially-Adaptive GAN [66.3650689395967]
  本稿では,現実世界の仮想試行を支援するテクスチャ保存型終末ネットワークであるPAtch-routed SpaTially-Adaptive GAN (PASTA-GAN)を提案する。 PASTA-GANは、各衣服のスタイルと空間情報をアンタングルするために、革新的なパッチを外したアンタングルモジュールで構成されている。
  論文  参考訳（メタデータ） (2021-11-20T08:36:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。