論文の概要: DH-VTON: Deep Text-Driven Virtual Try-On via Hybrid Attention Learning

• arxiv url: http://arxiv.org/abs/2410.12501v1
• Date: Wed, 16 Oct 2024 12:27:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:43:56.148975
• Title: DH-VTON: Deep Text-Driven Virtual Try-On via Hybrid Attention Learning
• Title（参考訳）: DH-VTON:ハイブリッドアテンション学習による深層テキスト駆動バーチャルトライオン
• Authors: Jiabao Wei, Zhiyuan Ma,
• Abstract要約: DH-VTONは、特別なハイブリッドアテンション学習戦略と深層着衣意味保存モジュールを備えた、深層テキスト駆動型仮想試行モデルである。 衣服の深い意味を抽出するために,我々はまずInternViT-6Bを細粒度特徴学習機として導入する。 カスタマイズドレッシング能力を高めるため,Garment-Feature ControlNet Plus (略してGFC+)モジュールを導入する。
• 参考スコア（独自算出の注目度）: 6.501730122478447
• License:
• Abstract: Virtual Try-ON (VTON) aims to synthesis specific person images dressed in given garments, which recently receives numerous attention in online shopping scenarios. Currently, the core challenges of the VTON task mainly lie in the fine-grained semantic extraction (i.e.,deep semantics) of the given reference garments during depth estimation and effective texture preservation when the garments are synthesized and warped onto human body. To cope with these issues, we propose DH-VTON, a deep text-driven virtual try-on model featuring a special hybrid attention learning strategy and deep garment semantic preservation module. By standing on the shoulder of a well-built pre-trained paint-by-example (abbr. PBE) approach, we present our DH-VTON pipeline in this work. Specifically, to extract the deep semantics of the garments, we first introduce InternViT-6B as fine-grained feature learner, which can be trained to align with the large-scale intrinsic knowledge with deep text semantics (e.g.,"neckline" or "girdle") to make up for the deficiency of the commonly adopted CLIP encoder. Based on this, to enhance the customized dressing abilities, we further introduce Garment-Feature ControlNet Plus (abbr. GFC+) module and propose to leverage a fresh hybrid attention strategy for training, which can adaptively integrate fine-grained characteristics of the garments into the different layers of the VTON model, so as to achieve multi-scale features preservation effects. Extensive experiments on several representative datasets demonstrate that our method outperforms previous diffusion-based and GAN-based approaches, showing competitive performance in preserving garment details and generating authentic human images.
• Abstract（参考訳）: VTON(Virtual Try-ON)は、最近オンラインショッピングのシナリオにおいて多くの注目を集めている、特定の人物画像を合成することを目的としている。 現在、VTONタスクの中核的な課題は、被服を合成し人体にワープする際の深度推定と効果的なテクスチャ保存において、与えられた基準衣服の微細な意味抽出(ディープセマンティクス)に主に関係している。 これらの問題に対処するため,DH-VTONを提案する。 本研究は,本研究におけるDH-VTONパイプラインについて述べる。 具体的には,着物の深い意味を抽出するために,まずInternViT-6Bを細粒度特徴学習器として導入する。これは,広く採用されているCLIPエンコーダの欠如を補うために,大規模な内在的知識と深層テキスト意味学(e.g.neckline,girdle)との整合性を訓練することができる。 これに基づいて、カスタマイズドレッシング能力を向上するため、さらにGarment-Feature ControlNet Plus(GFC+)モジュールを導入し、VTONモデルの異なる層に衣服のきめ細かい特性を適応的に統合し、マルチスケールの特徴保存効果を達成するために、トレーニングに新たなハイブリッドアテンション戦略を活用することを提案する。 いくつかの代表的なデータセットに対する広範囲な実験により,本手法は従来の拡散法やGAN法よりも優れており,衣服の詳細の保存や人体画像の真の生成に競争力があることが示された。

関連論文リスト

• Improving Virtual Try-On with Garment-focused Diffusion Models [91.95830983115474]
  拡散モデルは多くの画像合成タスクにおける生成的モデリングの革新をもたらした。 私たちは新しい拡散モデル、すなわちGarDiffを作り、衣服中心の拡散プロセスを引き起こします。 VITON-HDおよびDressCodeデータセットの実験は、最先端のVTONアプローチと比較して、GarDiffの優位性を示している。
  論文  参考訳（メタデータ） (2024-09-12T17:55:11Z)
• IMAGDressing-v1: Customizable Virtual Dressing [58.44155202253754]
  IMAGDressing-v1は、固定された衣服とオプション条件で自由に編集可能な人間の画像を生成する仮想ドレッシングタスクである。 IMAGDressing-v1は、CLIPのセマンティック特徴とVAEのテクスチャ特徴をキャプチャする衣料UNetを組み込んでいる。 本稿では,凍結自己注意とトレーニング可能なクロスアテンションを含むハイブリッドアテンションモジュールを提案する。
  論文  参考訳（メタデータ） (2024-07-17T16:26:30Z)
• GraVITON: Graph based garment warping with attention guided inversion for Virtual-tryon [5.790630195329777]
  衣服のフローにおけるコンテキストの価値を強調する新しいグラフベースのワープ手法を提案する。 提案手法は,VITON-HDとDresscodeのデータセットで検証され,衣服のワープ,テクスチャ保存,および全体リアリズムの大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-06-04T10:29:18Z)
• Improving Diffusion Models for Authentic Virtual Try-on in the Wild [53.96244595495942]
  本稿では,キュレートされた衣服を身に着けている人のイメージをレンダリングする,イメージベースの仮想試行について考察する。 衣服の忠実度を改善し,仮想試行画像を生成する新しい拡散モデルを提案する。 本稿では,一対の人着画像を用いたカスタマイズ手法を提案する。
  論文  参考訳（メタデータ） (2024-03-08T08:12:18Z)
• OOTDiffusion: Outfitting Fusion based Latent Diffusion for Controllable Virtual Try-on [7.46772222515689]
  OOTDiffusionは、リアルで制御可能なイメージベースの仮想トライオンのための新しいネットワークアーキテクチャである。 我々は、事前訓練された潜伏拡散モデルのパワーを活用し、UNetを設計して、衣服の詳細特徴を学習する。 VITON-HDおよびDress Codeデータセットに関する実験により、OOTDiffusionが効率よく高品質な試行結果を生成することを示した。
  論文  参考訳（メタデータ） (2024-03-04T07:17:44Z)
• Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
  本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。 学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。 提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
  論文  参考訳（メタデータ） (2023-12-22T14:40:55Z)
• Single Stage Warped Cloth Learning and Semantic-Contextual Attention Feature Fusion for Virtual TryOn [5.790630195329777]
  画像ベースの仮想試着は、ホップの衣服を着ている人の画像に合わせることを目的としている。 対象の衣服を人物画像の対応する身体部分と整列させるガーメント・ワープは、この目標を達成するための重要なステップである。 明示的な多段階学習なしに暗黙的に同じことを学習する新しいシングルステージフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-08T06:05:01Z)
• LaDI-VTON: Latent Diffusion Textual-Inversion Enhanced Virtual Try-On [35.4056826207203]
  この研究は、仮想トライ-ONタスクのための最初のラテント拡散テキスト変換強化モデルであるLaDI-VTONを紹介する。 提案したアーキテクチャは、新しいオートエンコーダモジュールで拡張された潜在拡散モデルに依存している。 当社のアプローチは競争相手を一貫したマージンで上回り、そのタスクにおいて重要なマイルストーンを達成していることを示す。
  論文  参考訳（メタデータ） (2023-05-22T21:38:06Z)
• PASTA-GAN++: A Versatile Framework for High-Resolution Unpaired Virtual Try-on [70.12285433529998]
  PASTA-GAN++は高解像度の仮想試行のための汎用システムである。 教師なしのトレーニング、任意の衣服カテゴリー、制御可能な衣服編集をサポートする。
  論文  参考訳（メタデータ） (2022-07-27T11:47:49Z)
• Towards Scalable Unpaired Virtual Try-On via Patch-Routed Spatially-Adaptive GAN [66.3650689395967]
  本稿では,現実世界の仮想試行を支援するテクスチャ保存型終末ネットワークであるPAtch-routed SpaTially-Adaptive GAN (PASTA-GAN)を提案する。 PASTA-GANは、各衣服のスタイルと空間情報をアンタングルするために、革新的なパッチを外したアンタングルモジュールで構成されている。
  論文  参考訳（メタデータ） (2021-11-20T08:36:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。