論文の概要: Improving Diffusion Models for Virtual Try-on
- arxiv url: http://arxiv.org/abs/2403.05139v1
- Date: Fri, 8 Mar 2024 08:12:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 20:25:42.191225
- Title: Improving Diffusion Models for Virtual Try-on
- Title(参考訳): 仮想試行のための拡散モデルの改善
- Authors: Yisol Choi, Sangkyung Kwak, Kyungmin Lee, Hyungwon Choi, Jinwoo Shin
- Abstract要約: 衣服の忠実度を改善し,仮想試行画像を生成する新しい拡散モデルを提案する。
IDM-VTONと呼ばれる本手法は,2つの異なるモジュールを用いて衣料画像の意味を符号化する。
本稿では,一対の人着画像を用いたカスタマイズ手法を提案する。
- 参考スコア(独自算出の注目度): 57.893391816847405
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper considers image-based virtual try-on, which renders an image of a
person wearing a curated garment, given a pair of images depicting the person
and the garment, respectively. Previous works adapt existing exemplar-based
inpainting diffusion models for virtual try-on to improve the naturalness of
the generated visuals compared to other methods (e.g., GAN-based), but they
fail to preserve the identity of the garments. To overcome this limitation, we
propose a novel diffusion model that improves garment fidelity and generates
authentic virtual try-on images. Our method, coined IDM-VTON, uses two
different modules to encode the semantics of garment image; given the base UNet
of the diffusion model, 1) the high-level semantics extracted from a visual
encoder are fused to the cross-attention layer, and then 2) the low-level
features extracted from parallel UNet are fused to the self-attention layer. In
addition, we provide detailed textual prompts for both garment and person
images to enhance the authenticity of the generated visuals. Finally, we
present a customization method using a pair of person-garment images, which
significantly improves fidelity and authenticity. Our experimental results show
that our method outperforms previous approaches (both diffusion-based and
GAN-based) in preserving garment details and generating authentic virtual
try-on images, both qualitatively and quantitatively. Furthermore, the proposed
customization method demonstrates its effectiveness in a real-world scenario.
- Abstract(参考訳): 本稿では, 被写体と被写体とをそれぞれ一対のイメージとして, 被写体を被写体とする画像ベースの仮想試着について考察する。
以前の研究は、他の方法(例えば、GANベース)と比べて生成した視覚の自然性を改善するために、仮想試行用に既存の模範的な塗布拡散モデルを適用したが、それらは衣服のアイデンティティを保たない。
この制限を克服するために,衣服の忠実度を改善し,仮想試行画像を生成する新しい拡散モデルを提案する。
IDM-VTONと呼ばれる本手法では,2つの異なるモジュールを用いて衣料画像のセマンティクスを符号化する。
1)視覚エンコーダから抽出されたハイレベルな意味論を横断層に融合させた後
2) 並列UNetから抽出した低レベル特徴を自己保持層に融合させる。
さらに、生成した視覚の信頼性を高めるために、衣服画像と人物画像の両方に詳細なテキストプロンプトを提供する。
最後に,一対の人着画像を用いたカスタマイズ手法を提案する。
実験結果から,本手法は衣服の詳細保存や仮想試行画像の生成において,従来の手法(拡散法とGAN法の両方)より優れており,質的にも定量的にも優れていることがわかった。
さらに,提案手法は実世界シナリオにおいてその効果を示す。
関連論文リスト
- Coarse-to-Fine Latent Diffusion for Pose-Guided Person Image Synthesis [70.58988592832684]
PGPIS(Pose-Guided Person Image Synthesis)のためのCFLD(Coarse-to-Fine Latent Diffusion)法を提案する。
認識修正デコーダは、学習可能なクエリの集合を段階的に洗練し、粗いプロンプトとして人物画像の意味的理解を抽出するように設計されている。
論文 参考訳(メタデータ) (2024-02-28T06:07:07Z) - PFDM: Parser-Free Virtual Try-on via Diffusion Model [28.202996582963184]
拡散モデル(PFDM)に基づく自由仮想試行法を提案する。
2つの画像が与えられた場合、PFDMは、他の情報なしで暗黙的にワープすることで、標的人物の衣服をシームレスに「着る」ことができる。
実験により,提案したPFDMは複雑な画像の処理に成功し,最先端の最先端モデルと高忠実度モデルの両方より優れていることが示された。
論文 参考訳(メタデータ) (2024-02-05T14:32:57Z) - Diffuse to Choose: Enriching Image Conditioned Inpainting in Latent
Diffusion Models for Virtual Try-All [4.191273360964305]
ディフューズ・トゥ・チョイス(Diffuse to Choose)は、高速推論と高忠実度詳細の保持を効率的にバランスさせる、拡散に基づく新しい塗布モデルである。
Diffuse to Chooseは既存のゼロショット拡散塗装法よりも優れていることを示す。
論文 参考訳(メタデータ) (2024-01-24T20:25:48Z) - Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。
学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。
提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
論文 参考訳(メタデータ) (2023-12-22T14:40:55Z) - StableVITON: Learning Semantic Correspondence with Latent Diffusion
Model for Virtual Try-On [35.227896906556026]
衣服画像と人物画像が与えられた場合、画像ベースの仮想試行は、衣服画像の特徴を自然に正確に反映した、カスタマイズされた画像を生成することを目的としている。
本研究では,事前学習した拡散モデルの適用性を拡張し,仮想試行作業に独立して利用できるようにすることを目的とする。
提案するゼロ・クロスアテンションブロックは, 意味的対応を学習することで衣服の細部を保存できるだけでなく, ワープ過程における事前学習モデル固有の知識を利用して高忠実度画像を生成する。
論文 参考訳(メタデータ) (2023-12-04T08:27:59Z) - CAT-DM: Controllable Accelerated Virtual Try-on with Diffusion Model [40.35138993399461]
画像ベースの仮想試行において,GAN(Generative Adversarial Networks)が研究分野を支配している。
近年の拡散モデルでは,様々な画像生成タスクにおいて驚くべき性能がみられた。
CAT-DMと呼ばれる拡散モデルを用いた制御可能な仮想トライオンを提案する。
論文 参考訳(メタデータ) (2023-11-30T09:56:17Z) - Taming the Power of Diffusion Models for High-Quality Virtual Try-On
with Appearance Flow [24.187109053871833]
仮想試着は、人間と衣服の両方の詳細を保存しながら、ある画像から別の画像へ衣服を転送することを目的とした、重要な画像合成タスクである。
本稿では,拡散モデルの生成を効果的に導くために,ワープモジュールを利用する例に基づく塗装手法を提案する。
我々のアプローチ、すなわちDCI-VTON(Diffusion-based Conditional Inpainting for Virtual Try-ON)は、拡散モデルのパワーを効果的に活用する。
論文 参考訳(メタデータ) (2023-08-11T12:23:09Z) - Person Image Synthesis via Denoising Diffusion Model [116.34633988927429]
本研究では,高忠実度人物画像合成に拡散モデルをいかに応用できるかを示す。
2つの大規模ベンチマークとユーザスタディの結果は、挑戦的なシナリオ下で提案したアプローチのフォトリアリズムを実証している。
論文 参考訳(メタデータ) (2022-11-22T18:59:50Z) - SinDiffusion: Learning a Diffusion Model from a Single Natural Image [159.4285444680301]
SinDiffusionは1つの自然な画像からパッチの内部分布を捉えるためにデノナイズ拡散モデルを利用する。
SinDiffusionは、2つのコア設計に基づいている。まず、SinDiffusionは、段階的にスケールが成長する複数のモデルではなく、1つのスケールで1つのモデルで訓練されている。
第2に,拡散ネットワークのパッチレベルの受容領域は,画像のパッチ統計を捉える上で重要かつ効果的であることを示す。
論文 参考訳(メタデータ) (2022-11-22T18:00:03Z) - Single Stage Virtual Try-on via Deformable Attention Flows [51.70606454288168]
仮想試行は、ショップ内服と基準人物画像が与えられた写真リアルなフィッティング結果を生成することを目的としている。
マルチフロー推定に変形性アテンションスキームを適用した,変形性アテンションフロー(DAFlow)を新たに開発した。
提案手法は,定性的かつ定量的に最先端の性能を実現する。
論文 参考訳(メタデータ) (2022-07-19T10:01:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。