論文の概要: WarpDiffusion: Efficient Diffusion Model for High-Fidelity Virtual
Try-on
- arxiv url: http://arxiv.org/abs/2312.03667v1
- Date: Wed, 6 Dec 2023 18:34:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-07 14:01:10.713485
- Title: WarpDiffusion: Efficient Diffusion Model for High-Fidelity Virtual
Try-on
- Title(参考訳): ワープ拡散:高忠実度仮想試行のための効率的な拡散モデル
- Authors: xujie zhang, Xiu Li, Michael Kampffmeyer, Xin Dong, Zhenyu Xie, Feida
Zhu, Haoye Dong, Xiaodan Liang
- Abstract要約: 画像ベースの仮想トライオン(VITON)は、ホップ内の衣服イメージを対象人物に転送することを目的としている。
現在の方法では、衣服と肌の境界付近の合成品質や、ねじれた衣服のしわや影のような現実的な効果を見落としていることが多い。
本稿では,新しい情報的・局所的な特徴的注意機構を通じてワーピングと拡散に基づくパラダイムを橋渡しするワープ拡散を提案する。
- 参考スコア(独自算出の注目度): 81.15988741258683
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image-based Virtual Try-On (VITON) aims to transfer an in-shop garment image
onto a target person. While existing methods focus on warping the garment to
fit the body pose, they often overlook the synthesis quality around the
garment-skin boundary and realistic effects like wrinkles and shadows on the
warped garments. These limitations greatly reduce the realism of the generated
results and hinder the practical application of VITON techniques. Leveraging
the notable success of diffusion-based models in cross-modal image synthesis,
some recent diffusion-based methods have ventured to tackle this issue.
However, they tend to either consume a significant amount of training resources
or struggle to achieve realistic try-on effects and retain garment details. For
efficient and high-fidelity VITON, we propose WarpDiffusion, which bridges the
warping-based and diffusion-based paradigms via a novel informative and local
garment feature attention mechanism. Specifically, WarpDiffusion incorporates
local texture attention to reduce resource consumption and uses a novel
auto-mask module that effectively retains only the critical areas of the warped
garment while disregarding unrealistic or erroneous portions. Notably,
WarpDiffusion can be integrated as a plug-and-play component into existing
VITON methodologies, elevating their synthesis quality. Extensive experiments
on high-resolution VITON benchmarks and an in-the-wild test set demonstrate the
superiority of WarpDiffusion, surpassing state-of-the-art methods both
qualitatively and quantitatively.
- Abstract(参考訳): 画像ベースの仮想トライオン(VITON)は、ホップ内の衣服イメージを対象人物に転送することを目的としている。
既存の手法では、衣服が身体のポーズに合うように反動することに集中しているが、衣服と肌の境界の合成品質や、反りや影のような現実的な効果を見落としていることが多い。
これらの制限は生成した結果の現実性を大幅に低下させ、VITON技術の実用化を妨げる。
クロスモーダル画像合成における拡散ベースモデルの顕著な成功を利用して、最近の拡散ベース手法がこの問題に取り組み始めている。
しかし、彼らはかなりの量のトレーニングリソースを消費するか、現実的な試行錯誤と衣服の詳細を維持するのに苦労する傾向がある。
効率的かつ高忠実なVITONのために,新しい情報的・局所的な衣服特徴注意機構を通じてワーピングと拡散に基づくパラダイムを橋渡しするWarpDiffusionを提案する。
具体的には、warpdiffusionはリソース消費を減らすために局所的なテクスチャを取り入れ、非現実的または誤った部分を無視しながら、反りのある衣服の重要な部分のみを効果的に保持する新しいオートマスクモジュールを使用している。
特に、warpdiffusionはプラグアンドプレイコンポーネントとして既存のviton方法論に統合することができ、その合成品質を高めることができる。
高分解能VITONベンチマークの広範囲な実験と、WarpDiffusionの優位性を実証し、定性的かつ定量的に最先端の手法を超越した。
関連論文リスト
- Improving Diffusion Models for Virtual Try-on [57.893391816847405]
衣服の忠実度を改善し,仮想試行画像を生成する新しい拡散モデルを提案する。
IDM-VTONと呼ばれる本手法は,2つの異なるモジュールを用いて衣料画像の意味を符号化する。
本稿では,一対の人着画像を用いたカスタマイズ手法を提案する。
論文 参考訳(メタデータ) (2024-03-08T08:12:18Z) - OOTDiffusion: Outfitting Fusion based Latent Diffusion for Controllable
Virtual Try-on [7.46772222515689]
OOTDiffusionは、リアルで制御可能なイメージベースの仮想トライオンのための新しいネットワークアーキテクチャである。
我々は、事前訓練された潜伏拡散モデルのパワーを活用し、UNetを設計して、衣服の詳細特徴を学習する。
VITON-HDおよびDress Codeデータセットに関する実験により、OOTDiffusionが効率よく高品質な試行結果を生成することを示した。
論文 参考訳(メタデータ) (2024-03-04T07:17:44Z) - Coarse-to-Fine Latent Diffusion for Pose-Guided Person Image Synthesis [70.58988592832684]
PGPIS(Pose-Guided Person Image Synthesis)のためのCFLD(Coarse-to-Fine Latent Diffusion)法を提案する。
認識修正デコーダは、学習可能なクエリの集合を段階的に洗練し、粗いプロンプトとして人物画像の意味的理解を抽出するように設計されている。
論文 参考訳(メタデータ) (2024-02-28T06:07:07Z) - Flexible Physical Camouflage Generation Based on a Differential Approach [6.645986533504748]
本研究は、特に対向性カモフラージュに適したニューラルレンダリングに対する新しいアプローチを導入する。
我々の手法はFPAと呼ばれ、照明条件や材質の変化を忠実にシミュレートすることで従来の手法を超えています。
逆行性カモフラージュ法におけるFPAアプローチの有用性と有効性について検討した。
論文 参考訳(メタデータ) (2024-02-21T07:15:16Z) - Adv-Diffusion: Imperceptible Adversarial Face Identity Attack via Latent
Diffusion Model [61.53213964333474]
本稿では,生の画素空間ではなく,潜在空間における非知覚的対角的アイデンティティ摂動を生成できる統一的なフレームワークAdv-Diffusionを提案する。
具体的には,周囲のセマンティックな摂動を生成するために,個人性に敏感な条件付き拡散生成モデルを提案する。
設計された適応強度に基づく対向摂動アルゴリズムは、攻撃の伝達性とステルス性の両方を確保することができる。
論文 参考訳(メタデータ) (2023-12-18T15:25:23Z) - CAT-DM: Controllable Accelerated Virtual Try-on with Diffusion Model [40.35138993399461]
画像ベースの仮想試行において,GAN(Generative Adversarial Networks)が研究分野を支配している。
近年の拡散モデルでは,様々な画像生成タスクにおいて驚くべき性能がみられた。
CAT-DMと呼ばれる拡散モデルを用いた制御可能な仮想トライオンを提案する。
論文 参考訳(メタデータ) (2023-11-30T09:56:17Z) - Global Structure-Aware Diffusion Process for Low-Light Image Enhancement [64.69154776202694]
本稿では,低照度画像強調問題に対処する拡散型フレームワークについて検討する。
我々は、その固有のODE-軌道の正規化を提唱する。
実験により,提案手法は低照度化において優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2023-10-26T17:01:52Z) - Taming the Power of Diffusion Models for High-Quality Virtual Try-On
with Appearance Flow [24.187109053871833]
仮想試着は、人間と衣服の両方の詳細を保存しながら、ある画像から別の画像へ衣服を転送することを目的とした、重要な画像合成タスクである。
本稿では,拡散モデルの生成を効果的に導くために,ワープモジュールを利用する例に基づく塗装手法を提案する。
我々のアプローチ、すなわちDCI-VTON(Diffusion-based Conditional Inpainting for Virtual Try-ON)は、拡散モデルのパワーを効果的に活用する。
論文 参考訳(メタデータ) (2023-08-11T12:23:09Z) - CamoDiffusion: Camouflaged Object Detection via Conditional Diffusion
Models [72.93652777646233]
カモフラーゲ型物体検出(COD)は、カモフラーゲ型物体とその周囲の類似性が高いため、コンピュータビジョンにおいて難しい課題である。
本研究では,CODを拡散モデルを利用した条件付きマスク生成タスクとして扱う新しいパラダイムを提案する。
カモ拡散(CamoDiffusion)と呼ばれる本手法では,拡散モデルのデノナイズプロセスを用いてマスクの雑音を反復的に低減する。
論文 参考訳(メタデータ) (2023-05-29T07:49:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。