論文の概要: M&M VTO: Multi-Garment Virtual Try-On and Editing
- arxiv url: http://arxiv.org/abs/2406.04542v1
- Date: Thu, 6 Jun 2024 22:46:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-10 17:47:54.360396
- Title: M&M VTO: Multi-Garment Virtual Try-On and Editing
- Title（参考訳）: M&M VTO:マルチゲージバーチャルトライオンと編集
- Authors: Luyang Zhu, Yingwei Li, Nan Liu, Hao Peng, Dawei Yang, Ira Kemelmacher-Shlizerman,
- Abstract要約: M&M VTO(M&M VTO)は、複数の衣料品画像、衣服レイアウトのためのテキスト記述、人物のイメージを入力として利用する、ミックス・アンド・マッチ方式の仮想試行法である。
例としては、シャツのイメージ、ズボンのペアの画像、"ローリングスリーブ、シャツの入れ墨"、人物のイメージなどがある。
アウトプットは、その衣服(望ましいレイアウト)が特定の人にどのように見えるかを視覚化するものだ。
- 参考スコア（独自算出の注目度）: 31.45715245587691
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We present M&M VTO, a mix and match virtual try-on method that takes as input multiple garment images, text description for garment layout and an image of a person. An example input includes: an image of a shirt, an image of a pair of pants, "rolled sleeves, shirt tucked in", and an image of a person. The output is a visualization of how those garments (in the desired layout) would look like on the given person. Key contributions of our method are: 1) a single stage diffusion based model, with no super resolution cascading, that allows to mix and match multiple garments at 1024x512 resolution preserving and warping intricate garment details, 2) architecture design (VTO UNet Diffusion Transformer) to disentangle denoising from person specific features, allowing for a highly effective finetuning strategy for identity preservation (6MB model per individual vs 4GB achieved with, e.g., dreambooth finetuning); solving a common identity loss problem in current virtual try-on methods, 3) layout control for multiple garments via text inputs specifically finetuned over PaLI-3 for virtual try-on task. Experimental results indicate that M&M VTO achieves state-of-the-art performance both qualitatively and quantitatively, as well as opens up new opportunities for virtual try-on via language-guided and multi-garment try-on.
- Abstract（参考訳）: 本稿では,M&M VTO,M&M VTO,M&M VTO,M&M VTO,M&M VTO,M&M VTO,M&M VTOを述べる。
例としては、シャツのイメージ、ズボンのペアの画像、"ローリングスリーブ、シャツの入れ墨"、人物のイメージなどがある。
アウトプットは、その衣服(望ましいレイアウト)が特定の人にどのように見えるかを視覚化するものだ。
私たちの方法の主な貢献は次のとおりである。
1 超解像カスケードのない単段拡散モデルであって、複雑な衣服の詳細を保存・歪曲する1024×512解像度で複数の衣服を混合・整合することができる。
2) 建築設計 (VTO UNet Diffusion Transformer) は、個人固有の特徴から脱離し、アイデンティティ保存のための高度に効果的な微調整戦略(例えば、ドリームブースファインタニングで達成された個々の6MBモデル対4GBモデル)を可能にする。
3) 仮想試着作業において,PaLI-3上を特に微調整したテキスト入力による複数の衣服のレイアウト制御を行う。
実験結果から,M&M VTOは質的かつ定量的に最先端のパフォーマンスを達成し,言語誘導とマルチガーメントによるバーチャルトライオンの新たな機会が開けることが示唆された。
関連論文リスト
- IMAGDressing-v1: Customizable Virtual Dressing [58.44155202253754]
IMAGDressing-v1は、固定された衣服とオプション条件で自由に編集可能な人間の画像を生成する仮想ドレッシングタスクである。
IMAGDressing-v1は、CLIPのセマンティック特徴とVAEのテクスチャ特徴をキャプチャする衣料UNetを組み込んでいる。
本稿では,凍結自己注意とトレーニング可能なクロスアテンションを含むハイブリッドアテンションモジュールを提案する。
論文 参考訳（メタデータ） (2024-07-17T16:26:30Z) - MMTryon: Multi-Modal Multi-Reference Control for High-Quality Fashion Generation [70.83668869857665]
MMTryonはマルチモーダルなマルチ参照VIrtual Try-ONフレームワークである。
テキスト命令と複数の衣料品画像を入力として、高品質な合成試行結果を生成することができる。
論文 参考訳（メタデータ） (2024-05-01T11:04:22Z) - MV-VTON: Multi-View Virtual Try-On with Diffusion Models [91.71150387151042]
画像ベースの仮想試着の目的は、与えられた衣服を自然に身に着けている対象者の画像を生成することである。
既存の方法は、前頭服を用いた正面試着のみに焦点をあてる方法である。
本稿では,服の複数ビューからドレッシング結果を再構築することを目的としたMulti-View Virtual Try-ON(MV-VTON)を紹介する。
論文 参考訳（メタデータ） (2024-04-26T12:27:57Z) - Improving Diffusion Models for Authentic Virtual Try-on in the Wild [53.96244595495942]
本稿では,キュレートされた衣服を身に着けている人のイメージをレンダリングする,イメージベースの仮想試行について考察する。
衣服の忠実度を改善し,仮想試行画像を生成する新しい拡散モデルを提案する。
本稿では,一対の人着画像を用いたカスタマイズ手法を提案する。
論文 参考訳（メタデータ） (2024-03-08T08:12:18Z) - Single Stage Virtual Try-on via Deformable Attention Flows [51.70606454288168]
仮想試行は、ショップ内服と基準人物画像が与えられた写真リアルなフィッティング結果を生成することを目的としている。
マルチフロー推定に変形性アテンションスキームを適用した,変形性アテンションフロー(DAFlow)を新たに開発した。
提案手法は,定性的かつ定量的に最先端の性能を実現する。
論文 参考訳（メタデータ） (2022-07-19T10:01:31Z) - Arbitrary Virtual Try-On Network: Characteristics Preservation and
Trade-off between Body and Clothing [85.74977256940855]
本報告では,オールタイプの衣料品を対象としたArbitrary Virtual Try-On Network (AVTON)を提案する。
AVTONは、ターゲット服と参照者の特性を保存・交換することで、現実的な試行画像を合成することができる。
提案手法は,最先端の仮想試行法と比較して性能が向上する。
論文 参考訳（メタデータ） (2021-11-24T08:59:56Z) - Shape Controllable Virtual Try-on for Underwear Models [0.0]
そこで我々は,下着モデル用の衣服を着る形状制御可能な仮想トライオンネットワーク(SC-VTON)を提案する。
SC-VTONは、モデルと衣服の情報を統合し、歪んだ衣服画像を生成する。
本手法は, 詳細なテクスチャで高分解能な結果が得られる。
論文 参考訳（メタデータ） (2021-07-28T04:01:01Z) - Toward Accurate and Realistic Outfits Visualization with Attention to
Details [10.655149697873716]
商用アプリケーションに必要な重要な視覚的詳細を捉えるために,アウトフィット・ビジュアライゼーション・ネットを提案する。
OVNetは,1)意味的レイアウト生成器と2)複数の協調ワープを用いた画像生成パイプラインから構成される。
この手法を利用した対話型インターフェースは,ファッションeコマースのウェブサイトに展開され,圧倒的に肯定的なフィードバックを受けている。
論文 参考訳（メタデータ） (2021-06-11T19:53:34Z) - LGVTON: A Landmark Guided Approach to Virtual Try-On [4.617329011921226]
人物とモデルという2人のイメージから、モデルの服を着ている人の再考を生成する。
これは、ほとんどのeコマースウェブサイトでは、服のみのイメージが通常利用できないという事実を考えると便利である。
論文 参考訳（メタデータ） (2020-04-01T16:49:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。