論文の概要: M&M VTO: Multi-Garment Virtual Try-On and Editing
- arxiv url: http://arxiv.org/abs/2406.04542v1
- Date: Thu, 6 Jun 2024 22:46:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-10 17:47:54.360396
- Title: M&M VTO: Multi-Garment Virtual Try-On and Editing
- Title（参考訳）: M&M VTO:マルチゲージバーチャルトライオンと編集
- Authors: Luyang Zhu, Yingwei Li, Nan Liu, Hao Peng, Dawei Yang, Ira Kemelmacher-Shlizerman,
- Abstract要約: M&M VTO(M&M VTO)は、複数の衣料品画像、衣服レイアウトのためのテキスト記述、人物のイメージを入力として利用する、ミックス・アンド・マッチ方式の仮想試行法である。
例としては、シャツのイメージ、ズボンのペアの画像、"ローリングスリーブ、シャツの入れ墨"、人物のイメージなどがある。
アウトプットは、その衣服(望ましいレイアウト)が特定の人にどのように見えるかを視覚化するものだ。
- 参考スコア（独自算出の注目度）: 31.45715245587691
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We present M&M VTO, a mix and match virtual try-on method that takes as input multiple garment images, text description for garment layout and an image of a person. An example input includes: an image of a shirt, an image of a pair of pants, "rolled sleeves, shirt tucked in", and an image of a person. The output is a visualization of how those garments (in the desired layout) would look like on the given person. Key contributions of our method are: 1) a single stage diffusion based model, with no super resolution cascading, that allows to mix and match multiple garments at 1024x512 resolution preserving and warping intricate garment details, 2) architecture design (VTO UNet Diffusion Transformer) to disentangle denoising from person specific features, allowing for a highly effective finetuning strategy for identity preservation (6MB model per individual vs 4GB achieved with, e.g., dreambooth finetuning); solving a common identity loss problem in current virtual try-on methods, 3) layout control for multiple garments via text inputs specifically finetuned over PaLI-3 for virtual try-on task. Experimental results indicate that M&M VTO achieves state-of-the-art performance both qualitatively and quantitatively, as well as opens up new opportunities for virtual try-on via language-guided and multi-garment try-on.
- Abstract（参考訳）: 本稿では,M&M VTO,M&M VTO,M&M VTO,M&M VTO,M&M VTO,M&M VTO,M&M VTOを述べる。
例としては、シャツのイメージ、ズボンのペアの画像、"ローリングスリーブ、シャツの入れ墨"、人物のイメージなどがある。
アウトプットは、その衣服(望ましいレイアウト)が特定の人にどのように見えるかを視覚化するものだ。
私たちの方法の主な貢献は次のとおりである。
1 超解像カスケードのない単段拡散モデルであって、複雑な衣服の詳細を保存・歪曲する1024×512解像度で複数の衣服を混合・整合することができる。
2) 建築設計 (VTO UNet Diffusion Transformer) は、個人固有の特徴から脱離し、アイデンティティ保存のための高度に効果的な微調整戦略(例えば、ドリームブースファインタニングで達成された個々の6MBモデル対4GBモデル)を可能にする。
3) 仮想試着作業において,PaLI-3上を特に微調整したテキスト入力による複数の衣服のレイアウト制御を行う。
実験結果から,M&M VTOは質的かつ定量的に最先端のパフォーマンスを達成し,言語誘導とマルチガーメントによるバーチャルトライオンの新たな機会が開けることが示唆された。
関連論文リスト
- MMTryon: Multi-Modal Multi-Reference Control for High-Quality Fashion Generation [70.83668869857665]
MMTryonはマルチモーダルなマルチ参照VIrtual Try-ONフレームワークである。
テキスト命令と複数の衣料品画像を入力として、高品質な合成試行結果を生成することができる。
論文 参考訳（メタデータ） (2024-05-01T11:04:22Z) - MV-VTON: Multi-View Virtual Try-On with Diffusion Models [91.71150387151042]
MV-VTON (Multi-View Virtual Try-ON) は、与えられた衣服を用いて複数のビューから人の着衣結果を再構築することを目的としている。
特に,ハードセレクションとソフトセレクションを適用したビューアダプティブセレクションを提案する。
実験の結果,提案手法はMVGデータセットを用いて,MV-VTONタスクの最先端化を実現する。
論文 参考訳（メタデータ） (2024-04-26T12:27:57Z) - Improving Diffusion Models for Virtual Try-on [53.96244595495942]
本稿では,キュレートされた衣服を身に着けている人のイメージをレンダリングする,イメージベースの仮想試行について考察する。
衣服の忠実度を改善し,仮想試行画像を生成する新しい拡散モデルを提案する。
本稿では,一対の人着画像を用いたカスタマイズ手法を提案する。
論文 参考訳（メタデータ） (2024-03-08T08:12:18Z) - Single Stage Virtual Try-on via Deformable Attention Flows [51.70606454288168]
仮想試行は、ショップ内服と基準人物画像が与えられた写真リアルなフィッティング結果を生成することを目的としている。
マルチフロー推定に変形性アテンションスキームを適用した,変形性アテンションフロー(DAFlow)を新たに開発した。
提案手法は,定性的かつ定量的に最先端の性能を実現する。
論文 参考訳（メタデータ） (2022-07-19T10:01:31Z) - Arbitrary Virtual Try-On Network: Characteristics Preservation and
Trade-off between Body and Clothing [85.74977256940855]
本報告では,オールタイプの衣料品を対象としたArbitrary Virtual Try-On Network (AVTON)を提案する。
AVTONは、ターゲット服と参照者の特性を保存・交換することで、現実的な試行画像を合成することができる。
提案手法は,最先端の仮想試行法と比較して性能が向上する。
論文 参考訳（メタデータ） (2021-11-24T08:59:56Z) - MV-TON: Memory-based Video Virtual Try-on network [49.496817042974456]
メモリベースの仮想トライオンネットワーク(MV-TON)を提案する。
MV-TONは、衣服テンプレートを使わずに、望ましい服を対象者にシームレスに転送し、高精細なリアルな映像を生成する。
実験により,ビデオ仮想試行課題における本手法の有効性と,既存の方法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-08-17T08:35:23Z) - Shape Controllable Virtual Try-on for Underwear Models [0.0]
そこで我々は,下着モデル用の衣服を着る形状制御可能な仮想トライオンネットワーク(SC-VTON)を提案する。
SC-VTONは、モデルと衣服の情報を統合し、歪んだ衣服画像を生成する。
本手法は, 詳細なテクスチャで高分解能な結果が得られる。
論文 参考訳（メタデータ） (2021-07-28T04:01:01Z) - Toward Accurate and Realistic Outfits Visualization with Attention to
Details [10.655149697873716]
商用アプリケーションに必要な重要な視覚的詳細を捉えるために,アウトフィット・ビジュアライゼーション・ネットを提案する。
OVNetは,1)意味的レイアウト生成器と2)複数の協調ワープを用いた画像生成パイプラインから構成される。
この手法を利用した対話型インターフェースは,ファッションeコマースのウェブサイトに展開され,圧倒的に肯定的なフィードバックを受けている。
論文 参考訳（メタデータ） (2021-06-11T19:53:34Z) - LGVTON: A Landmark Guided Approach to Virtual Try-On [4.617329011921226]
人物とモデルという2人のイメージから、モデルの服を着ている人の再考を生成する。
これは、ほとんどのeコマースウェブサイトでは、服のみのイメージが通常利用できないという事実を考えると便利である。
論文 参考訳（メタデータ） (2020-04-01T16:49:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。