論文の概要: Street TryOn: Learning In-the-Wild Virtual Try-On from Unpaired Person Images
- arxiv url: http://arxiv.org/abs/2311.16094v2
- Date: Thu, 18 Apr 2024 19:38:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-22 20:07:00.270578
- Title: Street TryOn: Learning In-the-Wild Virtual Try-On from Unpaired Person Images
- Title（参考訳）: ストリートトライオン:不自由な人物画像からWildのバーチャルトライオンを学習する
- Authors: Aiyu Cui, Jay Mahajan, Viraj Shah, Preeti Gomathinayagam, Chang Liu, Svetlana Lazebnik,
- Abstract要約: そこで本研究では,StreetTryOnベンチマークを用いて仮想試行性能の評価を行う。
そこで本研究では,一組の人物画像から,ペアデータなしで学習できる新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 14.616371216662227
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most existing methods for virtual try-on focus on studio person images with a limited range of poses and clean backgrounds. They can achieve plausible results for this studio try-on setting by learning to warp a garment image to fit a person's body from paired training data, i.e., garment images paired with images of people wearing the same garment. Such data is often collected from commercial websites, where each garment is demonstrated both by itself and on several models. By contrast, it is hard to collect paired data for in-the-wild scenes, and therefore, virtual try-on for casual images of people with more diverse poses against cluttered backgrounds is rarely studied. In this work, we fill the gap by introducing a StreetTryOn benchmark to evaluate in-the-wild virtual try-on performance and proposing a novel method that can learn it without paired data, from a set of in-the-wild person images directly. Our method achieves robust performance across shop and street domains using a novel DensePose warping correction method combined with diffusion-based conditional inpainting. Our experiments show competitive performance for standard studio try-on tasks and SOTA performance for street try-on and cross-domain try-on tasks.
- Abstract（参考訳）: 既存の仮想試行方法は、限られたポーズとクリーンな背景を持つスタジオの人物画像に焦点を当てている。
同一の衣料を身に着けている人のイメージと組み合わせた衣服画像であるペアトレーニングデータから、人の体に合うように衣料画像をワープすることを学ぶことにより、このスタジオ試着設定の妥当な結果が得られる。
このようなデータは、しばしば商業ウェブサイトから収集され、各衣服は単独で、複数のモデルで展示される。
対照的に、撮影現場でのペアデータの収集は困難であり、乱雑な背景に対するより多様なポーズを持つ人々のカジュアルなイメージの仮想試行はめったに行われない。
そこで本研究では,StreetTryOnベンチマークを導入して,実環境における仮想試行性能を評価するとともに,実環境における人物画像の集合から,ペアデータなしで学習可能な新しい手法を提案する。
本手法は,DensePoseワープ補正法と拡散型条件付き塗料の併用により,店舗・街路領域における堅牢な性能を実現する。
実験では,標準的なスタジオトライオンタスクと,ストリートトライオンタスクとクロスドメイントライオンタスクのSOTAパフォーマンスの競合性能を示す。
関連論文リスト
- Try-On-Adapter: A Simple and Flexible Try-On Paradigm [42.2724473500475]
オンラインショッピングで広く使われている画像ベースの仮想試着は、特定の衣服に着飾った自然な服装の人のイメージを作成することを目的としている。
従来の手法では、元のモデルの立像の特定の部分をマスキングし、マスクされた領域に塗布することで、対応する参照服を身に着けたモデルのリアルなイメージを生成する。
本稿では,既存の塗装パラダイムと異なる塗装パラダイムであるトライオンアダプタ(TOA)を提案する。
論文 参考訳（メタデータ） (2024-11-15T13:35:58Z) - MV-VTON: Multi-View Virtual Try-On with Diffusion Models [91.71150387151042]
画像ベースの仮想試着の目的は、与えられた衣服を自然に身に着けている対象者の画像を生成することである。
既存の方法は、前頭服を用いた正面試着のみに焦点をあてる方法である。
本稿では,服の複数ビューからドレッシング結果を再構築することを目的としたMulti-View Virtual Try-ON(MV-VTON)を紹介する。
論文 参考訳（メタデータ） (2024-04-26T12:27:57Z) - Better Fit: Accommodate Variations in Clothing Types for Virtual Try-on [25.550019373321653]
画像ベースの仮想試着は、ターゲットとなる服を着替えたモデル画像に転送することを目的としている。
トレーニングマスクを動的に調整する適応型マスクトレーニングパラダイムを提案する。
未ペアの試行検証のために、総合的なクロストライオンベンチマークを構築した。
論文 参考訳（メタデータ） (2024-03-13T12:07:14Z) - Improving Diffusion Models for Authentic Virtual Try-on in the Wild [53.96244595495942]
本稿では,キュレートされた衣服を身に着けている人のイメージをレンダリングする,イメージベースの仮想試行について考察する。
衣服の忠実度を改善し,仮想試行画像を生成する新しい拡散モデルを提案する。
本稿では,一対の人着画像を用いたカスタマイズ手法を提案する。
論文 参考訳（メタデータ） (2024-03-08T08:12:18Z) - Learning Garment DensePose for Robust Warping in Virtual Try-On [72.13052519560462]
そこで我々は,学習したDensePoseに基づく仮想試行のための頑健なワープ手法を提案する。
提案手法は,仮想試行ベンチマークにおける最先端の等価性を実現する。
論文 参考訳（メタデータ） (2023-03-30T20:02:29Z) - Learning Fashion Compatibility from In-the-wild Images [6.591937706757015]
筆者らは,自己教師型学習を通じて,現在地にあるストリートファッション画像から,互換性予測のための表現を学習する。
本研究の前提課題は、同一人物が着用する異なる項目の表現が、他人が着用するものよりも近いように定式化されている。
ファッションコンフィグレーションベンチマークとして,Polyvore と Polyvore-Disjoint の2種類について実験を行った。
論文 参考訳（メタデータ） (2022-06-13T09:05:25Z) - Dressing in the Wild by Watching Dance Videos [69.7692630502019]
本稿では,現実の場面における仮想試行に参画し,現実性と自然性の向上をもたらす。
我々は,衣服の移動をより効果的に進める,wFlowと呼ばれる新しい生成ネットワークを提案する。
論文 参考訳（メタデータ） (2022-03-29T08:05:45Z) - Weakly Supervised High-Fidelity Clothing Model Generation [67.32235668920192]
本稿では,このシナリオに対応するために,DGP (Deep Generative Projection) と呼ばれる安価でスケーラブルな弱教師付き手法を提案する。
衣服と身体の粗いアライメントをStyleGAN空間に投影することで、フォトリアリスティックな着用結果が得られることを示す。
論文 参考訳（メタデータ） (2021-12-14T07:15:15Z) - PhotoApp: Photorealistic Appearance Editing of Head Portraits [97.23638022484153]
本稿では,ポートレート画像におけるカメラ視点とシーン照明の高品質な直感的編集手法を提案する。
ほとんどの編集アプローチは、光やカメラステージといった設定でキャプチャされたトレーニングデータを使用した教師あり学習に依存している。
StyleGANの潜在空間で学習する監督問題を設計します。
これは、教師付き学習と生成的敵対的モデリングのベストを組み合わせる。
論文 参考訳（メタデータ） (2021-03-13T08:59:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。