論文の概要: Street TryOn: Learning In-the-Wild Virtual Try-On from Unpaired Person Images
- arxiv url: http://arxiv.org/abs/2311.16094v2
- Date: Thu, 18 Apr 2024 19:38:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-22 20:07:00.270578
- Title: Street TryOn: Learning In-the-Wild Virtual Try-On from Unpaired Person Images
- Title(参考訳): ストリートトライオン:不自由な人物画像からWildのバーチャルトライオンを学習する
- Authors: Aiyu Cui, Jay Mahajan, Viraj Shah, Preeti Gomathinayagam, Chang Liu, Svetlana Lazebnik,
- Abstract要約: そこで本研究では,StreetTryOnベンチマークを用いて仮想試行性能の評価を行う。
そこで本研究では,一組の人物画像から,ペアデータなしで学習できる新しい手法を提案する。
- 参考スコア(独自算出の注目度): 14.616371216662227
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most existing methods for virtual try-on focus on studio person images with a limited range of poses and clean backgrounds. They can achieve plausible results for this studio try-on setting by learning to warp a garment image to fit a person's body from paired training data, i.e., garment images paired with images of people wearing the same garment. Such data is often collected from commercial websites, where each garment is demonstrated both by itself and on several models. By contrast, it is hard to collect paired data for in-the-wild scenes, and therefore, virtual try-on for casual images of people with more diverse poses against cluttered backgrounds is rarely studied. In this work, we fill the gap by introducing a StreetTryOn benchmark to evaluate in-the-wild virtual try-on performance and proposing a novel method that can learn it without paired data, from a set of in-the-wild person images directly. Our method achieves robust performance across shop and street domains using a novel DensePose warping correction method combined with diffusion-based conditional inpainting. Our experiments show competitive performance for standard studio try-on tasks and SOTA performance for street try-on and cross-domain try-on tasks.
- Abstract(参考訳): 既存の仮想試行方法は、限られたポーズとクリーンな背景を持つスタジオの人物画像に焦点を当てている。
同一の衣料を身に着けている人のイメージと組み合わせた衣服画像であるペアトレーニングデータから、人の体に合うように衣料画像をワープすることを学ぶことにより、このスタジオ試着設定の妥当な結果が得られる。
このようなデータは、しばしば商業ウェブサイトから収集され、各衣服は単独で、複数のモデルで展示される。
対照的に、撮影現場でのペアデータの収集は困難であり、乱雑な背景に対するより多様なポーズを持つ人々のカジュアルなイメージの仮想試行はめったに行われない。
そこで本研究では,StreetTryOnベンチマークを導入して,実環境における仮想試行性能を評価するとともに,実環境における人物画像の集合から,ペアデータなしで学習可能な新しい手法を提案する。
本手法は,DensePoseワープ補正法と拡散型条件付き塗料の併用により,店舗・街路領域における堅牢な性能を実現する。
実験では,標準的なスタジオトライオンタスクと,ストリートトライオンタスクとクロスドメイントライオンタスクのSOTAパフォーマンスの競合性能を示す。
関連論文リスト
- ACDG-VTON: Accurate and Contained Diffusion Generation for Virtual Try-On [6.228968332207618]
本研究では,拡散の訓練範囲を制限する訓練手法を提案する。
提案手法は,マルチガーメント試行を1回の推論サイクルで実行し,高解像度でトレーニングすることなく高品質なズームイン世代をサポートする。
論文 参考訳(メタデータ) (2024-03-20T19:45:06Z) - Better Fit: Accommodate Variations in Clothing Types for Virtual Try-on [25.550019373321653]
画像ベースの仮想試着は、ターゲットとなる服を着替えたモデル画像に転送することを目的としている。
トレーニングマスクを動的に調整する適応型マスクトレーニングパラダイムを提案する。
未ペアの試行検証のために、総合的なクロストライオンベンチマークを構築した。
論文 参考訳(メタデータ) (2024-03-13T12:07:14Z) - Improving Diffusion Models for Virtual Try-on [53.96244595495942]
本稿では,キュレートされた衣服を身に着けている人のイメージをレンダリングする,イメージベースの仮想試行について考察する。
衣服の忠実度を改善し,仮想試行画像を生成する新しい拡散モデルを提案する。
本稿では,一対の人着画像を用いたカスタマイズ手法を提案する。
論文 参考訳(メタデータ) (2024-03-08T08:12:18Z) - UniHuman: A Unified Model for Editing Human Images in the Wild [49.896715833075106]
実環境における画像編集の複数の側面に対処する統一モデルUniHumanを提案する。
モデルの生成品質と一般化能力を向上させるために,人間の視覚エンコーダからのガイダンスを利用する。
ユーザスタディでは、UniHumanは平均して77%のケースでユーザに好まれる。
論文 参考訳(メタデータ) (2023-12-22T05:00:30Z) - StableVITON: Learning Semantic Correspondence with Latent Diffusion
Model for Virtual Try-On [35.227896906556026]
衣服画像と人物画像が与えられた場合、画像ベースの仮想試行は、衣服画像の特徴を自然に正確に反映した、カスタマイズされた画像を生成することを目的としている。
本研究では,事前学習した拡散モデルの適用性を拡張し,仮想試行作業に独立して利用できるようにすることを目的とする。
提案するゼロ・クロスアテンションブロックは, 意味的対応を学習することで衣服の細部を保存できるだけでなく, ワープ過程における事前学習モデル固有の知識を利用して高忠実度画像を生成する。
論文 参考訳(メタデータ) (2023-12-04T08:27:59Z) - Learning Garment DensePose for Robust Warping in Virtual Try-On [72.13052519560462]
そこで我々は,学習したDensePoseに基づく仮想試行のための頑健なワープ手法を提案する。
提案手法は,仮想試行ベンチマークにおける最先端の等価性を実現する。
論文 参考訳(メタデータ) (2023-03-30T20:02:29Z) - Learning Fashion Compatibility from In-the-wild Images [6.591937706757015]
筆者らは,自己教師型学習を通じて,現在地にあるストリートファッション画像から,互換性予測のための表現を学習する。
本研究の前提課題は、同一人物が着用する異なる項目の表現が、他人が着用するものよりも近いように定式化されている。
ファッションコンフィグレーションベンチマークとして,Polyvore と Polyvore-Disjoint の2種類について実験を行った。
論文 参考訳(メタデータ) (2022-06-13T09:05:25Z) - PhotoApp: Photorealistic Appearance Editing of Head Portraits [97.23638022484153]
本稿では,ポートレート画像におけるカメラ視点とシーン照明の高品質な直感的編集手法を提案する。
ほとんどの編集アプローチは、光やカメラステージといった設定でキャプチャされたトレーニングデータを使用した教師あり学習に依存している。
StyleGANの潜在空間で学習する監督問題を設計します。
これは、教師付き学習と生成的敵対的モデリングのベストを組み合わせる。
論文 参考訳(メタデータ) (2021-03-13T08:59:49Z) - Self-Adaptively Learning to Demoire from Focused and Defocused Image
Pairs [97.67638106818613]
モアレアーティファクトはデジタル写真では一般的であり、高周波シーンコンテンツとカメラのカラーフィルタアレイとの干渉によるものである。
大規模反復で訓練された既存のディープラーニングに基づく復習手法は、様々な複雑なモアレパターンを扱う場合に限られる。
本稿では,高頻度画像の復調のための自己適応学習手法を提案する。
論文 参考訳(メタデータ) (2020-11-03T23:09:02Z) - Improving Object Detection with Selective Self-supervised Self-training [62.792445237541145]
本研究では,Web画像を利用した人為的対象検出データセットの強化について検討する。
画像と画像の検索によりWebイメージを検索し、他の検索手法に比べて、キュレートされたデータからのドメインシフトが少なくなる。
画像分類のためのラベルのないデータを探索する2つの並列処理をモチベーションとした新しい学習手法を提案する。
論文 参考訳(メタデータ) (2020-07-17T18:05:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。