論文の概要: Street TryOn: Learning In-the-Wild Virtual Try-On from Unpaired Person Images

• arxiv url: http://arxiv.org/abs/2311.16094v3
• Date: Tue, 16 Jul 2024 19:04:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 23:08:38.952904
• Title: Street TryOn: Learning In-the-Wild Virtual Try-On from Unpaired Person Images
• Title（参考訳）: ストリートトライオン:不自由な人物画像からWildのバーチャルトライオンを学習する
• Authors: Aiyu Cui, Jay Mahajan, Viraj Shah, Preeti Gomathinayagam, Chang Liu, Svetlana Lazebnik,
• Abstract要約: 仮想トライオンアプリケーションをサポートするためのStreetTryOnベンチマークを導入する。 また,一対のデータを必要とせず,一対の人物画像から直接仮想試行を学習する手法を提案する。
• 参考スコア（独自算出の注目度）: 14.616371216662227
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most virtual try-on research is motivated to serve the fashion business by generating images to demonstrate garments on studio models at a lower cost. However, virtual try-on should be a broader application that also allows customers to visualize garments on themselves using their own casual photos, known as in-the-wild try-on. Unfortunately, the existing methods, which achieve plausible results for studio try-on settings, perform poorly in the in-the-wild context. This is because these methods often require paired images (garment images paired with images of people wearing the same garment) for training. While such paired data is easy to collect from shopping websites for studio settings, it is difficult to obtain for in-the-wild scenes. In this work, we fill the gap by (1) introducing a StreetTryOn benchmark to support in-the-wild virtual try-on applications and (2) proposing a novel method to learn virtual try-on from a set of in-the-wild person images directly without requiring paired data. We tackle the unique challenges, including warping garments to more diverse human poses and rendering more complex backgrounds faithfully, by a novel DensePose warping correction method combined with diffusion-based conditional inpainting. Our experiments show competitive performance for standard studio try-on tasks and SOTA performance for street try-on and cross-domain try-on tasks.
• Abstract（参考訳）: ほとんどの仮想試着研究は、低コストでスタジオモデルに衣服を展示するための画像を生成することで、ファッションビジネスに役立てることを目的としている。 しかし、仮想トライオンは、ユーザーが自分のカジュアルな写真を使って自分自身で衣服を視覚化する、より広範なアプリケーションでなければならない。 残念なことに、スタジオ・トライオン・セッティングで有効な結果が得られる既存の手法は、Wildのコンテキストでは性能が良くない。 これは、トレーニングにはペア画像(同じ服を着ている人のイメージをペアにした衣料品画像)を必要とすることが多いためである。 このようなペアリングされたデータは、スタジオ設定のためにショッピングサイトから簡単に収集できるが、現場のシーンでは入手が困難である。 本研究は,(1)実機での仮想試行を支援するためのStreetTryOnベンチマークを導入し,(2)ペアデータを必要とすることなく,実機で直接仮想試行を学習する新しい手法を提案することでギャップを埋める。 我々は,DensePoseワープ補正法と拡散型条件付き塗装を組み合わせることで,衣服をより多様な人間のポーズに変形させ,より複雑な背景を忠実にレンダリングするなど,ユニークな課題に取り組む。 実験では,標準的なスタジオトライオンタスクと,ストリートトライオンタスクとクロスドメイントライオンタスクのSOTAパフォーマンスの競合性能を示す。

関連論文リスト

• Try-On-Adapter: A Simple and Flexible Try-On Paradigm [42.2724473500475]
  オンラインショッピングで広く使われている画像ベースの仮想試着は、特定の衣服に着飾った自然な服装の人のイメージを作成することを目的としている。 従来の手法では、元のモデルの立像の特定の部分をマスキングし、マスクされた領域に塗布することで、対応する参照服を身に着けたモデルのリアルなイメージを生成する。 本稿では,既存の塗装パラダイムと異なる塗装パラダイムであるトライオンアダプタ(TOA)を提案する。
  論文  参考訳（メタデータ） (2024-11-15T13:35:58Z)
• Better Fit: Accommodate Variations in Clothing Types for Virtual Try-on [25.550019373321653]
  画像ベースの仮想試着は、ターゲットとなる服を着替えたモデル画像に転送することを目的としている。 トレーニングマスクを動的に調整する適応型マスクトレーニングパラダイムを提案する。 未ペアの試行検証のために、総合的なクロストライオンベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-03-13T12:07:14Z)
• Improving Diffusion Models for Authentic Virtual Try-on in the Wild [53.96244595495942]
  本稿では,キュレートされた衣服を身に着けている人のイメージをレンダリングする,イメージベースの仮想試行について考察する。 衣服の忠実度を改善し,仮想試行画像を生成する新しい拡散モデルを提案する。 本稿では,一対の人着画像を用いたカスタマイズ手法を提案する。
  論文  参考訳（メタデータ） (2024-03-08T08:12:18Z)
• Learning Garment DensePose for Robust Warping in Virtual Try-On [72.13052519560462]
  そこで我々は,学習したDensePoseに基づく仮想試行のための頑健なワープ手法を提案する。 提案手法は,仮想試行ベンチマークにおける最先端の等価性を実現する。
  論文  参考訳（メタデータ） (2023-03-30T20:02:29Z)
• Learning to Relight Portrait Images via a Virtual Light Stage and Synthetic-to-Real Adaptation [76.96499178502759]
  Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。 最近の手法は、高品質な結果を得るためにディープラーニングに依存している。 そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T17:15:58Z)
• Learning Fashion Compatibility from In-the-wild Images [6.591937706757015]
  筆者らは,自己教師型学習を通じて,現在地にあるストリートファッション画像から,互換性予測のための表現を学習する。 本研究の前提課題は、同一人物が着用する異なる項目の表現が、他人が着用するものよりも近いように定式化されている。 ファッションコンフィグレーションベンチマークとして,Polyvore と Polyvore-Disjoint の2種類について実験を行った。
  論文  参考訳（メタデータ） (2022-06-13T09:05:25Z)
• Dressing in the Wild by Watching Dance Videos [69.7692630502019]
  本稿では,現実の場面における仮想試行に参画し,現実性と自然性の向上をもたらす。 我々は,衣服の移動をより効果的に進める,wFlowと呼ばれる新しい生成ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-03-29T08:05:45Z)
• Weakly Supervised High-Fidelity Clothing Model Generation [67.32235668920192]
  本稿では,このシナリオに対応するために,DGP (Deep Generative Projection) と呼ばれる安価でスケーラブルな弱教師付き手法を提案する。 衣服と身体の粗いアライメントをStyleGAN空間に投影することで、フォトリアリスティックな着用結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-12-14T07:15:15Z)
• PhotoApp: Photorealistic Appearance Editing of Head Portraits [97.23638022484153]
  本稿では,ポートレート画像におけるカメラ視点とシーン照明の高品質な直感的編集手法を提案する。 ほとんどの編集アプローチは、光やカメラステージといった設定でキャプチャされたトレーニングデータを使用した教師あり学習に依存している。 StyleGANの潜在空間で学習する監督問題を設計します。 これは、教師付き学習と生成的敵対的モデリングのベストを組み合わせる。
  論文  参考訳（メタデータ） (2021-03-13T08:59:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。