論文の概要: Street TryOn: Learning In-the-Wild Virtual Try-On from Unpaired Person Images

• arxiv url: http://arxiv.org/abs/2311.16094v1
• Date: Mon, 27 Nov 2023 18:59:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 13:38:25.314822
• Title: Street TryOn: Learning In-the-Wild Virtual Try-On from Unpaired Person Images
• Title（参考訳）: street tryon:未舗装の人物画像から仮想トライオンを学ぶ
• Authors: Aiyu Cui, Jay Mahajan, Viraj Shah, Preeti Gomathinayagam, Svetlana Lazebnik
• Abstract要約: 街路場面のパフォーマンスを評価するためのStreet TryOnベンチマークを導入し、ペアデータなしで学習できる新しい手法を提案する。 提案手法は,新規なワープ補正手法を用いて,店舗・街路領域間のロバストな性能を実現することができる。 実験では、標準的なスタジオトライオンタスクと、ストリートトライオンタスクとクロスドメイントライオンタスクのSOTAパフォーマンスの競合性能を実証した。
• 参考スコア（独自算出の注目度）: 13.888473779831376
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Virtual try-on has become a popular research topic, but most existing methods focus on studio images with a clean background. They can achieve plausible results for this studio try-on setting by learning to warp a garment image to fit a person's body from paired training data, i.e., garment images paired with images of people wearing the same garment. Such data is often collected from commercial websites, where each garment is demonstrated both by itself and on several models. By contrast, it is hard to collect paired data for in-the-wild scenes, and therefore, virtual try-on for casual images of people against cluttered backgrounds is rarely studied. In this work, we fill the gap in the current virtual try-on research by (1) introducing a Street TryOn benchmark to evaluate performance on street scenes and (2) proposing a novel method that can learn without paired data, from a set of in-the-wild person images directly. Our method can achieve robust performance across shop and street domains using a novel DensePose warping correction method combined with diffusion-based inpainting controlled by pose and semantic segmentation. Our experiments demonstrate competitive performance for standard studio try-on tasks and SOTA performance for street try-on and cross-domain try-on tasks.
• Abstract（参考訳）: 仮想試行はポピュラーな研究トピックとなっているが、既存のほとんどの手法はクリーンな背景を持つスタジオイメージに焦点を当てている。 対のトレーニングデータ、すなわち、同じ服を着ている人のイメージと対になる衣料画像から、身体に合う衣料画像に警告することで、このスタジオ試着設定において、妥当な結果が得られる。 このようなデータは、しばしば商業ウェブサイトから収集され、各衣服は単独で、複数のモデルで展示される。 対照的に、撮影現場でのペアデータ収集は困難であり、乱雑な背景に対するカジュアル画像の仮想試行はめったに行われない。 本研究では,(1)ストリート・トライオン・ベンチマークを導入し,(1)ストリート・シーンにおけるパフォーマンス評価を行い,(2)一組の人物画像からペアデータなしで学習できる新しい手法を提案することで,現在の仮想・トライ・オン研究のギャップを埋める。 提案手法は,新しいDensePoseワープ補正法と,ポーズとセマンティックセマンティックセグメンテーションによって制御された拡散型インペインティングを組み合わせることで,店舗・街路領域におけるロバストな性能を実現する。 実験では、標準的なスタジオトライオンタスクと、ストリートトライオンタスクとクロスドメイントライオンタスクのSOTAパフォーマンスの競合性能を実証した。

関連論文リスト

• BooW-VTON: Boosting In-the-Wild Virtual Try-On via Mask-Free Pseudo Data Training [35.07106410337915]
  本研究では,野生のシナリオから大規模未経験トレーニングデータを取得するための,効率的なデータ拡張手法と組み合わせた新しいトレーニングパラダイムを提案する。 提案手法は,入力として基準布画像,原ポーズ画像,原人物画像のみを必要とする。
  論文  参考訳（メタデータ） (2024-08-12T10:39:59Z)
• Better Fit: Accommodate Variations in Clothing Types for Virtual Try-on [25.550019373321653]
  画像ベースの仮想試着は、ターゲットとなる服を着替えたモデル画像に転送することを目的としている。 トレーニングマスクを動的に調整する適応型マスクトレーニングパラダイムを提案する。 未ペアの試行検証のために、総合的なクロストライオンベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-03-13T12:07:14Z)
• Improving Diffusion Models for Authentic Virtual Try-on in the Wild [53.96244595495942]
  本稿では,キュレートされた衣服を身に着けている人のイメージをレンダリングする,イメージベースの仮想試行について考察する。 衣服の忠実度を改善し,仮想試行画像を生成する新しい拡散モデルを提案する。 本稿では,一対の人着画像を用いたカスタマイズ手法を提案する。
  論文  参考訳（メタデータ） (2024-03-08T08:12:18Z)
• Learning Garment DensePose for Robust Warping in Virtual Try-On [72.13052519560462]
  そこで我々は,学習したDensePoseに基づく仮想試行のための頑健なワープ手法を提案する。 提案手法は,仮想試行ベンチマークにおける最先端の等価性を実現する。
  論文  参考訳（メタデータ） (2023-03-30T20:02:29Z)
• Learning to Relight Portrait Images via a Virtual Light Stage and Synthetic-to-Real Adaptation [76.96499178502759]
  Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。 最近の手法は、高品質な結果を得るためにディープラーニングに依存している。 そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T17:15:58Z)
• Learning Fashion Compatibility from In-the-wild Images [6.591937706757015]
  筆者らは,自己教師型学習を通じて,現在地にあるストリートファッション画像から,互換性予測のための表現を学習する。 本研究の前提課題は、同一人物が着用する異なる項目の表現が、他人が着用するものよりも近いように定式化されている。 ファッションコンフィグレーションベンチマークとして,Polyvore と Polyvore-Disjoint の2種類について実験を行った。
  論文  参考訳（メタデータ） (2022-06-13T09:05:25Z)
• Dressing in the Wild by Watching Dance Videos [69.7692630502019]
  本稿では,現実の場面における仮想試行に参画し,現実性と自然性の向上をもたらす。 我々は,衣服の移動をより効果的に進める,wFlowと呼ばれる新しい生成ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-03-29T08:05:45Z)
• Weakly Supervised High-Fidelity Clothing Model Generation [67.32235668920192]
  本稿では,このシナリオに対応するために,DGP (Deep Generative Projection) と呼ばれる安価でスケーラブルな弱教師付き手法を提案する。 衣服と身体の粗いアライメントをStyleGAN空間に投影することで、フォトリアリスティックな着用結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-12-14T07:15:15Z)
• PhotoApp: Photorealistic Appearance Editing of Head Portraits [97.23638022484153]
  本稿では,ポートレート画像におけるカメラ視点とシーン照明の高品質な直感的編集手法を提案する。 ほとんどの編集アプローチは、光やカメラステージといった設定でキャプチャされたトレーニングデータを使用した教師あり学習に依存している。 StyleGANの潜在空間で学習する監督問題を設計します。 これは、教師付き学習と生成的敵対的モデリングのベストを組み合わせる。
  論文  参考訳（メタデータ） (2021-03-13T08:59:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。