論文の概要: Street TryOn: Learning In-the-Wild Virtual Try-On from Unpaired Person
Images
- arxiv url: http://arxiv.org/abs/2311.16094v1
- Date: Mon, 27 Nov 2023 18:59:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 13:38:25.314822
- Title: Street TryOn: Learning In-the-Wild Virtual Try-On from Unpaired Person
Images
- Title(参考訳): street tryon:未舗装の人物画像から仮想トライオンを学ぶ
- Authors: Aiyu Cui, Jay Mahajan, Viraj Shah, Preeti Gomathinayagam, Svetlana
Lazebnik
- Abstract要約: 街路場面のパフォーマンスを評価するためのStreet TryOnベンチマークを導入し、ペアデータなしで学習できる新しい手法を提案する。
提案手法は,新規なワープ補正手法を用いて,店舗・街路領域間のロバストな性能を実現することができる。
実験では、標準的なスタジオトライオンタスクと、ストリートトライオンタスクとクロスドメイントライオンタスクのSOTAパフォーマンスの競合性能を実証した。
- 参考スコア(独自算出の注目度): 13.888473779831376
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Virtual try-on has become a popular research topic, but most existing methods
focus on studio images with a clean background. They can achieve plausible
results for this studio try-on setting by learning to warp a garment image to
fit a person's body from paired training data, i.e., garment images paired with
images of people wearing the same garment. Such data is often collected from
commercial websites, where each garment is demonstrated both by itself and on
several models. By contrast, it is hard to collect paired data for in-the-wild
scenes, and therefore, virtual try-on for casual images of people against
cluttered backgrounds is rarely studied.
In this work, we fill the gap in the current virtual try-on research by (1)
introducing a Street TryOn benchmark to evaluate performance on street scenes
and (2) proposing a novel method that can learn without paired data, from a set
of in-the-wild person images directly. Our method can achieve robust
performance across shop and street domains using a novel DensePose warping
correction method combined with diffusion-based inpainting controlled by pose
and semantic segmentation. Our experiments demonstrate competitive performance
for standard studio try-on tasks and SOTA performance for street try-on and
cross-domain try-on tasks.
- Abstract(参考訳): 仮想試行はポピュラーな研究トピックとなっているが、既存のほとんどの手法はクリーンな背景を持つスタジオイメージに焦点を当てている。
対のトレーニングデータ、すなわち、同じ服を着ている人のイメージと対になる衣料画像から、身体に合う衣料画像に警告することで、このスタジオ試着設定において、妥当な結果が得られる。
このようなデータは、しばしば商業ウェブサイトから収集され、各衣服は単独で、複数のモデルで展示される。
対照的に、撮影現場でのペアデータ収集は困難であり、乱雑な背景に対するカジュアル画像の仮想試行はめったに行われない。
本研究では,(1)ストリート・トライオン・ベンチマークを導入し,(1)ストリート・シーンにおけるパフォーマンス評価を行い,(2)一組の人物画像からペアデータなしで学習できる新しい手法を提案することで,現在の仮想・トライ・オン研究のギャップを埋める。
提案手法は,新しいDensePoseワープ補正法と,ポーズとセマンティックセマンティックセグメンテーションによって制御された拡散型インペインティングを組み合わせることで,店舗・街路領域におけるロバストな性能を実現する。
実験では、標準的なスタジオトライオンタスクと、ストリートトライオンタスクとクロスドメイントライオンタスクのSOTAパフォーマンスの競合性能を実証した。
関連論文リスト
- Improving Diffusion Models for Virtual Try-on [57.893391816847405]
衣服の忠実度を改善し,仮想試行画像を生成する新しい拡散モデルを提案する。
IDM-VTONと呼ばれる本手法は,2つの異なるモジュールを用いて衣料画像の意味を符号化する。
本稿では,一対の人着画像を用いたカスタマイズ手法を提案する。
論文 参考訳(メタデータ) (2024-03-08T08:12:18Z) - UniHuman: A Unified Model for Editing Human Images in the Wild [52.39882260636959]
実環境における画像編集の複数の側面に対処する統一モデルUniHumanを提案する。
モデルの生成品質と一般化能力を向上させるために,人間の視覚エンコーダからのガイダンスを利用する。
ユーザスタディでは、UniHumanは平均して77%のケースでユーザに好まれる。
論文 参考訳(メタデータ) (2023-12-22T05:00:30Z) - Learning Garment DensePose for Robust Warping in Virtual Try-On [72.13052519560462]
そこで我々は,学習したDensePoseに基づく仮想試行のための頑健なワープ手法を提案する。
提案手法は,仮想試行ベンチマークにおける最先端の等価性を実現する。
論文 参考訳(メタデータ) (2023-03-30T20:02:29Z) - Saliency Guided Contrastive Learning on Scene Images [71.07412958621052]
我々は、学習中のモデルの出力から導かれるサリエンシマップを活用し、差別的な領域を強調し、対照的な学習全体をガイドする。
提案手法は,画像上の自己教師学習の性能を,画像の線形評価において+1.1,+4.3,+2.2の精度で向上させる。
論文 参考訳(メタデータ) (2023-02-22T15:54:07Z) - Learning Fashion Compatibility from In-the-wild Images [6.591937706757015]
筆者らは,自己教師型学習を通じて,現在地にあるストリートファッション画像から,互換性予測のための表現を学習する。
本研究の前提課題は、同一人物が着用する異なる項目の表現が、他人が着用するものよりも近いように定式化されている。
ファッションコンフィグレーションベンチマークとして,Polyvore と Polyvore-Disjoint の2種類について実験を行った。
論文 参考訳(メタデータ) (2022-06-13T09:05:25Z) - Disentangled Cycle Consistency for Highly-realistic Virtual Try-On [34.97658860425598]
Image Virtual try-onは、人画像上の服を、希望する着物画像に置き換える。
既存の方法は、仮想トライオンをインペインティングまたはサイクル整合性として定式化する。
DCTON(Disentangled Cycle-consistency Try-On Network)の提案
論文 参考訳(メタデータ) (2021-03-17T07:18:55Z) - Parser-Free Virtual Try-on via Distilling Appearance Flows [44.808125688185804]
Image Virtual try-onは、衣料品画像(ターゲット服)を人物画像に合わせることを目的としている。
以前の手法は人間の解析に基づいている。
不正確な解析ミスリード法により、視覚的に非現実的な結果を生成する。
論文 参考訳(メタデータ) (2021-03-08T06:05:38Z) - Self-Adaptively Learning to Demoire from Focused and Defocused Image
Pairs [97.67638106818613]
モアレアーティファクトはデジタル写真では一般的であり、高周波シーンコンテンツとカメラのカラーフィルタアレイとの干渉によるものである。
大規模反復で訓練された既存のディープラーニングに基づく復習手法は、様々な複雑なモアレパターンを扱う場合に限られる。
本稿では,高頻度画像の復調のための自己適応学習手法を提案する。
論文 参考訳(メタデータ) (2020-11-03T23:09:02Z) - Improving Object Detection with Selective Self-supervised Self-training [62.792445237541145]
本研究では,Web画像を利用した人為的対象検出データセットの強化について検討する。
画像と画像の検索によりWebイメージを検索し、他の検索手法に比べて、キュレートされたデータからのドメインシフトが少なくなる。
画像分類のためのラベルのないデータを探索する2つの並列処理をモチベーションとした新しい学習手法を提案する。
論文 参考訳(メタデータ) (2020-07-17T18:05:01Z) - A Strong Baseline for Fashion Retrieval with Person Re-Identification
Models [0.0]
ファッション検索は、画像に含まれるファッションアイテムの正確なマッチングを見つけるのに難しいタスクである。
ファッション検索のためのシンプルなベースラインモデルを導入する。
Street2ShopとDeepFashionのデータセットで詳細な実験を行い、その結果を検証する。
論文 参考訳(メタデータ) (2020-03-09T12:50:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。