論文の概要: Do Not Mask What You Do Not Need to Mask: a Parser-Free Virtual Try-On
- arxiv url: http://arxiv.org/abs/2007.02721v2
- Date: Wed, 29 Jul 2020 16:04:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-14 05:19:55.950749
- Title: Do Not Mask What You Do Not Need to Mask: a Parser-Free Virtual Try-On
- Title（参考訳）: マスクする必要のないものをマスクするな:パーサーフリーの仮想トライオン
- Authors: Thibaut Issenhuth and J\'er\'emie Mary and Cl\'ement Calauz\`enes
- Abstract要約: そこで,本研究では,教師が最初の課題(布の交換)に集中するよう指導する前に,標準的な方法(再構築)で指導される新しい学生-教員パラダイムを提案する。
本稿では,教師が最初の課題(布の交換)に焦点を合わせる前に,標準的な方法(再構築)で指導される新しい学生-教員パラダイムを提案する。
- 参考スコア（独自算出の注目度）: 3.0079490585515343
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The 2D virtual try-on task has recently attracted a great interest from the
research community, for its direct potential applications in online shopping as
well as for its inherent and non-addressed scientific challenges. This task
requires fitting an in-shop cloth image on the image of a person, which is
highly challenging because it involves cloth warping, image compositing, and
synthesizing. Casting virtual try-on into a supervised task faces a difficulty:
available datasets are composed of pairs of pictures (cloth, person wearing the
cloth). Thus, we have no access to ground-truth when the cloth on the person
changes. State-of-the-art models solve this by masking the cloth information on
the person with both a human parser and a pose estimator. Then, image synthesis
modules are trained to reconstruct the person image from the masked person
image and the cloth image. This procedure has several caveats: firstly, human
parsers are prone to errors; secondly, it is a costly pre-processing step,
which also has to be applied at inference time; finally, it makes the task
harder than it is since the mask covers information that should be kept such as
hands or accessories. In this paper, we propose a novel student-teacher
paradigm where the teacher is trained in the standard way (reconstruction)
before guiding the student to focus on the initial task (changing the cloth).
The student additionally learns from an adversarial loss, which pushes it to
follow the distribution of the real images. Consequently, the student exploits
information that is masked to the teacher. A student trained without the
adversarial loss would not use this information. Also, getting rid of both
human parser and pose estimator at inference time allows obtaining a real-time
virtual try-on.
- Abstract（参考訳）: 2Dバーチャル・トライ・オン・タスクは、オンラインショッピングへの直接的な応用だけでなく、本来的で非適応的な科学的課題についても研究コミュニティから大きな関心を集めている。
この作業には, 布の反り, 画像合成, 合成など, 極めて困難な作業である, 人物像にホップ布のイメージを装着する必要がある。
仮想的な試着を監督されたタスクにキャストするのは難しい。利用可能なデータセットは、一対の写真(衣服、服を着ている人)で構成されている。
したがって,人体の布が変われば,地道へのアクセスが不可能になる。
最先端のモデルは、人間のパーサーとポーズ推定器の両方で人の布情報をマスキングすることでこれを解決する。
そして、画像合成モジュールを訓練して、マスクされた人物画像と布画像とから人物画像を再構成する。
この手順にはいくつかの注意点がある: 第一に、人間のパーサーはエラーを起こしやすい; 第二に、コストのかかる前処理のステップであり、推論時にも適用する必要がある; 最後に、マスクが手やアクセサリーなどの保持すべき情報をカバーしているため、タスクを難しくする。
本稿では,教師が最初の課題(布の交換)に焦点を合わせる前に,標準的な方法(再構築)で指導される新しい学生-教員パラダイムを提案する。
生徒はさらに、相手の損失から学習し、実際の画像の分布に従うようにプッシュする。
そのため、生徒は教師に隠された情報を利用する。
敵の損失なしで訓練された学生は、この情報を使用しない。
また、人間のパーサーとポーズ推定器の両方を推論時に取り除くことで、リアルタイムの仮想試行を実現することができる。
関連論文リスト
- Text2Place: Affordance-aware Text Guided Human Placement [26.041917073228483]
この研究は、textbfSemantic Human Placementと呼ばれる背景シーンにおける現実的な人間の挿入の問題に取り組む。
セマンティックマスクの学習には,テキストから画像への生成モデルから学習したリッチなオブジェクトシーンの先行情報を活用する。
提案手法は,背景と被写体を保存しながら,リアルなシーン構成を生成することができる。
論文 参考訳（メタデータ） (2024-07-22T08:00:06Z) - Self-Explainable Affordance Learning with Embodied Caption [63.88435741872204]
具体的キャプションを具現化したSelf-Explainable Affordance Learning (SEA)を紹介する。
SEAは、ロボットが意図を明確に表現し、説明可能な視覚言語キャプションと視覚能力学習のギャップを埋めることを可能にする。
本稿では, 簡便かつ効率的な方法で, 空き地と自己説明を効果的に組み合わせた新しいモデルを提案する。
論文 参考訳（メタデータ） (2024-04-08T15:22:38Z) - UniHuman: A Unified Model for Editing Human Images in the Wild [49.896715833075106]
実環境における画像編集の複数の側面に対処する統一モデルUniHumanを提案する。
モデルの生成品質と一般化能力を向上させるために,人間の視覚エンコーダからのガイダンスを利用する。
ユーザスタディでは、UniHumanは平均して77%のケースでユーザに好まれる。
論文 参考訳（メタデータ） (2023-12-22T05:00:30Z) - Learning Garment DensePose for Robust Warping in Virtual Try-On [72.13052519560462]
そこで我々は,学習したDensePoseに基づく仮想試行のための頑健なワープ手法を提案する。
提案手法は,仮想試行ベンチマークにおける最先端の等価性を実現する。
論文 参考訳（メタデータ） (2023-03-30T20:02:29Z) - Mask-Guided Image Person Removal with Data Synthesis [11.207512995742999]
データ合成の観点からこれらの問題に取り組むための新しいアイデアを提案する。
画像人物除去のための専用データセットの欠如に関して,画像,マスク,地中真実を自動的に生成する2つのデータセット生成手法が提案されている。
局所的な画像劣化に似た学習フレームワークを提案し、マスクを用いて特徴抽出プロセスを導出し、最終的な予測のためにより多くのテクスチャ情報を収集する。
論文 参考訳（メタデータ） (2022-09-29T15:58:17Z) - FaceEraser: Removing Facial Parts for Augmented Reality [10.575917056215289]
私たちの仕事は、すべての顔部分を取り除き、拡張現実のために空白の顔に視覚的要素を課すことです。
本研究では,空白の顔によく似通ったペアトレーニングデータを生成する新しいデータ生成手法を提案する。
提案手法は商用製品に統合され,その有効性は制約のないユーザ入力で検証されている。
論文 参考訳（メタデータ） (2021-09-22T14:30:12Z) - Who's Waldo? Linking People Across Text and Images [56.40556801773923]
人中心の視覚的接地のためのタスクとベンチマークデータセットを提案する。
我々の新しいタスクは、こうした画像キャプチャーペアで訓練された方法が文脈的手がかりに焦点を合わせるように、キャプション内の人々の名前をマスクする。
本稿では,このタスクにおけるいくつかの強いベースラインを上回り,トランスフォーマーに基づく手法を提案する。
論文 参考訳（メタデータ） (2021-08-16T17:36:49Z) - Parser-Free Virtual Try-on via Distilling Appearance Flows [44.808125688185804]
Image Virtual try-onは、衣料品画像(ターゲット服)を人物画像に合わせることを目的としている。
以前の手法は人間の解析に基づいている。
不正確な解析ミスリード法により、視覚的に非現実的な結果を生成する。
論文 参考訳（メタデータ） (2021-03-08T06:05:38Z) - Pose-Guided Human Animation from a Single Image in the Wild [83.86903892201656]
身体ポーズのシーケンスによって制御される人の単一の画像から人間のアニメーションを合成するための新しいポーズ転送方法を提案する。
既存のポーズ転送手法は、新しいシーンに適用する際に重要な視覚的アーティファクトを示す。
我々は,シルエット,衣料ラベル,テクスチャを予測する合成ニューラルネットワークを設計した。
我々は、テスト現場でネットワークを微調整することなく、時間的に一貫した方法で人物のアイデンティティと外観を保存できる人間のアニメーションを合成することができる。
論文 参考訳（メタデータ） (2020-12-07T15:38:29Z) - High Resolution Zero-Shot Domain Adaptation of Synthetically Rendered
Face Images [10.03187850132035]
本稿では,非フォトリアリスティックな合成画像と事前学習したStyleGAN2モデルの潜在ベクトルとをマッチングするアルゴリズムを提案する。
これまでのほとんどの研究とは対照的に、私たちは合成トレーニングデータを必要としない。
このアルゴリズムは、1Kの解像度で作業する最初のアルゴリズムであり、視覚リアリズムにおける大きな飛躍を表している。
論文 参考訳（メタデータ） (2020-06-26T15:00:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。