論文の概要: Robust 3D Garment Digitization from Monocular 2D Images for 3D Virtual
Try-On Systems
- arxiv url: http://arxiv.org/abs/2111.15140v1
- Date: Tue, 30 Nov 2021 05:49:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-01 15:09:25.630651
- Title: Robust 3D Garment Digitization from Monocular 2D Images for 3D Virtual
Try-On Systems
- Title(参考訳): 3次元仮想トライオンシステムのための単眼2次元画像からのロバスト3次元衣料デジタイズ
- Authors: Sahib Majithia, Sandeep N. Parameswaran, Sadbhavana Babar, Vikram
Garg, Astitva Srivastava and Avinash Sharma
- Abstract要約: 我々は,現実のファッションカタログ画像によく応用できる,堅牢な3次元衣料デジタル化ソリューションを開発した。
教師付き深層ネットワークをトレーニングしてランドマーク予測とテクスチャ塗布作業を行い,大量の合成データを生成した。
オンラインファッションのeコマースプラットフォームから収集した、小さなファッションカタログ画像に手動で注釈を付けました。
- 参考スコア(独自算出の注目度): 1.7394606468019056
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this paper, we develop a robust 3D garment digitization solution that can
generalize well on real-world fashion catalog images with cloth texture
occlusions and large body pose variations. We assumed fixed topology parametric
template mesh models for known types of garments (e.g., T-shirts, Trousers) and
perform mapping of high-quality texture from an input catalog image to UV map
panels corresponding to the parametric mesh model of the garment. We achieve
this by first predicting a sparse set of 2D landmarks on the boundary of the
garments. Subsequently, we use these landmarks to perform
Thin-Plate-Spline-based texture transfer on UV map panels. Subsequently, we
employ a deep texture inpainting network to fill the large holes (due to view
variations & self-occlusions) in TPS output to generate consistent UV maps.
Furthermore, to train the supervised deep networks for landmark prediction &
texture inpainting tasks, we generated a large set of synthetic data with
varying texture and lighting imaged from various views with the human present
in a wide variety of poses. Additionally, we manually annotated a small set of
fashion catalog images crawled from online fashion e-commerce platforms to
finetune. We conduct thorough empirical evaluations and show impressive
qualitative results of our proposed 3D garment texture solution on fashion
catalog images. Such 3D garment digitization helps us solve the challenging
task of enabling 3D Virtual Try-on.
- Abstract(参考訳): 本稿では,布のテクスチャ・オクルージョンと大体ポーズのバリエーションを備えた実世界のファッションカタログ画像によく応用できる,堅牢な3次元衣料デジタル化ソリューションを開発する。
我々は、既知の衣服(Tシャツ、ズボンなど)の固定トポロジパラメトリックテンプレートメッシュモデルを想定し、入力カタログ画像から服のパラメトリックメッシュモデルに対応する紫外線マップパネルへの高品質なテクスチャマッピングを行った。
我々はまず衣服の境界に2dランドマークのばらばらな集合を予測してこれを達成する。
次に、これらのランドマークを用いて、紫外線マップパネル上で薄板スプラインベースのテクスチャ転送を行う。
その後,TPS出力における大きな穴を埋めるために,深いテクスチャ塗布網を用い,一貫した紫外線マップを生成する。
さらに,ランドマーク予測とテクスチャインペインティングタスクのために教師付き深層ネットワークを訓練するために,様々なテクスチャと様々な視点から様々なポーズで表示された画像を含む合成データ集合を作成した。
さらに、オンラインのファッションeコマースプラットフォームから収集した小さなファッションカタログ画像を手動で注釈付けし、微調整しました。
提案した3Dテクスチャのテクスチャソリューションを,ファッションカタログ画像上で,徹底的に評価し,印象的な質的結果を示す。
このような3D衣服のデジタル化は、3D仮想試着を可能にするという課題を解決するのに役立ちます。
関連論文リスト
- 3DStyle-Diffusion: Pursuing Fine-grained Text-driven 3D Stylization with
2D Diffusion Models [102.75875255071246]
テキスト駆動型スタイリングによる3Dコンテンツ作成は、マルチメディアとグラフィックコミュニティにとって根本的な課題となっている。
2次元拡散モデルから制御可能な外観と幾何学的ガイダンスを付加した3次元メッシュのきめ細かいスタイリングをトリガーする新しい3DStyle-Diffusionモデルを提案する。
論文 参考訳(メタデータ) (2023-11-09T15:51:27Z) - DeepIron: Predicting Unwarped Garment Texture from a Single Image [9.427635404752934]
本稿では,1枚の写真から3次元衣料のテクスチャマップを再構築する新しい枠組みを提案する。
私たちのフレームワークのキーコンポーネントであるTexture Unwarperは、入力された衣料品画像から元のテクスチャイメージを推測する。
入力された衣服の本来のテクスチャを推定することにより、新しいポーズのためにリアルに変形した高品質なテクスチャ画像を表示することができる3D衣料モデルの再構築を支援する。
論文 参考訳(メタデータ) (2023-10-24T01:44:11Z) - Structure-Preserving 3D Garment Modeling with Neural Sewing Machines [190.70647799442565]
構造保存型3D衣料モデリングのための学習ベースフレームワークであるニューラル縫製機械(NSM)を提案する。
NSMは、多様な衣服形状とトポロジで3D衣服を表現でき、保存された構造で2D画像から3D衣服をリアルに再構成し、3D衣服カテゴリー、形状、トポロジを正確に操作することができる。
論文 参考訳(メタデータ) (2022-11-12T16:43:29Z) - xCloth: Extracting Template-free Textured 3D Clothes from a Monocular
Image [4.056667956036515]
テンプレートフリーなテクスチャ3次元衣料デジタル化のための新しいフレームワークを提案する。
具体的には、PeledHuman表現を拡張して、ピクセルアライメント、階層化深度、セマンティックマップを予測することを提案する。
3つの公開データセットを用いて高忠実度3次元衣料の再構築を行い,インターネット画像上での一般化を行った。
論文 参考訳(メタデータ) (2022-08-27T05:57:00Z) - Deep Hybrid Self-Prior for Full 3D Mesh Generation [57.78562932397173]
本稿では,深部ニューラルネットワークにおける2D-3Dのハイブリッドな自己優先性を利用して,幾何学的品質を著しく向上する手法を提案する。
特に,まず3次元自己優先型3次元畳み込みニューラルネットワークを用いて初期メッシュを生成し,次いで2次元紫外線アトラスに3次元情報と色情報をエンコードする。
本手法は,スパース入力から高品質な3次元テクスチャメッシュモデルを復元し,テクスチャ品質とテクスチャ品質の両面で最先端の手法より優れている。
論文 参考訳(メタデータ) (2021-08-18T07:44:21Z) - Real Time Incremental Foveal Texture Mapping for Autonomous Vehicles [11.702817783491616]
生成された詳細なマップは、さまざまなビジョンと計画アルゴリズムの仮想テストベッドとして機能します。
また、さまざまなビジョンおよび計画アルゴリズムの背景マップとしても機能します。
論文 参考訳(メタデータ) (2021-01-16T07:41:24Z) - 3DBooSTeR: 3D Body Shape and Texture Recovery [76.91542440942189]
3DBooSTeRは、部分的な3Dスキャンからテクスチャ化された3Dボディメッシュを復元する新しい方法である。
提案手法は形状とテクスチャの完成を2つの逐次的なタスクに分解する。
論文 参考訳(メタデータ) (2020-10-23T21:07:59Z) - Deep Fashion3D: A Dataset and Benchmark for 3D Garment Reconstruction
from Single Images [50.34202789543989]
Deep Fashion3Dは、これまでで最大の3D衣料品のコレクションだ。
3D機能ライン、3Dボディポーズ、対応するマルチビューリアルイメージなど、リッチなアノテーションを提供する。
一つのネットワークであらゆる種類の衣服を学習できる新しい適応型テンプレートが提案されている。
論文 参考訳(メタデータ) (2020-03-28T09:20:04Z) - Learning to Transfer Texture from Clothing Images to 3D Humans [50.838970996234465]
そこで本稿では,SMPL上着の3D衣服に衣料画像のテクスチャを自動的にリアルタイムに転送する手法を提案する。
まず, 高精度だが遅い3D-3D登録法を用いて, 整列した3D衣料を用いて, 画像のトレーニングペアを計算した。
我々のモデルは仮想試行のような応用への扉を開き、学習に必要な多様なテクスチャを持つ3D人間を作成できる。
論文 参考訳(メタデータ) (2020-03-04T12:53:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。