論文の概要: Robust 3D Garment Digitization from Monocular 2D Images for 3D Virtual Try-On Systems

• arxiv url: http://arxiv.org/abs/2111.15140v1
• Date: Tue, 30 Nov 2021 05:49:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-01 15:09:25.630651
• Title: Robust 3D Garment Digitization from Monocular 2D Images for 3D Virtual Try-On Systems
• Title（参考訳）: 3次元仮想トライオンシステムのための単眼2次元画像からのロバスト3次元衣料デジタイズ
• Authors: Sahib Majithia, Sandeep N. Parameswaran, Sadbhavana Babar, Vikram Garg, Astitva Srivastava and Avinash Sharma
• Abstract要約: 我々は,現実のファッションカタログ画像によく応用できる,堅牢な3次元衣料デジタル化ソリューションを開発した。 教師付き深層ネットワークをトレーニングしてランドマーク予測とテクスチャ塗布作業を行い,大量の合成データを生成した。 オンラインファッションのeコマースプラットフォームから収集した、小さなファッションカタログ画像に手動で注釈を付けました。
• 参考スコア（独自算出の注目度）: 1.7394606468019056
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this paper, we develop a robust 3D garment digitization solution that can generalize well on real-world fashion catalog images with cloth texture occlusions and large body pose variations. We assumed fixed topology parametric template mesh models for known types of garments (e.g., T-shirts, Trousers) and perform mapping of high-quality texture from an input catalog image to UV map panels corresponding to the parametric mesh model of the garment. We achieve this by first predicting a sparse set of 2D landmarks on the boundary of the garments. Subsequently, we use these landmarks to perform Thin-Plate-Spline-based texture transfer on UV map panels. Subsequently, we employ a deep texture inpainting network to fill the large holes (due to view variations & self-occlusions) in TPS output to generate consistent UV maps. Furthermore, to train the supervised deep networks for landmark prediction & texture inpainting tasks, we generated a large set of synthetic data with varying texture and lighting imaged from various views with the human present in a wide variety of poses. Additionally, we manually annotated a small set of fashion catalog images crawled from online fashion e-commerce platforms to finetune. We conduct thorough empirical evaluations and show impressive qualitative results of our proposed 3D garment texture solution on fashion catalog images. Such 3D garment digitization helps us solve the challenging task of enabling 3D Virtual Try-on.
• Abstract（参考訳）: 本稿では,布のテクスチャ・オクルージョンと大体ポーズのバリエーションを備えた実世界のファッションカタログ画像によく応用できる,堅牢な3次元衣料デジタル化ソリューションを開発する。 我々は、既知の衣服(Tシャツ、ズボンなど)の固定トポロジパラメトリックテンプレートメッシュモデルを想定し、入力カタログ画像から服のパラメトリックメッシュモデルに対応する紫外線マップパネルへの高品質なテクスチャマッピングを行った。 我々はまず衣服の境界に2dランドマークのばらばらな集合を予測してこれを達成する。 次に、これらのランドマークを用いて、紫外線マップパネル上で薄板スプラインベースのテクスチャ転送を行う。 その後,TPS出力における大きな穴を埋めるために,深いテクスチャ塗布網を用い,一貫した紫外線マップを生成する。 さらに,ランドマーク予測とテクスチャインペインティングタスクのために教師付き深層ネットワークを訓練するために,様々なテクスチャと様々な視点から様々なポーズで表示された画像を含む合成データ集合を作成した。 さらに、オンラインのファッションeコマースプラットフォームから収集した小さなファッションカタログ画像を手動で注釈付けし、微調整しました。 提案した3Dテクスチャのテクスチャソリューションを,ファッションカタログ画像上で,徹底的に評価し,印象的な質的結果を示す。 このような3D衣服のデジタル化は、3D仮想試着を可能にするという課題を解決するのに役立ちます。

関連論文リスト

• FAMOUS: High-Fidelity Monocular 3D Human Digitization Using View Synthesis [51.193297565630886]
  テクスチャを正確に推測することの難しさは、特に正面視画像の人物の背中のような不明瞭な領域に残る。 このテクスチャ予測の制限は、大規模で多様な3Dデータセットの不足に起因する。 本稿では,3次元デジタル化におけるテクスチャと形状予測の両立を図るために,広範囲な2次元ファッションデータセットを活用することを提案する。
  論文  参考訳（メタデータ） (2024-10-13T01:25:05Z)
• FabricDiffusion: High-Fidelity Texture Transfer for 3D Garments Generation from In-The-Wild Clothing Images [56.63824638417697]
  ファブリックディフュージョン(FabricDiffusion)は、織物のテクスチャを1枚の衣服画像から任意の形状の3D衣服に転送する方法である。 FabricDiffusionは、テクスチャパターン、材料特性、詳細な印刷物やロゴを含む、単一の衣料品画像から様々な特徴を伝達できることを示す。
  論文  参考訳（メタデータ） (2024-10-02T17:57:12Z)
• ViewDiff: 3D-Consistent Image Generation with Text-to-Image Models [65.22994156658918]
  実世界のデータから1つの認知過程において多視点画像を生成することを学習する手法を提案する。 我々は、任意の視点でより多くの3D一貫性のある画像をレンダリングする自己回帰生成を設計する。
  論文  参考訳（メタデータ） (2024-03-04T07:57:05Z)
• 3DStyle-Diffusion: Pursuing Fine-grained Text-driven 3D Stylization with 2D Diffusion Models [102.75875255071246]
  テキスト駆動型スタイリングによる3Dコンテンツ作成は、マルチメディアとグラフィックコミュニティにとって根本的な課題となっている。 2次元拡散モデルから制御可能な外観と幾何学的ガイダンスを付加した3次元メッシュのきめ細かいスタイリングをトリガーする新しい3DStyle-Diffusionモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-09T15:51:27Z)
• DeepIron: Predicting Unwarped Garment Texture from a Single Image [9.427635404752934]
  本稿では,1枚の写真から3次元衣料のテクスチャマップを再構築する新しい枠組みを提案する。 私たちのフレームワークのキーコンポーネントであるTexture Unwarperは、入力された衣料品画像から元のテクスチャイメージを推測する。 入力された衣服の本来のテクスチャを推定することにより、新しいポーズのためにリアルに変形した高品質なテクスチャ画像を表示することができる3D衣料モデルの再構築を支援する。
  論文  参考訳（メタデータ） (2023-10-24T01:44:11Z)
• xCloth: Extracting Template-free Textured 3D Clothes from a Monocular Image [4.056667956036515]
  テンプレートフリーなテクスチャ3次元衣料デジタル化のための新しいフレームワークを提案する。 具体的には、PeledHuman表現を拡張して、ピクセルアライメント、階層化深度、セマンティックマップを予測することを提案する。 3つの公開データセットを用いて高忠実度3次元衣料の再構築を行い,インターネット画像上での一般化を行った。
  論文  参考訳（メタデータ） (2022-08-27T05:57:00Z)
• Deep Fashion3D: A Dataset and Benchmark for 3D Garment Reconstruction from Single Images [50.34202789543989]
  Deep Fashion3Dは、これまでで最大の3D衣料品のコレクションだ。 3D機能ライン、3Dボディポーズ、対応するマルチビューリアルイメージなど、リッチなアノテーションを提供する。 一つのネットワークであらゆる種類の衣服を学習できる新しい適応型テンプレートが提案されている。
  論文  参考訳（メタデータ） (2020-03-28T09:20:04Z)
• Learning to Transfer Texture from Clothing Images to 3D Humans [50.838970996234465]
  そこで本稿では,SMPL上着の3D衣服に衣料画像のテクスチャを自動的にリアルタイムに転送する手法を提案する。 まず, 高精度だが遅い3D-3D登録法を用いて, 整列した3D衣料を用いて, 画像のトレーニングペアを計算した。 我々のモデルは仮想試行のような応用への扉を開き、学習に必要な多様なテクスチャを持つ3D人間を作成できる。
  論文  参考訳（メタデータ） (2020-03-04T12:53:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。