論文の概要: GarVerseLOD: High-Fidelity 3D Garment Reconstruction from a Single In-the-Wild Image using a Dataset with Levels of Details

• arxiv url: http://arxiv.org/abs/2411.03047v1
• Date: Tue, 05 Nov 2024 12:30:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 14:58:56.024900
• Title: GarVerseLOD: High-Fidelity 3D Garment Reconstruction from a Single In-the-Wild Image using a Dataset with Levels of Details
• Title（参考訳）: GarVerseLOD: 詳細レベルのデータセットを用いた一眼内画像からの高忠実度3次元ガーメント再構成
• Authors: Zhongjin Luo, Haolin Liu, Chenghong Li, Wanghao Du, Zirong Jin, Wanhu Sun, Yinyu Nie, Weikai Chen, Xiaoguang Han,
• Abstract要約: GarVerseLODは、1枚の制約のない画像から高忠実度3D衣服を復元する際、前例のない堅牢性を達成することを目的としている。 GarVerseLODは、プロのアーティストが手作業で作った精密な幾何学的な細部を持つ、高品質な布のモデル6000を収集する。 条件付き拡散モデルに基づく新しいラベリングパラダイムを提案する。
• 参考スコア（独自算出の注目度）: 21.959372614365908
• License:
• Abstract: Neural implicit functions have brought impressive advances to the state-of-the-art of clothed human digitization from multiple or even single images. However, despite the progress, current arts still have difficulty generalizing to unseen images with complex cloth deformation and body poses. In this work, we present GarVerseLOD, a new dataset and framework that paves the way to achieving unprecedented robustness in high-fidelity 3D garment reconstruction from a single unconstrained image. Inspired by the recent success of large generative models, we believe that one key to addressing the generalization challenge lies in the quantity and quality of 3D garment data. Towards this end, GarVerseLOD collects 6,000 high-quality cloth models with fine-grained geometry details manually created by professional artists. In addition to the scale of training data, we observe that having disentangled granularities of geometry can play an important role in boosting the generalization capability and inference accuracy of the learned model. We hence craft GarVerseLOD as a hierarchical dataset with levels of details (LOD), spanning from detail-free stylized shape to pose-blended garment with pixel-aligned details. This allows us to make this highly under-constrained problem tractable by factorizing the inference into easier tasks, each narrowed down with smaller searching space. To ensure GarVerseLOD can generalize well to in-the-wild images, we propose a novel labeling paradigm based on conditional diffusion models to generate extensive paired images for each garment model with high photorealism. We evaluate our method on a massive amount of in-the-wild images. Experimental results demonstrate that GarVerseLOD can generate standalone garment pieces with significantly better quality than prior approaches. Project page: https://garverselod.github.io/
• Abstract（参考訳）: ニューラル暗黙の機能は、複数の画像や単一の画像から人間のデジタル化の最先端に驚くべき進歩をもたらした。 しかし、進歩にもかかわらず、現在の芸術は、複雑な布の変形と身体のポーズで見えないイメージに一般化するのが困難である。 本稿では,1枚の制約のない画像から高忠実度3D衣服を復元する際の前例のない堅牢性を実現するための,新たなデータセットとフレームワークであるGarVerseLODを紹介する。 近年の大規模生成モデルの成功に触発されて、一般化の課題に対処する鍵は、3D衣料データの量と品質にあると信じている。 この目的に向けて、GarVerseLODは、プロのアーティストが手作業で作成した細かな幾何学的詳細を持つ、6,000の高品質の布モデルを集めている。 また,学習モデルの一般化能力や推論精度を高める上で,幾何の粒度が絡み合っていることが重要な役割を担っていると考えられる。 したがって、我々はGarVerseLODを詳細レベル(LOD)の階層的なデータセットとして作成し、ディテールフリーのスタイリングから、ピクセルアラインのディテールを持つポーズブレッドの衣服までの範囲にまたがる。 これにより、推論をより簡単なタスクに分解することで、この制約の少ない問題を、より小さな検索空間で絞り込むことができる。 そこで,GarVerseLODは,条件付き拡散モデルに基づく新しいラベリングパラダイムを提案する。 本手法は,Wild 画像の膨大な量に対して評価する。 実験結果から,GarVerseLODは従来の手法よりもはるかに優れた品質で,スタンドアロンの衣服を生成可能であることが示された。 プロジェクトページ: https://garverselod.github.io/

関連論文リスト

• Improving Virtual Try-On with Garment-focused Diffusion Models [91.95830983115474]
  拡散モデルは多くの画像合成タスクにおける生成的モデリングの革新をもたらした。 私たちは新しい拡散モデル、すなわちGarDiffを作り、衣服中心の拡散プロセスを引き起こします。 VITON-HDおよびDressCodeデータセットの実験は、最先端のVTONアプローチと比較して、GarDiffの優位性を示している。
  論文  参考訳（メタデータ） (2024-09-12T17:55:11Z)
• GarmentDreamer: 3DGS Guided Garment Synthesis with Diverse Geometry and Texture Details [31.92583566128599]
  伝統的な3D衣服の作成は、スケッチ、モデリング、紫外線マッピング、時間のかかるプロセスを含む労働集約型である。 本稿では,GarmentDreamerを提案する。GarmentDreamerは,テキストプロンプトから3D衣料を生成するためのガイダンスとして,3Dガウススプラッティング(GS)を利用する新しい手法である。
  論文  参考訳（メタデータ） (2024-05-20T23:54:28Z)
• A Generative Multi-Resolution Pyramid and Normal-Conditioning 3D Cloth Draping [37.77353302404437]
  条件付き変分オートエンコーダを試作し,3次元衣服の生成と描画を行う。 正準空間に衣服の詳細を段階的に付加するピラミッドネットワークを提案する。 CLOTH3DとCAPEの2つの公開データセットによる結果から,モデルが堅牢で,詳細生成の点で制御可能であることが示された。
  論文  参考訳（メタデータ） (2023-11-05T16:12:48Z)
• Registering Explicit to Implicit: Towards High-Fidelity Garment mesh Reconstruction from Single Images [19.43767376835559]
  暗黙的手法の一般的な問題は、衣服ごとに分離されたトポロジに一貫性のあるメッシュを生成できないことである。 画像から予測される全身暗黙のフィールドに明示的な衣服テンプレートを登録することにより、トポロジに一貫性のある衣服メッシュを再構築する新しい幾何学推論フレームワークReEFを提案する。
  論文  参考訳（メタデータ） (2022-03-28T18:13:01Z)
• Facial Geometric Detail Recovery via Implicit Representation [147.07961322377685]
  そこで本研究では,一眼の顔画像のみを用いて,テクスチャガイドを用いた幾何的細部復元手法を提案する。 提案手法は,高品質なテクスチャ補完と暗黙の面の強力な表現性を組み合わせたものである。 本手法は, 顔の正確な細部を復元するだけでなく, 正常部, アルベド部, シェーディング部を自己監督的に分解する。
  論文  参考訳（メタデータ） (2022-03-18T01:42:59Z)
• gDNA: Towards Generative Detailed Neural Avatars [94.9804106939663]
  我々のモデルでは,多様で詳細な衣服を身に着けた自然の人間のアバターを生成できることが示されている。 本手法は,人間のモデルを生のスキャンに適合させる作業に使用することができ,従来の最先端技術よりも優れていた。
  論文  参考訳（メタデータ） (2022-01-11T18:46:38Z)
• InvGAN: Invertible GANs [88.58338626299837]
  InvGANはInvertible GANの略で、高品質な生成モデルの潜在空間に実際の画像を埋め込むことに成功した。 これにより、画像のインペイント、マージ、オンラインデータ拡張を実行できます。
  論文  参考訳（メタデータ） (2021-12-08T21:39:00Z)
• OSTeC: One-Shot Texture Completion [86.23018402732748]
  ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。 提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。 完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
  論文  参考訳（メタデータ） (2020-12-30T23:53:26Z)
• Deep Fashion3D: A Dataset and Benchmark for 3D Garment Reconstruction from Single Images [50.34202789543989]
  Deep Fashion3Dは、これまでで最大の3D衣料品のコレクションだ。 3D機能ライン、3Dボディポーズ、対応するマルチビューリアルイメージなど、リッチなアノテーションを提供する。 一つのネットワークであらゆる種類の衣服を学習できる新しい適応型テンプレートが提案されている。
  論文  参考訳（メタデータ） (2020-03-28T09:20:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。