論文の概要: SCULPT: Shape-Conditioned Unpaired Learning of Pose-dependent Clothed and Textured Human Meshes

• arxiv url: http://arxiv.org/abs/2308.10638v1
• Date: Mon, 21 Aug 2023 11:23:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 13:50:28.221322
• Title: SCULPT: Shape-Conditioned Unpaired Learning of Pose-dependent Clothed and Textured Human Meshes
• Title（参考訳）: SCULPT:Pose-dependent Clothed and Textured Human Meshesの形状決定型アンペアラーニング
• Authors: Soubhik Sanyal, Partha Ghosh, Jinlong Yang, Michael J. Black, Justus Thies, Timo Bolkart
• Abstract要約: SCULPTは,人間の布とテクスチャを用いた3次元メッシュの新規な3次元生成モデルである。 ポーズ依存型・テクスチャ型ヒューマンメッシュの非ペア学習手法を提案する。 本手法をSCULPTデータセット上で検証し,布を被った人体に対する最先端の3D生成モデルと比較した。
• 参考スコア（独自算出の注目度）: 66.57091845220639
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present SCULPT, a novel 3D generative model for clothed and textured 3D meshes of humans. Specifically, we devise a deep neural network that learns to represent the geometry and appearance distribution of clothed human bodies. Training such a model is challenging, as datasets of textured 3D meshes for humans are limited in size and accessibility. Our key observation is that there exist medium-sized 3D scan datasets like CAPE, as well as large-scale 2D image datasets of clothed humans and multiple appearances can be mapped to a single geometry. To effectively learn from the two data modalities, we propose an unpaired learning procedure for pose-dependent clothed and textured human meshes. Specifically, we learn a pose-dependent geometry space from 3D scan data. We represent this as per vertex displacements w.r.t. the SMPL model. Next, we train a geometry conditioned texture generator in an unsupervised way using the 2D image data. We use intermediate activations of the learned geometry model to condition our texture generator. To alleviate entanglement between pose and clothing type, and pose and clothing appearance, we condition both the texture and geometry generators with attribute labels such as clothing types for the geometry, and clothing colors for the texture generator. We automatically generated these conditioning labels for the 2D images based on the visual question answering model BLIP and CLIP. We validate our method on the SCULPT dataset, and compare to state-of-the-art 3D generative models for clothed human bodies. We will release the codebase for research purposes.
• Abstract（参考訳）: SCULPTは,人間の布とテクスチャを用いた3次元メッシュの新規な3次元生成モデルである。 具体的には,身に着けた人体の形状と外観の分布を表現できる深層ニューラルネットワークを考案する。 このようなモデルのトレーニングは、人間のテクスチャ化された3Dメッシュのデータセットがサイズとアクセシビリティに制限されているため、難しい。 私たちのキーとなる観察は、CAPEのような中規模の3Dスキャンデータセットや、人間の大規模な2D画像データセットが存在し、複数の外観を単一の幾何学にマッピングできるということです。 この2つのデータモダリティから効果的に学習するために,ポーズ依存の衣服とテクスチャのメッシュを用いた非ペア学習手法を提案する。 具体的には、3Dスキャンデータからポーズ依存幾何学空間を学習する。 我々はこれをSMPLモデルによる頂点変位として表現する。 次に,2次元画像データを用いて幾何学条件付きテクスチャ生成器を教師なしで訓練する。 テクスチャ生成器の条件付けには,学習幾何モデルの中間アクティベーションを用いています。 ポーズと衣服タイプの絡み合いを緩和し、ポーズと衣服の外観を緩和するため、テクスチャとジオメトリージェネレータの両方に、テクスチャジェネレータ用の衣服タイプやテクスチャジェネレータ用の衣服色などの属性ラベルを付ける。 視覚質問応答モデルblipとクリップに基づいて,これらの2次元画像の条件付ラベルを自動生成する。 本手法をsculptデータセット上で検証し,人体における最先端の3次元生成モデルと比較した。 研究目的でコードベースをリリースします。

関連論文リスト

• FAMOUS: High-Fidelity Monocular 3D Human Digitization Using View Synthesis [51.193297565630886]
  テクスチャを正確に推測することの難しさは、特に正面視画像の人物の背中のような不明瞭な領域に残る。 このテクスチャ予測の制限は、大規模で多様な3Dデータセットの不足に起因する。 本稿では,3次元デジタル化におけるテクスチャと形状予測の両立を図るために,広範囲な2次元ファッションデータセットを活用することを提案する。
  論文  参考訳（メタデータ） (2024-10-13T01:25:05Z)
• AG3D: Learning to Generate 3D Avatars from 2D Image Collections [96.28021214088746]
  本稿では,2次元画像から現実的な3次元人物の新たな逆生成モデルを提案する。 本手法は, 全身型3Dジェネレータを用いて, 体の形状と変形を捉える。 提案手法は, 従来の3次元・調音認識手法よりも幾何的, 外観的に優れていた。
  論文  参考訳（メタデータ） (2023-05-03T17:56:24Z)
• Accurate 3D Body Shape Regression using Metric and Semantic Attributes [55.58629009876271]
  画像からの3次元身体形状の回帰は、人文計測や言語的形状特性から訓練できることを示す。 これは、画像から3次元の身体形状の回帰を、容易に測定できる人文計測と言語的形状特性から訓練できる最初の実演である。
  論文  参考訳（メタデータ） (2022-06-14T17:54:49Z)
• The Power of Points for Modeling Humans in Clothing [60.00557674969284]
  現在、アーティストはリアルな衣服で自然に動く3Dアバターを作る必要がある。 3次元表現は様々なトポロジを高分解能で捉えることができ、データから学習できることを示す。 我々は、異なる衣服の形状を表現するために、新しい局所的な衣服幾何学的特徴を持つニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2021-09-02T17:58:45Z)
• Leveraging 2D Data to Learn Textured 3D Mesh Generation [33.32377849866736]
  テクスチャ化された3Dメッシュの最初の生成モデルを示す。 我々は、各画像を3Dフォアグラウンドオブジェクトとしてモデル化することで、画像の分布を説明するためにモデルを訓練する。 レンダリングされたメッシュを生成して、トレーニングセットと同じようなイメージを生成する。
  論文  参考訳（メタデータ） (2020-04-08T18:00:37Z)
• Learning to Transfer Texture from Clothing Images to 3D Humans [50.838970996234465]
  そこで本稿では,SMPL上着の3D衣服に衣料画像のテクスチャを自動的にリアルタイムに転送する手法を提案する。 まず, 高精度だが遅い3D-3D登録法を用いて, 整列した3D衣料を用いて, 画像のトレーニングペアを計算した。 我々のモデルは仮想試行のような応用への扉を開き、学習に必要な多様なテクスチャを持つ3D人間を作成できる。
  論文  参考訳（メタデータ） (2020-03-04T12:53:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。