論文の概要: StructLDM: Structured Latent Diffusion for 3D Human Generation
- arxiv url: http://arxiv.org/abs/2404.01241v3
- Date: Tue, 2 Jul 2024 15:53:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 07:19:16.685025
- Title: StructLDM: Structured Latent Diffusion for 3D Human Generation
- Title（参考訳）: StructLDM:3次元ヒューマンジェネレーションのための構造的潜在拡散
- Authors: Tao Hu, Fangzhou Hong, Ziwei Liu,
- Abstract要約: StructLDMは2次元画像から学習した拡散に基づく非条件の人間の生成モデルである。
ポーズ/ビュー/シェイプコントロールや、合成世代、部品認識の衣服編集、3Dバーチャルトライオンなどのハイレベルなタスクなど、さまざまなレベルのコントロール可能な3Dヒューマン生成と編集を可能にする。
- 参考スコア（独自算出の注目度）: 45.51684124904457
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent 3D human generative models have achieved remarkable progress by learning 3D-aware GANs from 2D images. However, existing 3D human generative methods model humans in a compact 1D latent space, ignoring the articulated structure and semantics of human body topology. In this paper, we explore more expressive and higher-dimensional latent space for 3D human modeling and propose StructLDM, a diffusion-based unconditional 3D human generative model, which is learned from 2D images. StructLDM solves the challenges imposed due to the high-dimensional growth of latent space with three key designs: 1) A semantic structured latent space defined on the dense surface manifold of a statistical human body template. 2) A structured 3D-aware auto-decoder that factorizes the global latent space into several semantic body parts parameterized by a set of conditional structured local NeRFs anchored to the body template, which embeds the properties learned from the 2D training data and can be decoded to render view-consistent humans under different poses and clothing styles. 3) A structured latent diffusion model for generative human appearance sampling. Extensive experiments validate StructLDM's state-of-the-art generation performance and illustrate the expressiveness of the structured latent space over the well-adopted 1D latent space. Notably, StructLDM enables different levels of controllable 3D human generation and editing, including pose/view/shape control, and high-level tasks including compositional generations, part-aware clothing editing, 3D virtual try-on, etc. Our project page is at: https://taohuumd.github.io/projects/StructLDM/.
- Abstract（参考訳）: 近年の3次元生成モデルは, 2次元画像から3次元認識型GANを学習することにより, 顕著な進歩を遂げている。
しかし、既存の3次元人間の生成法は、人間の身体トポロジーの明瞭な構造や意味を無視して、コンパクトな1次元潜伏空間で人間をモデル化する。
本稿では,より表現的かつ高次元な3次元人体モデリング空間を探索し,拡散に基づく非条件の3次元人体生成モデルであるStructLDMを提案する。
StructLDMは3つの重要な設計で、潜在空間の高次元成長による課題を解決する。
1) 統計的人体テンプレートの高密度表面多様体上に定義された意味構造潜在空間。
2)グローバルな潜伏空間を、身体テンプレートに固定された条件付き局所的NeRFの集合によってパラメータ化されたいくつかの意味体部分に分解する構造化された3D対応オートデコーダであって、2Dトレーニングデータから得られた特性を埋め込んで、異なるポーズや服装スタイルでビュー一貫性のある人間をレンダリングするためにデコードすることができる。
3)人体外見標本作成のための構造的潜伏拡散モデル
広範囲な実験により、StructLDMの最先端生成性能が検証され、構造化された潜時空間の1D潜時空間上の表現性を示す。
特に、StructLDMは、ポーズ/ビュー/シェイプ制御や、合成世代、部品認識衣料品編集、3Dバーチャルトライオンなどのハイレベルなタスクを含む、さまざまなレベルの制御可能な3Dヒューマンジェネレーションと編集を可能にする。
私たちのプロジェクトページは以下の通りです。
関連論文リスト
- Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。
具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。
これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
論文 参考訳（メタデータ） (2024-03-14T07:39:59Z) - En3D: An Enhanced Generative Model for Sculpting 3D Humans from 2D
Synthetic Data [36.51674664590734]
本研究では,高品質な3次元アバターの小型化を図ったEn3Dを提案する。
従来の3Dデータセットの不足や、視角が不均衡な限られた2Dコレクションと異なり、本研究の目的は、ゼロショットで3D人間を作れる3Dの開発である。
論文 参考訳（メタデータ） (2024-01-02T12:06:31Z) - Joint2Human: High-quality 3D Human Generation via Compact Spherical Embedding of 3D Joints [8.704552731994452]
Joint2Humanは、2次元拡散モデルを利用して詳細な3次元人間の幾何学を直接生成する新しい手法である。
提案手法は,グローバルな構造,局所的な詳細,高解像度,低計算コストを同時に確保できる。
論文 参考訳（メタデータ） (2023-12-14T01:24:22Z) - HyperHuman: Hyper-Realistic Human Generation with Latent Structural Diffusion [114.15397904945185]
本稿では,高リアリズムと多彩なレイアウトの人体画像を生成する統一的なフレームワークHyperHumanを提案する。
本モデルは,統合ネットワークにおける画像の外観,空間的関係,幾何学の連成学習を強制する。
我々のフレームワークは最先端の性能を生み出し、多様なシナリオ下で超現実的な人間の画像を生成する。
論文 参考訳（メタデータ） (2023-10-12T17:59:34Z) - HumanLiff: Layer-wise 3D Human Generation with Diffusion Model [55.891036415316876]
既存の3D生成モデルは、主に1回のパスで、検出不能な3Dモデルとして、着物付き3D人間を生成する。
拡散過程を統一した第1層の3次元人間生成モデルであるHumanLiffを提案する。
論文 参考訳（メタデータ） (2023-08-18T17:59:04Z) - High-fidelity 3D Human Digitization from Single 2K Resolution Images [16.29087820634057]
大規模な2K人間のデータセットを構築し、2K解像度画像から3次元人間のモデルを推定する2K2Kを提案する。
また, テクスチャマップ, 3Dジョイント, SMPLパラメータなど, 2,050個の人体モデルも提供する。
論文 参考訳（メタデータ） (2023-03-27T11:22:54Z) - Get3DHuman: Lifting StyleGAN-Human into a 3D Generative Model using
Pixel-aligned Reconstruction Priors [56.192682114114724]
Get3DHumanは、生成された結果のリアリズムと多様性を大幅に向上させる、新しい3Dヒューマンフレームワークである。
我々のキーとなる観察は、この3Dジェネレータは、人間の2Dジェネレータと3Dコンストラクタを通して学んだ、人間関係の先行技術から利益を得ることができるということだ。
論文 参考訳（メタデータ） (2023-02-02T15:37:46Z) - EVA3D: Compositional 3D Human Generation from 2D Image Collections [27.70991135165909]
EVA3Dは2次元画像のみから学習した無条件の3次元人体生成モデルである。
詳細な形状の3D人間をサンプリングし、鐘や笛を使わずに高品質な画像(最大512x256まで)をレンダリングすることができる。
テクスチャーとテクスチャ品質の両方に関して、最先端の3Dヒューマンジェネレーション性能を実現する。
論文 参考訳（メタデータ） (2022-10-10T17:59:31Z) - 3D-Aware Semantic-Guided Generative Model for Human Synthesis [67.86621343494998]
本稿では,人間の画像合成のための3D-SGAN(Semantic-Guided Generative Model)を提案する。
DeepFashionデータセットに関する我々の実験は、3D-SGANが最新のベースラインを大きく上回っていることを示している。
論文 参考訳（メタデータ） (2021-12-02T17:10:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。