論文の概要: Get3DHuman: Lifting StyleGAN-Human into a 3D Generative Model using Pixel-aligned Reconstruction Priors

• arxiv url: http://arxiv.org/abs/2302.01162v2
• Date: Mon, 6 Feb 2023 09:21:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-07 12:47:39.345787
• Title: Get3DHuman: Lifting StyleGAN-Human into a 3D Generative Model using Pixel-aligned Reconstruction Priors
• Title（参考訳）: get3dhuman:pixel-aligned reconstruction priorsを用いたstylegan-humanの3次元生成モデル
• Authors: Zhangyang Xiong, Di Kang, Derong Jin, Weikai Chen, Linchao Bao, Xiaoguang Han
• Abstract要約: Get3DHumanは、生成された結果のリアリズムと多様性を大幅に向上させる、新しい3Dヒューマンフレームワークである。 我々のキーとなる観察は、この3Dジェネレータは、人間の2Dジェネレータと3Dコンストラクタを通して学んだ、人間関係の先行技術から利益を得ることができるということだ。
• 参考スコア（独自算出の注目度）: 33.84684148882707
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fast generation of high-quality 3D digital humans is important to a vast number of applications ranging from entertainment to professional concerns. Recent advances in differentiable rendering have enabled the training of 3D generative models without requiring 3D ground truths. However, the quality of the generated 3D humans still has much room to improve in terms of both fidelity and diversity. In this paper, we present Get3DHuman, a novel 3D human framework that can significantly boost the realism and diversity of the generated outcomes by only using a limited budget of 3D ground-truth data. Our key observation is that the 3D generator can profit from human-related priors learned through 2D human generators and 3D reconstructors. Specifically, we bridge the latent space of Get3DHuman with that of StyleGAN-Human via a specially-designed prior network, where the input latent code is mapped to the shape and texture feature volumes spanned by the pixel-aligned 3D reconstructor. The outcomes of the prior network are then leveraged as the supervisory signals for the main generator network. To ensure effective training, we further propose three tailored losses applied to the generated feature volumes and the intermediate feature maps. Extensive experiments demonstrate that Get3DHuman greatly outperforms the other state-of-the-art approaches and can support a wide range of applications including shape interpolation, shape re-texturing, and single-view reconstruction through latent inversion.
• Abstract（参考訳）: エンタテインメントからプロの関心事まで,多数のアプリケーションにおいて,高品質な3dデジタルヒューマンの迅速な生成が重要である。 近年の微分可能レンダリングの進歩により、3次元基底真理を必要とせずに3次元生成モデルのトレーニングが可能となった。 しかし、生成された3d人間の品質は、忠実性と多様性の両面で改善の余地がある。 本稿では, 3次元地上データのみを用いて, 生成結果のリアリズムと多様性を著しく高めることのできる, 新たな3次元ヒューマンフレームワーク get3dhuman を提案する。 我々のキーとなる観察は、この3Dジェネレータは、人間の2Dジェネレータと3Dコンストラクタを通して学んだ、人間関係の先行技術から利益を得ることができるということだ。 具体的には,Get3DHumanの潜伏空間とStyleGAN-Humanを,特別に設計された事前ネットワークを介してブリッジする。 前のネットワークの結果は、メインジェネレータネットワークの監視信号として利用される。 効果的なトレーニングを実現するため,生成した特徴量と中間特徴量マップに適用した3つの補正された損失を提案する。 大規模な実験により、Get3DHumanは他の最先端のアプローチを大きく上回り、形状補間、形状再構成、潜伏反転による単一ビュー再構成を含む幅広いアプリケーションをサポートすることが示されている。

関連論文リスト

• DiffTF++: 3D-aware Diffusion Transformer for Large-Vocabulary 3D Generation [53.20147419879056]
  拡散型フィードフォワードフレームワークを導入し,単一モデルで課題に対処する。 TransFormerを用いた3D対応拡散モデルを構築し,より強力な3D生成,すなわちDiffTF++を提案する。 ShapeNetとOmniObject3Dの実験は、提案したモジュールの有効性を確実に実証している。
  論文  参考訳（メタデータ） (2024-05-13T17:59:51Z)
• IM-3D: Iterative Multiview Diffusion and Reconstruction for High-Quality 3D Generation [96.32684334038278]
  本稿では,テキスト・ツー・3Dモデルの設計空間について検討する。 画像生成装置の代わりに映像を考慮し、マルチビュー生成を大幅に改善する。 IM-3Dは,2次元ジェネレータネットワーク10-100xの評価回数を削減する。
  論文  参考訳（メタデータ） (2024-02-13T18:59:51Z)
• Progress and Prospects in 3D Generative AI: A Technical Overview including 3D human [51.58094069317723]
  本稿は,2023年後半に主に刊行された関連論文の概要と概要を概説することを目的とする。 最初は、AIが生成したオブジェクトモデルを3Dで議論し、続いて生成された3Dの人間モデル、そして最後に生成された3Dの人間の動きを、決定的な要約と未来へのビジョンで結論付ける。
  論文  参考訳（メタデータ） (2024-01-05T03:41:38Z)
• HumanLiff: Layer-wise 3D Human Generation with Diffusion Model [55.891036415316876]
  既存の3D生成モデルは、主に1回のパスで、検出不能な3Dモデルとして、着物付き3D人間を生成する。 拡散過程を統一した第1層の3次元人間生成モデルであるHumanLiffを提案する。
  論文  参考訳（メタデータ） (2023-08-18T17:59:04Z)
• 3D GANs and Latent Space: A comprehensive survey [0.0]
  3D GANは、3D再構成、ポイントクラウド再構成、および3Dセマンティックシーン補完に使用される新しいタイプの生成モデルである。 雑音の分布の選択は、遅延空間を表すため重要である。 本研究は,潜伏空間と3D GANを探索し,複数のGAN変種と訓練方法を調べ,3D GAN訓練の改善に関する洞察を得るとともに,今後の研究の方向性を示唆するものである。
  論文  参考訳（メタデータ） (2023-04-08T06:36:07Z)
• HumanGen: Generating Human Radiance Fields with Explicit Priors [19.5166920467636]
  HumanGenは、詳細な幾何学とリアルなフリービューレンダリングを備えた、新しい3Dヒューマンジェネレーションスキームである。 アンカーイメージ」の設計を通じて,3次元世代と2次元ジェネレータと3次元再構成器の様々な先行概念を明示的に結合する。
  論文  参考訳（メタデータ） (2022-12-10T15:27:48Z)
• GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images [72.15855070133425]
  本稿では,複雑なトポロジ,リッチな幾何学的ディテール,高忠実度テクスチャを備えたExplicit Textured 3Dメッシュを直接生成する生成モデルであるGET3Dを紹介する。 GET3Dは、車、椅子、動物、バイク、人間キャラクターから建物まで、高品質な3Dテクスチャメッシュを生成することができる。
  論文  参考訳（メタデータ） (2022-09-22T17:16:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。