論文の概要: Gaussian Shell Maps for Efficient 3D Human Generation

• arxiv url: http://arxiv.org/abs/2311.17857v1
• Date: Wed, 29 Nov 2023 18:04:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 20:22:26.557725
• Title: Gaussian Shell Maps for Efficient 3D Human Generation
• Title（参考訳）: 効率的な3次元ヒューマンジェネレーションのためのガウスシェルマップ
• Authors: Rameen Abdal, Wang Yifan, Zifan Shi, Yinghao Xu, Ryan Po, Zhengfei Kuang, Qifeng Chen, Dit-Yan Yeung, Gordon Wetzstein
• Abstract要約: 3次元生成敵ネットワーク(GAN)は、生成資産の最先端(SOTA)品質と多様性を実証している。 しかし、現在の3D GANアーキテクチャはレンダリングが遅いボリューム表現に依存しており、GANのトレーニングを妨害し、マルチビュー非一貫性の2Dアップサンプラーを必要とする。
• 参考スコア（独自算出の注目度）: 96.25056237689988
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efficient generation of 3D digital humans is important in several industries, including virtual reality, social media, and cinematic production. 3D generative adversarial networks (GANs) have demonstrated state-of-the-art (SOTA) quality and diversity for generated assets. Current 3D GAN architectures, however, typically rely on volume representations, which are slow to render, thereby hampering the GAN training and requiring multi-view-inconsistent 2D upsamplers. Here, we introduce Gaussian Shell Maps (GSMs) as a framework that connects SOTA generator network architectures with emerging 3D Gaussian rendering primitives using an articulable multi shell--based scaffold. In this setting, a CNN generates a 3D texture stack with features that are mapped to the shells. The latter represent inflated and deflated versions of a template surface of a digital human in a canonical body pose. Instead of rasterizing the shells directly, we sample 3D Gaussians on the shells whose attributes are encoded in the texture features. These Gaussians are efficiently and differentiably rendered. The ability to articulate the shells is important during GAN training and, at inference time, to deform a body into arbitrary user-defined poses. Our efficient rendering scheme bypasses the need for view-inconsistent upsamplers and achieves high-quality multi-view consistent renderings at a native resolution of $512 \times 512$ pixels. We demonstrate that GSMs successfully generate 3D humans when trained on single-view datasets, including SHHQ and DeepFashion.
• Abstract（参考訳）: 3dデジタル人間の効率的な生成は、仮想現実、ソーシャルメディア、映画制作など、いくつかの業界で重要である。 3次元生成敵ネットワーク(GAN)は、生成資産の最先端(SOTA)品質と多様性を実証している。 しかし、現在の3D GANアーキテクチャは通常、レンダリングが遅いボリューム表現に依存しており、GANのトレーニングを妨害し、マルチビュー非一貫性の2Dアップサンプラーを必要とする。 本稿では,SOTAジェネレータネットワークアーキテクチャと,アーティキュラブルなマルチシェルベーススキャフォールドを用いた新しい3Dガウスレンダリングプリミティブを接続するフレームワークとして,Gaussian Shell Maps(GSM)を紹介する。 この設定では、CNNはシェルにマッピングされた特徴を持つ3Dテクスチャスタックを生成する。 後者は、標準的なボディポーズでデジタル人間のテンプレート表面の膨らませてデフレーションしたバージョンを表す。 貝殻を直接ラスタ化するのではなく、テクスチャの特徴をコード化した貝殻に3Dガウシアンを採取する。 これらのガウス語は効率的かつ微分的に表現される。 ganトレーニング中にシェルを調音する能力は重要であり、推論時には、任意のユーザ定義のポーズに身体を変形させる。 我々の効率的なレンダリング方式は、ビュー一貫性のないアップサンプラーの必要性を回避し、ネイティブ解像度512 \times 512$ピクセルで高品質なマルチビュー整合レンダリングを実現する。 GSMがSHHQやDeepFashionなど、単一ビューデータセットでトレーニングされた場合、GSMがうまく3Dヒューマンを生成することを示した。

関連論文リスト

• ScalingGaussian: Enhancing 3D Content Creation with Generative Gaussian Splatting [30.99112626706754]
  高品質な3Dアセットの作成は、デジタル遺産、エンターテイメント、ロボット工学の応用において最重要である。 伝統的に、このプロセスはモデリングに熟練した専門家と専門的なソフトウェアを必要とする。 本稿では,3Dテクスチャを効率的に生成する新しい3Dコンテンツ作成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-26T18:26:01Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• AGG: Amortized Generative 3D Gaussians for Single Image to 3D [108.38567665695027]
  Amortized Generative 3D Gaussian framework (AGG) を導入する。 AGGは、共同最適化のための3Dガウス位置およびその他の外観特性の生成を分解する。 本稿では,まず3次元データの粗い表現を生成し,後に3次元ガウス超解像モジュールでアップサンプリングするカスケードパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-01-08T18:56:33Z)
• Efficient 3D Articulated Human Generation with Layered Surface Volumes [131.3802971483426]
  我々は,デジタル人間のための新しい3次元オブジェクト表現として,層状表面体積(LSV)を導入する。 LSVは、従来のテンプレートの周囲の複数のテクスチャ層を使用して人体を表現する。 2Dジェネレータは個々のレイヤのRGBAテクスチャを合成することを学ぶ。
  論文  参考訳（メタデータ） (2023-07-11T17:50:02Z)
• Get3DHuman: Lifting StyleGAN-Human into a 3D Generative Model using Pixel-aligned Reconstruction Priors [56.192682114114724]
  Get3DHumanは、生成された結果のリアリズムと多様性を大幅に向上させる、新しい3Dヒューマンフレームワークである。 我々のキーとなる観察は、この3Dジェネレータは、人間の2Dジェネレータと3Dコンストラクタを通して学んだ、人間関係の先行技術から利益を得ることができるということだ。
  論文  参考訳（メタデータ） (2023-02-02T15:37:46Z)
• GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images [72.15855070133425]
  本稿では,複雑なトポロジ,リッチな幾何学的ディテール,高忠実度テクスチャを備えたExplicit Textured 3Dメッシュを直接生成する生成モデルであるGET3Dを紹介する。 GET3Dは、車、椅子、動物、バイク、人間キャラクターから建物まで、高品質な3Dテクスチャメッシュを生成することができる。
  論文  参考訳（メタデータ） (2022-09-22T17:16:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。