論文の概要: GaussianCube: A Structured and Explicit Radiance Representation for 3D Generative Modeling

• arxiv url: http://arxiv.org/abs/2403.19655v4
• Date: Thu, 31 Oct 2024 03:33:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 16:57:38.544248
• Title: GaussianCube: A Structured and Explicit Radiance Representation for 3D Generative Modeling
• Title（参考訳）: GaussianCube:3次元生成モデリングのための構造的かつ明示的な放射率表現
• Authors: Bowen Zhang, Yiji Cheng, Jiaolong Yang, Chunyu Wang, Feng Zhao, Yansong Tang, Dong Chen, Baining Guo,
• Abstract要約: 構造的かつ完全明快な放射率表現を導入し、3次元生成モデリングを大幅に促進する。 我々はまず,新しい密度制約付きガウス適合アルゴリズムを用いてガウスキューブを導出する。 非条件およびクラス条件オブジェクト生成、デジタルアバター生成、テキスト・トゥ・3Dによる実験は、我々のモデル合成が最先端の生成結果を達成することを示す。
• 参考スコア（独自算出の注目度）: 55.05713977022407
• License:
• Abstract: We introduce a radiance representation that is both structured and fully explicit and thus greatly facilitates 3D generative modeling. Existing radiance representations either require an implicit feature decoder, which significantly degrades the modeling power of the representation, or are spatially unstructured, making them difficult to integrate with mainstream 3D diffusion methods. We derive GaussianCube by first using a novel densification-constrained Gaussian fitting algorithm, which yields high-accuracy fitting using a fixed number of free Gaussians, and then rearranging these Gaussians into a predefined voxel grid via Optimal Transport. Since GaussianCube is a structured grid representation, it allows us to use standard 3D U-Net as our backbone in diffusion modeling without elaborate designs. More importantly, the high-accuracy fitting of the Gaussians allows us to achieve a high-quality representation with orders of magnitude fewer parameters than previous structured representations for comparable quality, ranging from one to two orders of magnitude. The compactness of GaussianCube greatly eases the difficulty of 3D generative modeling. Extensive experiments conducted on unconditional and class-conditioned object generation, digital avatar creation, and text-to-3D synthesis all show that our model achieves state-of-the-art generation results both qualitatively and quantitatively, underscoring the potential of GaussianCube as a highly accurate and versatile radiance representation for 3D generative modeling. Project page: https://gaussiancube.github.io/.
• Abstract（参考訳）: 構造的かつ完全明快な放射率表現を導入し、3次元生成モデリングを大幅に促進する。 既存の放射率表現は暗黙的な特徴デコーダを必要とするか、表現のモデリング能力を著しく低下させるか、空間的に非構造化されているため、主流の3D拡散法と統合することが困難である。 ガウスキューブはまず, 正規化制約付きガウスフィッティングアルゴリズムを用いて導出し, 固定数のガウスフィッティングを用いて精度の高いガウスフィッティングを行い, そのガウスフィッティングを最適輸送により事前に定義されたボクセルグリッドに再構成する。 GaussianCubeは構造化グリッド表現であるため、複雑な設計をせずに拡散モデリングにおいて標準の3D U-Netをバックボーンとして使用できる。 さらに重要なことは、ガウスの高精度なフィッティングにより、1桁から2桁の範囲で、以前の構成された表現よりも桁違いに少ないパラメータで高品質な表現を実現できることである。 ガウスキューブのコンパクト性は、3次元生成モデリングの難しさを大幅に緩和する。 非条件・クラス条件オブジェクト生成、デジタルアバター生成、テキスト・トゥ・3D合成といった実験により、我々のモデルは定性的・定量的に、ガウスキューブの3次元生成モデルにおける高精度かつ多目的な放射率表現としての可能性を実証した。 プロジェクトページ: https://gaussiancube.github.io/.com

関連論文リスト

• L3DG: Latent 3D Gaussian Diffusion [74.36431175937285]
  L3DGは3次元ガウス拡散定式化による3次元ガウスの3次元モデリングのための最初のアプローチである。 我々は、部屋の大きさのシーンで効率的に操作するために、スパース畳み込みアーキテクチャーを用いている。 3Dガウス表現を利用することで、生成されたシーンを任意の視点からリアルタイムでレンダリングすることができる。
  論文  参考訳（メタデータ） (2024-10-17T13:19:32Z)
• Atlas Gaussians Diffusion for 3D Generation [37.68480030996363]
  潜在拡散モデルは、新しい3D生成技術の開発に有効であることが証明されている。 鍵となる課題は、潜在空間と3D空間を結びつける高忠実で効率的な表現を設計することである。 我々は、フィードフォワードネイティブな3D生成のための新しい表現であるAtlas Gaussiansを紹介する。
  論文  参考訳（メタデータ） (2024-08-23T13:27:27Z)
• Large Point-to-Gaussian Model for Image-to-3D Generation [48.95861051703273]
  2次元画像上での3次元拡散モデルから生成された初期点雲を入力する大規模点-ガウスモデルを提案する。 点雲はガウス生成に先立って最初の3次元幾何学を提供し、画像から3次元生成を著しく促進する。
  論文  参考訳（メタデータ） (2024-08-20T15:17:53Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• GSGAN: Adversarial Learning for Hierarchical Generation of 3D Gaussian Splats [20.833116566243408]
  本稿では,Gaussianを3D GANの3次元表現として利用し,その効率的かつ明示的な特徴を活用する。 生成したガウスの位置とスケールを効果的に正規化する階層的多スケールガウス表現を持つジェネレータアーキテクチャを導入する。 実験結果から,最先端の3D一貫したGANと比較して,レンダリング速度(x100)が大幅に向上することが示された。
  論文  参考訳（メタデータ） (2024-06-05T05:52:20Z)
• GVGEN: Text-to-3D Generation with Volumetric Representation [89.55687129165256]
  3Dガウススプラッティングは、高速で高品質なレンダリング機能で知られる3D再構成と生成のための強力な技術として登場した。 本稿では,テキスト入力から3次元ガウス表現を効率的に生成する新しい拡散型フレームワークGVGENを提案する。
  論文  参考訳（メタデータ） (2024-03-19T17:57:52Z)
• Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
  ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。 我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。 提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
  論文  参考訳（メタデータ） (2024-02-07T12:36:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。