論文の概要: GaussianCity: Generative Gaussian Splatting for Unbounded 3D City Generation
- arxiv url: http://arxiv.org/abs/2406.06526v2
- Date: Thu, 14 Nov 2024 07:29:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-15 15:22:06.355397
- Title: GaussianCity: Generative Gaussian Splatting for Unbounded 3D City Generation
- Title（参考訳）: ガウシアンシティ:非有界な3次元都市形成のためのガウシアンスプラッティング
- Authors: Haozhe Xie, Zhaoxi Chen, Fangzhou Hong, Ziwei Liu,
- Abstract要約: 3D Gaussian Splatting (3D-GS)は、オブジェクトレベルの3D生成に対して、非常に効率的な代替手段として登場した。
しかし、有限スケールの3Dオブジェクトや人間から無限スケールの3D都市への3D-GSの適応は簡単ではない。
本稿では,1つのフィードフォワードパスで効率よく3D都市を合成するためのガウススティングフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 44.203932215464214
- License:
- Abstract: 3D city generation with NeRF-based methods shows promising generation results but is computationally inefficient. Recently 3D Gaussian Splatting (3D-GS) has emerged as a highly efficient alternative for object-level 3D generation. However, adapting 3D-GS from finite-scale 3D objects and humans to infinite-scale 3D cities is non-trivial. Unbounded 3D city generation entails significant storage overhead (out-of-memory issues), arising from the need to expand points to billions, often demanding hundreds of Gigabytes of VRAM for a city scene spanning 10km^2. In this paper, we propose GaussianCity, a generative Gaussian Splatting framework dedicated to efficiently synthesizing unbounded 3D cities with a single feed-forward pass. Our key insights are two-fold: 1) Compact 3D Scene Representation: We introduce BEV-Point as a highly compact intermediate representation, ensuring that the growth in VRAM usage for unbounded scenes remains constant, thus enabling unbounded city generation. 2) Spatial-aware Gaussian Attribute Decoder: We present spatial-aware BEV-Point decoder to produce 3D Gaussian attributes, which leverages Point Serializer to integrate the structural and contextual characteristics of BEV points. Extensive experiments demonstrate that GaussianCity achieves state-of-the-art results in both drone-view and street-view 3D city generation. Notably, compared to CityDreamer, GaussianCity exhibits superior performance with a speedup of 60 times (10.72 FPS v.s. 0.18 FPS).
- Abstract（参考訳）: NeRF方式による3次元都市生成は,有望な生成結果を示すが,計算効率は良くない。
近年,3次元ガウススプラッティング(3D-GS)がオブジェクトレベル3次元生成の高効率な代替手段として出現している。
しかし、有限スケールの3Dオブジェクトや人間から無限スケールの3D都市への3D-GSの適応は簡単ではない。
無制限の3Dシティジェネレーションでは、ポイントを数十億に拡大する必要から生じるストレージオーバーヘッド(メモリ外問題)が大幅に増加し、10km^2の都市シーンでは数百ギガバイトのVRAMが要求される。
本稿では,ガウシアンシティ(GaussianCity)を提案する。ガウシアンシティ(GaussianCity)は,ガウシアンシティ(GaussianSplatting)を1つのフィードフォワードパスで効率的に合成するためのフレームワークである。
私たちの重要な洞察は2つあります。
1) コンパクトな3次元シーン表現: 高コンパクトな中間表現としてBEV-Pointを導入し, 未境界シーンのVRAM使用量の増加が一定であり, 未境界都市生成を可能にする。
2)空間認識型ガウス属性デコーダ:空間認識型BEV-Pointデコーダを用いて3次元ガウス属性を生成する。
広範にわたる実験により、ガウシアンシティーは、ドローンビューとストリートビューの2都市で、最先端の成果を達成している。
特にCityDreamerと比較して、GaussianCityは60倍のスピードアップ(10.72 FPS対0.18 FPS)で優れたパフォーマンスを示している。
関連論文リスト
- PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。
また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。
我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
論文 参考訳（メタデータ） (2024-06-14T17:53:55Z) - Adversarial Generation of Hierarchical Gaussians for 3D Generative Model [20.833116566243408]
本稿では,Gaussianを3D GANの3次元表現として利用し,その効率的かつ明示的な特徴を活用する。
生成したガウスの位置とスケールを効果的に正規化する階層的多スケールガウス表現を持つジェネレータアーキテクチャを導入する。
実験結果から,最先端の3D一貫したGANと比較して,レンダリング速度(x100)が大幅に向上することが示された。
論文 参考訳（メタデータ） (2024-06-05T05:52:20Z) - GVGEN: Text-to-3D Generation with Volumetric Representation [89.55687129165256]
3Dガウススプラッティングは、高速で高品質なレンダリング機能で知られる3D再構成と生成のための強力な技術として登場した。
本稿では,テキスト入力から3次元ガウス表現を効率的に生成する新しい拡散型フレームワークGVGENを提案する。
論文 参考訳（メタデータ） (2024-03-19T17:57:52Z) - Identifying Unnecessary 3D Gaussians using Clustering for Fast Rendering of 3D Gaussian Splatting [2.878831747437321]
3D-GSは、速度と画質の両方においてニューラル放射場(NeRF)を上回った新しいレンダリングアプローチである。
本研究では,現在のビューをレンダリングするために,不要な3次元ガウスをリアルタイムに識別する計算量削減手法を提案する。
Mip-NeRF360データセットの場合、提案手法は2次元画像投影の前に平均して3次元ガウスの63%を排除し、ピーク信号対雑音比(PSNR)を犠牲にすることなく全体のレンダリングを約38.3%削減する。
提案されたアクセラレータは、GPUと比較して10.7倍のスピードアップも達成している。
論文 参考訳（メタデータ） (2024-02-21T14:16:49Z) - AGG: Amortized Generative 3D Gaussians for Single Image to 3D [108.38567665695027]
Amortized Generative 3D Gaussian framework (AGG) を導入する。
AGGは、共同最適化のための3Dガウス位置およびその他の外観特性の生成を分解する。
本稿では,まず3次元データの粗い表現を生成し,後に3次元ガウス超解像モジュールでアップサンプリングするカスケードパイプラインを提案する。
論文 参考訳（メタデータ） (2024-01-08T18:56:33Z) - Compact 3D Scene Representation via Self-Organizing Gaussian Grids [10.816451552362823]
3D Gaussian Splattingは、静的な3Dシーンをモデリングするための非常に有望なテクニックとして最近登場した。
本稿では3DGSのパラメータを局所的均一性を持つ2次元グリッドに整理したコンパクトなシーン表現を提案する。
本手法は,訓練時間の増加を伴わない複雑なシーンに対して,17倍から42倍の縮小係数を実現する。
論文 参考訳（メタデータ） (2023-12-19T20:18:29Z) - Gaussian Shell Maps for Efficient 3D Human Generation [96.25056237689988]
3次元生成敵ネットワーク(GAN)は、生成資産の最先端(SOTA)品質と多様性を実証している。
しかし、現在の3D GANアーキテクチャはレンダリングが遅いボリューム表現に依存しており、GANのトレーニングを妨害し、マルチビュー非一貫性の2Dアップサンプラーを必要とする。
論文 参考訳（メタデータ） (2023-11-29T18:04:07Z) - HumanGaussian: Text-Driven 3D Human Generation with Gaussian Splatting [113.37908093915837]
既存の方法は、スコア蒸留サンプリング(SDS)を通じてメッシュやニューラルフィールドのような3D表現を最適化する。
本稿では,高精細な形状とリアルな外観を持つ高品質な3D人間を創出する,効率的かつ効果的な枠組みであるHumanGaussianを提案する。
論文 参考訳（メタデータ） (2023-11-28T18:59:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。