論文の概要: GSGAN: Adversarial Learning for Hierarchical Generation of 3D Gaussian Splats

• arxiv url: http://arxiv.org/abs/2406.02968v2
• Date: Fri, 15 Nov 2024 03:28:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:36:06.837735
• Title: GSGAN: Adversarial Learning for Hierarchical Generation of 3D Gaussian Splats
• Title（参考訳）: GSGAN:3次元ガウスプレートの階層的生成のための逆学習
• Authors: Sangeek Hyun, Jae-Pil Heo,
• Abstract要約: 本稿では,Gaussianを3D GANの3次元表現として利用し,その効率的かつ明示的な特徴を活用する。 生成したガウスの位置とスケールを効果的に正規化する階層的多スケールガウス表現を持つジェネレータアーキテクチャを導入する。 実験結果から,最先端の3D一貫したGANと比較して,レンダリング速度(x100)が大幅に向上することが示された。
• 参考スコア（独自算出の注目度）: 20.833116566243408
• License:
• Abstract: Most advances in 3D Generative Adversarial Networks (3D GANs) largely depend on ray casting-based volume rendering, which incurs demanding rendering costs. One promising alternative is rasterization-based 3D Gaussian Splatting (3D-GS), providing a much faster rendering speed and explicit 3D representation. In this paper, we exploit Gaussian as a 3D representation for 3D GANs by leveraging its efficient and explicit characteristics. However, in an adversarial framework, we observe that a na\"ive generator architecture suffers from training instability and lacks the capability to adjust the scale of Gaussians. This leads to model divergence and visual artifacts due to the absence of proper guidance for initialized positions of Gaussians and densification to manage their scales adaptively. To address these issues, we introduce a generator architecture with a hierarchical multi-scale Gaussian representation that effectively regularizes the position and scale of generated Gaussians. Specifically, we design a hierarchy of Gaussians where finer-level Gaussians are parameterized by their coarser-level counterparts; the position of finer-level Gaussians would be located near their coarser-level counterparts, and the scale would monotonically decrease as the level becomes finer, modeling both coarse and fine details of the 3D scene. Experimental results demonstrate that ours achieves a significantly faster rendering speed (x100) compared to state-of-the-art 3D consistent GANs with comparable 3D generation capability. Project page: https://hse1032.github.io/gsgan.
• Abstract（参考訳）: 3D生成適応ネットワーク(3D GAN)のほとんどの進歩はレイキャストベースのボリュームレンダリングに大きく依存しており、レンダリングコストが要求される。 1つの有望な代替手段は、ラスタライズベースの3Dガウススプラッティング(3D-GS)であり、より高速なレンダリング速度と明示的な3D表現を提供する。 本稿では,Gaussianを3D GANの3次元表現として利用し,その効率的かつ明示的な特徴を活用する。 しかし, 逆向きの枠組みでは, na\ 型ジェネレータアーキテクチャは訓練の不安定さに悩まされ, ガウスの規模を調節する能力が欠如している。 このことは、ガウスの初期化位置に対する適切なガイダンスがないことと、彼らのスケールを適応的に管理する密度化によって、モデルのばらつきと視覚的アーティファクトをもたらす。 これらの問題に対処するために、生成したガウスの位置とスケールを効果的に正規化する階層的マルチスケールガウス表現を持つジェネレータアーキテクチャを導入する。 具体的には,より微細なガウスの階層を,粗いレベルと細かな3次元シーンの両方をモデル化し,より微細なガウスの位置を粗いレベルに近い位置に置くことで,より微細なガウスの階層を設計する。 実験結果から,最先端の3D一貫したGANと同等の3D生成能力を持つGANと比較して,レンダリング速度(x100)が大幅に向上することが示された。 プロジェクトページ: https://hse1032.github.io/gsgan.com

関連論文リスト

• L3DG: Latent 3D Gaussian Diffusion [74.36431175937285]
  L3DGは3次元ガウス拡散定式化による3次元ガウスの3次元モデリングのための最初のアプローチである。 我々は、部屋の大きさのシーンで効率的に操作するために、スパース畳み込みアーキテクチャーを用いている。 3Dガウス表現を利用することで、生成されたシーンを任意の視点からリアルタイムでレンダリングすることができる。
  論文  参考訳（メタデータ） (2024-10-17T13:19:32Z)
• Atlas Gaussians Diffusion for 3D Generation [37.68480030996363]
  潜在拡散モデルは、新しい3D生成技術の開発に有効であることが証明されている。 鍵となる課題は、潜在空間と3D空間を結びつける高忠実で効率的な表現を設計することである。 我々は、フィードフォワードネイティブな3D生成のための新しい表現であるAtlas Gaussiansを紹介する。
  論文  参考訳（メタデータ） (2024-08-23T13:27:27Z)
• F-3DGS: Factorized Coordinates and Representations for 3D Gaussian Splatting [13.653629893660218]
  ニューラルレイディアンス場(NeRF)のレンダリング手法の代替として,F3DGS(Facterized 3D Gaussian Splatting)を提案する。 F-3DGSはレンダリング画像に匹敵する品質を維持しながら、ストレージコストを大幅に削減する。
  論文  参考訳（メタデータ） (2024-05-27T11:55:49Z)
• GaussianCube: A Structured and Explicit Radiance Representation for 3D Generative Modeling [55.05713977022407]
  構造的かつ完全明快な放射率表現を導入し、3次元生成モデリングを大幅に促進する。 我々はまず,新しい密度制約付きガウス適合アルゴリズムを用いてガウスキューブを導出する。 非条件およびクラス条件オブジェクト生成、デジタルアバター生成、テキスト・トゥ・3Dによる実験は、我々のモデル合成が最先端の生成結果を達成することを示す。
  論文  参考訳（メタデータ） (2024-03-28T17:59:50Z)
• Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting [55.71424195454963]
  Spec-Gaussian は球面調和の代わりに異方性球面ガウス場を利用するアプローチである。 実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。 この改良は、3D GSの適用性を高めて、特異面と異方面の複雑なシナリオを扱う。
  論文  参考訳（メタデータ） (2024-02-24T17:22:15Z)
• Identifying Unnecessary 3D Gaussians using Clustering for Fast Rendering of 3D Gaussian Splatting [2.878831747437321]
  3D-GSは、速度と画質の両方においてニューラル放射場(NeRF)を上回った新しいレンダリングアプローチである。 本研究では,現在のビューをレンダリングするために,不要な3次元ガウスをリアルタイムに識別する計算量削減手法を提案する。 Mip-NeRF360データセットの場合、提案手法は2次元画像投影の前に平均して3次元ガウスの63%を排除し、ピーク信号対雑音比(PSNR)を犠牲にすることなく全体のレンダリングを約38.3%削減する。 提案されたアクセラレータは、GPUと比較して10.7倍のスピードアップも達成している。
  論文  参考訳（メタデータ） (2024-02-21T14:16:49Z)
• GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering [112.16239342037714]
  GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。 周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
  論文  参考訳（メタデータ） (2024-02-15T17:32:50Z)
• AGG: Amortized Generative 3D Gaussians for Single Image to 3D [108.38567665695027]
  Amortized Generative 3D Gaussian framework (AGG) を導入する。 AGGは、共同最適化のための3Dガウス位置およびその他の外観特性の生成を分解する。 本稿では,まず3次元データの粗い表現を生成し,後に3次元ガウス超解像モジュールでアップサンプリングするカスケードパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-01-08T18:56:33Z)
• HumanGaussian: Text-Driven 3D Human Generation with Gaussian Splatting [113.37908093915837]
  既存の方法は、スコア蒸留サンプリング(SDS)を通じてメッシュやニューラルフィールドのような3D表現を最適化する。 本稿では,高精細な形状とリアルな外観を持つ高品質な3D人間を創出する,効率的かつ効果的な枠組みであるHumanGaussianを提案する。
  論文  参考訳（メタデータ） (2023-11-28T18:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。