論文の概要: Identifying Unnecessary 3D Gaussians using Clustering for Fast Rendering
of 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2402.13827v1
- Date: Wed, 21 Feb 2024 14:16:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 15:07:43.064280
- Title: Identifying Unnecessary 3D Gaussians using Clustering for Fast Rendering
of 3D Gaussian Splatting
- Title(参考訳): 3次元gaussian splattingの高速レンダリングのためのクラスタリングを用いた不要な3次元gaussianの同定
- Authors: Joongho Jo, Hyeongwon Kim, and Jongsun Park
- Abstract要約: 3D-GSは、速度と画質の両方においてニューラル放射場(NeRF)を上回った新しいレンダリングアプローチである。
本研究では,現在のビューをレンダリングするために,不要な3次元ガウスをリアルタイムに識別する計算量削減手法を提案する。
Mip-NeRF360データセットの場合、提案手法は2次元画像投影の前に平均して3次元ガウスの63%を排除し、ピーク信号対雑音比(PSNR)を犠牲にすることなく全体のレンダリングを約38.3%削減する。
提案されたアクセラレータは、GPUと比較して10.7倍のスピードアップも達成している。
- 参考スコア(独自算出の注目度): 2.878831747437321
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D Gaussian splatting (3D-GS) is a new rendering approach that outperforms
the neural radiance field (NeRF) in terms of both speed and image quality.
3D-GS represents 3D scenes by utilizing millions of 3D Gaussians and projects
these Gaussians onto the 2D image plane for rendering. However, during the
rendering process, a substantial number of unnecessary 3D Gaussians exist for
the current view direction, resulting in significant computation costs
associated with their identification. In this paper, we propose a computational
reduction technique that quickly identifies unnecessary 3D Gaussians in
real-time for rendering the current view without compromising image quality.
This is accomplished through the offline clustering of 3D Gaussians that are
close in distance, followed by the projection of these clusters onto a 2D image
plane during runtime. Additionally, we analyze the bottleneck associated with
the proposed technique when executed on GPUs and propose an efficient hardware
architecture that seamlessly supports the proposed scheme. For the Mip-NeRF360
dataset, the proposed technique excludes 63% of 3D Gaussians on average before
the 2D image projection, which reduces the overall rendering computation by
almost 38.3% without sacrificing peak-signal-to-noise-ratio (PSNR). The
proposed accelerator also achieves a speedup of 10.7x compared to a GPU.
- Abstract(参考訳): 3次元ガウススプラッティング(3D-GS)は、速度と画質の両方においてニューラル放射場(NeRF)を上回った新しいレンダリング手法である。
3D-GSは、何百万もの3Dガウシアンを活用して3Dシーンを表現する。
しかし、レンダリングの過程では、現在のビュー方向に対してかなりの数の不要な3dガウスが存在し、その結果、その識別に関連するかなりの計算コストが発生する。
本稿では,画像品質を損なうことなく,リアルタイムに不要な3次元ガウスアンを識別できる計算量削減手法を提案する。
これは、距離が近い3Dガウスのオフラインクラスタリングと、実行中にこれらのクラスタを2Dイメージプレーンに投影することで実現される。
さらに,提案手法がgpu上で実行した場合のボトルネックを分析し,提案手法をシームレスにサポートする効率的なハードウェアアーキテクチャを提案する。
Mip-NeRF360データセットでは、2次元画像投影の前に平均して3次元ガウスの63%を除外し、ピーク信号対雑音比(PSNR)を犠牲にすることなく、全体のレンダリング計算を約38.3%削減する。
提案するアクセラレータは、gpuと比較して10.7倍のスピードアップを実現している。
関連論文リスト
- GES: Generalized Exponential Splatting for Efficient Radiance Field
Rendering [116.99325082775387]
GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。
周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
論文 参考訳(メタデータ) (2024-02-15T17:32:50Z) - AGG: Amortized Generative 3D Gaussians for Single Image to 3D [108.38567665695027]
Amortized Generative 3D Gaussian framework (AGG) を導入する。
AGGは、共同最適化のための3Dガウス位置およびその他の外観特性の生成を分解する。
本稿では,まず3次元データの粗い表現を生成し,後に3次元ガウス超解像モジュールでアップサンプリングするカスケードパイプラインを提案する。
論文 参考訳(メタデータ) (2024-01-08T18:56:33Z) - Compact 3D Scene Representation via Self-Organizing Gaussian Grids [11.604386285817302]
局所的均一性を持つ2次元格子に3次元ガウス格子のパラメータを整理したコンパクトなシーン表現を導入する。
本手法は,3次元シーンの分布と消費の領域において,トレーニング時間の増加を伴わず,複雑なシーンの8倍から26倍の縮小係数を達成している。
論文 参考訳(メタデータ) (2023-12-19T20:18:29Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳(メタデータ) (2023-11-30T17:58:57Z) - GaussianShader: 3D Gaussian Splatting with Shading Functions for
Reflective Surfaces [45.15827491185572]
反射面を持つシーンにおけるニューラルレンダリングを強化するために, 簡易シェーディング機能を3次元ガウスに応用する新しい手法を提案する。
実験の結果、ガウシアンシェーダーは効率と視覚的品質のバランスを保っていることがわかった。
論文 参考訳(メタデータ) (2023-11-29T17:22:26Z) - Multi-Scale 3D Gaussian Splatting for Anti-Aliased Rendering [52.89132136136605]
3Dガウシアンは最近、3D再構成とレンダリングの非常に効率的な表現として現れた。
そこで本研究では,ガウスを異なるスケールで維持し,同じシーンを表現できるマルチスケール3次元ガウススプラッティングアルゴリズムを提案する。
提案アルゴリズムは13%-66%のPSNRと160%-2400%のレンダリング速度を4$times$-128$times$ scale rendering on Mip-NeRF360 data。
論文 参考訳(メタデータ) (2023-11-28T03:31:35Z) - Compact 3D Gaussian Representation for Radiance Field [14.729871192785696]
本研究では,3次元ガウス点数を削減するための学習可能なマスク戦略を提案する。
また、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。
我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
論文 参考訳(メタデータ) (2023-11-22T20:31:16Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [54.56928482110888]
本稿では,まず3次元ガウス表現を同時局所化・マッピングシステムで利用するtextbfGS-SLAM$を紹介する。
提案手法では,地図の最適化とRGB-D再レンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳(メタデータ) (2023-11-20T12:08:23Z) - DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content
Creation [59.716180709678845]
本稿では,DreamGaussianを提案する。DreamGaussianは,効率と品質を両立させる新しい3Dコンテンツ生成フレームワークである。
我々の重要な洞察は、UV空間におけるメッシュ抽出とテクスチャ改善を伴う3次元ガウススプラッティングモデルを設計することである。
ニューラル・ラジアンス・フィールドにおける占有プルーニングとは対照的に、3次元ガウスの進行的な密度化は3次元生成タスクにおいて著しく速く収束することを示した。
論文 参考訳(メタデータ) (2023-09-28T17:55:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。