論文の概要: GaussReg: Fast 3D Registration with Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2407.05254v1
- Date: Sun, 7 Jul 2024 04:35:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-09 20:37:03.742258
- Title: GaussReg: Fast 3D Registration with Gaussian Splatting
- Title(参考訳): GaussReg: Gaussian Splattingによる高速な3D登録
- Authors: Jiahao Chang, Yinglin Xu, Yihao Li, Yuantao Chen, Xiaoguang Han,
- Abstract要約: ポイントクラウドの登録は、大規模な3Dシーンのスキャンと再構築の基本的な問題である。
我々は,ポイントクラウド登録のための新しい粗粒度フレームワークであるGaussRegを提案する。
提案手法は,複数のデータセット上での最先端性能を実現する。
- 参考スコア(独自算出の注目度): 10.049564362260055
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Point cloud registration is a fundamental problem for large-scale 3D scene scanning and reconstruction. With the help of deep learning, registration methods have evolved significantly, reaching a nearly-mature stage. As the introduction of Neural Radiance Fields (NeRF), it has become the most popular 3D scene representation as its powerful view synthesis capabilities. Regarding NeRF representation, its registration is also required for large-scale scene reconstruction. However, this topic extremly lacks exploration. This is due to the inherent challenge to model the geometric relationship among two scenes with implicit representations. The existing methods usually convert the implicit representation to explicit representation for further registration. Most recently, Gaussian Splatting (GS) is introduced, employing explicit 3D Gaussian. This method significantly enhances rendering speed while maintaining high rendering quality. Given two scenes with explicit GS representations, in this work, we explore the 3D registration task between them. To this end, we propose GaussReg, a novel coarse-to-fine framework, both fast and accurate. The coarse stage follows existing point cloud registration methods and estimates a rough alignment for point clouds from GS. We further newly present an image-guided fine registration approach, which renders images from GS to provide more detailed geometric information for precise alignment. To support comprehensive evaluation, we carefully build a scene-level dataset called ScanNet-GSReg with 1379 scenes obtained from the ScanNet dataset and collect an in-the-wild dataset called GSReg. Experimental results demonstrate our method achieves state-of-the-art performance on multiple datasets. Our GaussReg is 44 times faster than HLoc (SuperPoint as the feature extractor and SuperGlue as the matcher) with comparable accuracy.
- Abstract(参考訳): ポイントクラウドの登録は、大規模な3Dシーンのスキャンと再構築の基本的な問題である。
ディープラーニングの助けを借りて、登録方法は大幅に進化し、ほぼ成熟した段階に達した。
ニューラル・レージアンス・フィールド(NeRF)の導入により、その強力なビュー合成能力として最も人気のある3Dシーン表現となった。
NeRF表現に関しては、大規模なシーン再構築にもその登録が必要である。
しかし、この話題は極端に探検を欠いている。
これは、暗黙の表現を持つ2つのシーン間の幾何学的関係をモデル化する固有の挑戦によるものである。
既存のメソッドは通常、さらなる登録のために暗黙の表現を明示的な表現に変換する。
最近では、Gaussian Splatting (GS)が導入され、明示的な3D Gaussianを採用している。
この方法は、高いレンダリング品質を維持しながら、レンダリング速度を大幅に向上させる。
本研究では, 明示的なGS表現を伴う2つのシーンを考慮し, それらの間の3次元登録作業について検討する。
この目的のために我々は,高速かつ高精度な新しい粗粒度フレームワークであるGaussRegを提案する。
粗い段階は、既存のポイントクラウド登録方法に従い、GSからのポイントクラウドの粗いアライメントを推定する。
さらに、画像ガイドによる微細な登録手法を新たに提案し、GS画像から画像を描画することで、正確なアライメントのためのより詳細な幾何学的情報を提供する。
包括的な評価を支援するため、ScanNet-GSRegと呼ばれるシーンレベルのデータセットを慎重に構築し、ScanNetデータセットから1379のシーンを取得し、GSRegと呼ばれるフィールド内データセットを収集する。
実験により,本手法は複数のデータセット上での最先端性能を実証した。
我々のGaussRegはHLoc(特徴抽出器はSuperPoint、整合器はSuperGlue)よりも44倍高速で、精度は同等です。
関連論文リスト
- PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。
また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。
我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
論文 参考訳(メタデータ) (2024-06-14T17:53:55Z) - Superpoint Gaussian Splatting for Real-Time High-Fidelity Dynamic Scene Reconstruction [10.208558194785017]
我々はSuperpoint Gaussian Splatting(SP-GS)という新しいフレームワークを提案する。
我々のフレームワークはまずシーンを再構築し、同様の性質を持つガウスをスーパーポイントにクラスタ化する。
これらのスーパーポイントを利用して、3次元ガウススプラッティングを動的シーンに拡張し、計算コストをわずかに増加させる。
論文 参考訳(メタデータ) (2024-06-06T02:32:41Z) - LP-3DGS: Learning to Prune 3D Gaussian Splatting [71.97762528812187]
本稿では,トレーニング可能な2値マスクを重要度に応用し,最適プルーニング比を自動的に検出する3DGSを提案する。
実験の結果,LP-3DGSは効率と高品質の両面において良好なバランスを保っていることがわかった。
論文 参考訳(メタデータ) (2024-05-29T05:58:34Z) - CoherentGS: Sparse Novel View Synthesis with Coherent 3D Gaussians [18.42203035154126]
2次元画像空間で制御できる構造付きガウス表現を導入する。
次に、ガウス群、特にその位置を制約し、最適化中に独立に動くのを防ぐ。
我々は,様々な場面における最先端のスパースビュー NeRF ベースのアプローチと比較して,顕著な改善を示した。
論文 参考訳(メタデータ) (2024-03-28T15:27:13Z) - Recent Advances in 3D Gaussian Splatting [31.3820273122585]
3次元ガウススプラッティングは、新規なビュー合成のレンダリング速度を大幅に高速化した。
3D Gaussian Splattingの明示的な表現は、動的再構成、幾何学的編集、物理シミュレーションなどの編集作業を容易にする。
本稿では,3次元再構成,3次元編集,その他の下流アプリケーションに大まかに分類できる最近の3次元ガウス散乱法について,文献的考察を行う。
論文 参考訳(メタデータ) (2024-03-17T07:57:08Z) - GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering [112.16239342037714]
GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。
周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
論文 参考訳(メタデータ) (2024-02-15T17:32:50Z) - Compact 3D Scene Representation via Self-Organizing Gaussian Grids [10.816451552362823]
3D Gaussian Splattingは、静的な3Dシーンをモデリングするための非常に有望なテクニックとして最近登場した。
本稿では3DGSのパラメータを局所的均一性を持つ2次元グリッドに整理したコンパクトなシーン表現を提案する。
本手法は,訓練時間の増加を伴わない複雑なシーンに対して,17倍から42倍の縮小係数を実現する。
論文 参考訳(メタデータ) (2023-12-19T20:18:29Z) - FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [58.41056963451056]
本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。
このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。
FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-12-01T09:30:02Z) - Compact 3D Gaussian Representation for Radiance Field [14.729871192785696]
本研究では,3次元ガウス点数を削減するための学習可能なマスク戦略を提案する。
また、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。
我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
論文 参考訳(メタデータ) (2023-11-22T20:31:16Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。
提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳(メタデータ) (2023-11-20T12:08:23Z) - SceneGraphFusion: Incremental 3D Scene Graph Prediction from RGB-D
Sequences [76.28527350263012]
rgb-dフレームのシーケンスを与えられた3次元環境から意味的シーングラフを漸進的に構築する手法を提案する。
我々は、グラフニューラルネットワークを用いて、プリミティブシーンコンポーネントからpointnet機能を集約する。
提案手法は,35hzで動作する他の3dセマンティクスおよびパンオプティカルセグメンテーション法と同等の精度で,高いマージンで3dシーングラフ予測手法を上回る。
論文 参考訳(メタデータ) (2021-03-27T13:00:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。