論文の概要: GSFusion: Online RGB-D Mapping Where Gaussian Splatting Meets TSDF Fusion

• arxiv url: http://arxiv.org/abs/2408.12677v2
• Date: Mon, 26 Aug 2024 01:08:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 12:32:31.092735
• Title: GSFusion: Online RGB-D Mapping Where Gaussian Splatting Meets TSDF Fusion
• Title（参考訳）: GSFusion:Gaussian SplattingがTSDF Fusionと競合するオンラインRGB-Dマッピング
• Authors: Jiaxin Wei, Stefan Leutenegger,
• Abstract要約: 従来の融合アルゴリズムは3次元シーンの空間構造を保存する。 ヴィジュアライゼーションの面では現実主義を欠いていることが多い。 GSFusionはレンダリング品質を犠牲にすることなく計算効率を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 12.964675001994124
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional volumetric fusion algorithms preserve the spatial structure of 3D scenes, which is beneficial for many tasks in computer vision and robotics. However, they often lack realism in terms of visualization. Emerging 3D Gaussian splatting bridges this gap, but existing Gaussian-based reconstruction methods often suffer from artifacts and inconsistencies with the underlying 3D structure, and struggle with real-time optimization, unable to provide users with immediate feedback in high quality. One of the bottlenecks arises from the massive amount of Gaussian parameters that need to be updated during optimization. Instead of using 3D Gaussian as a standalone map representation, we incorporate it into a volumetric mapping system to take advantage of geometric information and propose to use a quadtree data structure on images to drastically reduce the number of splats initialized. In this way, we simultaneously generate a compact 3D Gaussian map with fewer artifacts and a volumetric map on the fly. Our method, GSFusion, significantly enhances computational efficiency without sacrificing rendering quality, as demonstrated on both synthetic and real datasets. Code will be available at https://github.com/goldoak/GSFusion.
• Abstract（参考訳）: 従来の体積融合アルゴリズムは3Dシーンの空間構造を保存しており、コンピュータビジョンやロボット工学における多くのタスクに有用である。 しかし、ヴィジュアライゼーションの面では現実主義を欠いていることが多い。 新たな3Dガウシアンスプラッティングはこのギャップを橋渡しするが、既存のガウシアンベースの再構築手法は、下層の3D構造と矛盾するアーティファクトや不整合に悩まされ、リアルタイムの最適化に苦慮し、高品質なフィードバックをユーザに提供できなかった。 ボトルネックの1つは、最適化中に更新する必要がある大量のガウスパラメータから生じる。 3D Gaussianをスタンドアローンの地図表現として使用する代わりに、幾何学的情報を活用するためにボリュームマッピングシステムに組み込んで、画像上にクワッドツリーデータ構造を用いて、初期化されたスプレートの数を劇的に削減することを提案する。 このようにして、アーティファクトが少ないコンパクトな3次元ガウス写像と、フライ時の体積写像を同時に生成する。 我々の手法であるGSFusionは、合成データセットと実データセットの両方で示されるように、レンダリング品質を犠牲にすることなく、計算効率を著しく向上させる。 コードはhttps://github.com/goldoak/GSFusion.comから入手できる。

関連論文リスト

• 3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes [87.01284850604495]
  多視点画像から幾何学的に有意な放射場をモデル化するためのプリミティブとして3次元滑らかな凸を利用した3次元凸法(3DCS)を提案する。 3DCSは、MipNeizer, Tanks and Temples, Deep Blendingなどのベンチマークで、3DGSよりも優れたパフォーマンスを実現している。 本結果は,高品質なシーン再構築のための新しい標準となる3Dコンベクシングの可能性を強調した。
  論文  参考訳（メタデータ） (2024-11-22T14:31:39Z)
• HiSplat: Hierarchical 3D Gaussian Splatting for Generalizable Sparse-View Reconstruction [46.269350101349715]
  HiSplatは、一般化可能な3Dガウススプラッティングのための新しいフレームワークである。 階層的な3Dガウスを粗大な戦略で生成する。 これにより、再構築品質とデータセット間の一般化が大幅に向上する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:32Z)
• GeoLRM: Geometry-Aware Large Reconstruction Model for High-Quality 3D Gaussian Generation [65.33726478659304]
  GeoLRM(Geometry-Aware Large Restruction Model)は、512kガウスと21の入力画像で11GBのGPUメモリで高品質な資産を予測できる手法である。 従来の作品では、3D構造の本質的な空間性は無視されており、3D画像と2D画像の間の明示的な幾何学的関係は利用されていない。 GeoLRMは、3Dポイントを直接処理し、変形可能なクロスアテンション機構を使用する新しい3D対応トランスフォーマー構造を導入することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2024-06-21T17:49:31Z)
• Effective Rank Analysis and Regularization for Enhanced 3D Gaussian Splatting [33.01987451251659]
  3D Gaussian Splatting(3DGS)は、高品質な3D再構成によるリアルタイムレンダリングが可能な有望な技術として登場した。 その可能性にもかかわらず、3DGSは針のようなアーティファクト、準最適ジオメトリー、不正確な正常など、課題に直面している。 正規化として有効なランクを導入し、ガウスの構造を制約する。
  論文  参考訳（メタデータ） (2024-06-17T15:51:59Z)
• Splat-SLAM: Globally Optimized RGB-only SLAM with 3D Gaussians [87.48403838439391]
  3D Splattingは、RGBのみの高密度SLAMの幾何学と外観の強力な表現として登場した。 本稿では,高密度な3次元ガウス写像表現を持つRGBのみのSLAMシステムを提案する。 Replica、TUM-RGBD、ScanNetのデータセットに対する実験は、グローバルに最適化された3Dガウスの有効性を示している。
  論文  参考訳（メタデータ） (2024-05-26T12:26:54Z)
• latentSplat: Autoencoding Variational Gaussians for Fast Generalizable 3D Reconstruction [48.86083272054711]
  latentSplatは3D潜在空間における意味ガウスを予測し、軽量な生成型2Dアーキテクチャで切り落としてデコードする手法である。 latentSplatは、高速でスケーラブルで高解像度なデータでありながら、復元品質と一般化におけるこれまでの成果よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-24T20:48:36Z)
• AGG: Amortized Generative 3D Gaussians for Single Image to 3D [108.38567665695027]
  Amortized Generative 3D Gaussian framework (AGG) を導入する。 AGGは、共同最適化のための3Dガウス位置およびその他の外観特性の生成を分解する。 本稿では,まず3次元データの粗い表現を生成し,後に3次元ガウス超解像モジュールでアップサンプリングするカスケードパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-01-08T18:56:33Z)
• Compact 3D Scene Representation via Self-Organizing Gaussian Grids [10.816451552362823]
  3D Gaussian Splattingは、静的な3Dシーンをモデリングするための非常に有望なテクニックとして最近登場した。 本稿では3DGSのパラメータを局所的均一性を持つ2次元グリッドに整理したコンパクトなシーン表現を提案する。 本手法は,訓練時間の増加を伴わない複雑なシーンに対して,17倍から42倍の縮小係数を実現する。
  論文  参考訳（メタデータ） (2023-12-19T20:18:29Z)
• GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
  我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。 提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。 提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
  論文  参考訳（メタデータ） (2023-11-20T12:08:23Z)
• Smooth Mesh Estimation from Depth Data using Non-Smooth Convex Optimization [28.786685021545622]
  深度マップから直接3Dメッシュを構築し,立体視で三角測量したスパースランドマークを構築した。 当社のアプローチでは,リアルタイムに動作しながら,直接メッシュ再構築の最先端性を大幅に向上するスムーズで正確な3Dメッシュを生成する。
  論文  参考訳（メタデータ） (2021-08-06T06:29:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。