論文の概要: MM-Gaussian: 3D Gaussian-based Multi-modal Fusion for Localization and Reconstruction in Unbounded Scenes
- arxiv url: http://arxiv.org/abs/2404.04026v1
- Date: Fri, 5 Apr 2024 11:14:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-08 16:14:58.191663
- Title: MM-Gaussian: 3D Gaussian-based Multi-modal Fusion for Localization and Reconstruction in Unbounded Scenes
- Title（参考訳）: MM-Gaussian:3D Gaussian-based Multi-modal Fusion for Localization and Reconstruction in Unbounded Scenes
- Authors: Chenyang Wu, Yifan Duan, Xinran Zhang, Yu Sheng, Jianmin Ji, Yanyong Zhang,
- Abstract要約: MM-ガウスアン(MM-Gaussian)は、LiDARカメラを用いたマルチモーダル融合システムである。
我々は3次元ガウス点雲を画素レベルの勾配降下の助けを借りて利用し、写真の色情報を完全に活用する。
システムのロバスト性をさらに強化するため,我々は再局在モジュールを設計した。
- 参考スコア（独自算出の注目度）: 12.973283255413866
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Localization and mapping are critical tasks for various applications such as autonomous vehicles and robotics. The challenges posed by outdoor environments present particular complexities due to their unbounded characteristics. In this work, we present MM-Gaussian, a LiDAR-camera multi-modal fusion system for localization and mapping in unbounded scenes. Our approach is inspired by the recently developed 3D Gaussians, which demonstrate remarkable capabilities in achieving high rendering quality and fast rendering speed. Specifically, our system fully utilizes the geometric structure information provided by solid-state LiDAR to address the problem of inaccurate depth encountered when relying solely on visual solutions in unbounded, outdoor scenarios. Additionally, we utilize 3D Gaussian point clouds, with the assistance of pixel-level gradient descent, to fully exploit the color information in photos, thereby achieving realistic rendering effects. To further bolster the robustness of our system, we designed a relocalization module, which assists in returning to the correct trajectory in the event of a localization failure. Experiments conducted in multiple scenarios demonstrate the effectiveness of our method.
- Abstract（参考訳）: ローカライゼーションとマッピングは、自動運転車やロボット工学といった様々なアプリケーションにとって重要なタスクである。
屋外環境がもたらす課題は、その非有界な特徴のため、特に複雑である。
本稿では,LiDARカメラを用いたマルチモーダル融合システムMM-Gaussianについて述べる。
当社のアプローチは,高画質かつ高速なレンダリングを実現するための優れた能力を示す,最近開発された3Dガウシアンにインスパイアされたものだ。
具体的には、ソリッドステートLiDARによって提供される幾何学的構造情報をフル活用し、非有界屋外シナリオにおける視覚的解のみに依存する場合に発生する不正確な深さの問題に対処する。
さらに,3次元ガウス点雲を画素レベルの勾配降下の助けを借りて,写真の色情報を完全に活用し,リアルなレンダリング効果を実現する。
システムのロバスト性をさらに強化するため,我々は再局在モジュールを設計し,局所化障害が発生した場合の正しい軌道への復帰を支援する。
複数のシナリオで実験を行い,本手法の有効性を実証した。
関連論文リスト
- GUS-IR: Gaussian Splatting with Unified Shading for Inverse Rendering [83.69136534797686]
GUS-IRは、粗く光沢のある表面を特徴とする複雑なシーンの逆レンダリング問題に対処するために設計された新しいフレームワークである。
本稿では、逆レンダリング、フォワードシェーディング、遅延シェーディングに広く使われている2つの顕著なシェーディング技術を分析し、比較することから始める。
両手法の利点を組み合わせた統合シェーディングソリューションを提案する。
論文 参考訳（メタデータ） (2024-11-12T01:51:05Z) - ES-Gaussian: Gaussian Splatting Mapping via Error Space-Based Gaussian Completion [9.443354889048614]
視覚ベースのマッピングは、粗い点雲のために高品質な3D再構成に苦しむことが多い。
低高度カメラと単線LiDARを用いた高品質な3D再構成システムES-Gaussianを提案する。
論文 参考訳（メタデータ） (2024-10-09T07:09:29Z) - LLMI3D: Empowering LLM with 3D Perception from a Single 2D Image [72.14973729674995]
現在の3D認識手法、特に小さなモデルでは、論理的推論、質問応答、オープンシナリオカテゴリの処理に苦労している。
空間的特徴抽出のための空間的局所特徴抽出法,精密な幾何回帰のための3次元問合せ情報復号法,カメラ焦点長変動に対する幾何学投影に基づく3次元推論を提案する。
論文 参考訳（メタデータ） (2024-08-14T10:00:16Z) - LumiGauss: High-Fidelity Outdoor Relighting with 2D Gaussian Splatting [15.11759492990967]
LumiGaussは,2次元ガウススプラッティングによるシーンの3次元再構成と環境照明を実現する技術である。
提案手法は高品質なシーン再構成を実現し,新しい環境マップ下でのリアルな照明合成を実現する。
論文 参考訳（メタデータ） (2024-08-06T23:41:57Z) - MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。
我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。
また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
論文 参考訳（メタデータ） (2024-04-01T04:57:41Z) - HO-Gaussian: Hybrid Optimization of 3D Gaussian Splatting for Urban Scenes [24.227745405760697]
本稿では,グリッドベースボリュームと3DGSパイプラインを組み合わせたHO-Gaussianというハイブリッド最適化手法を提案する。
広範に使用されている自律走行データセットの結果から,HO-Gaussianはマルチカメラ都市データセット上でリアルタイムに写真リアリスティックレンダリングを実現することが示された。
論文 参考訳（メタデータ） (2024-03-29T07:58:21Z) - VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。
提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
論文 参考訳（メタデータ） (2024-02-27T11:40:50Z) - Neural Rendering based Urban Scene Reconstruction for Autonomous Driving [8.007494499012624]
ニューラルな暗黙表面と放射場を組み合わせたフレームワークを用いたマルチモーダル3次元シーン再構成を提案する。
Dense 3Dリコンストラクションは、自動アノテーションバリデーションを含む自動走行に多くの応用がある。
我々は,挑戦的な自動車シーンの質的,定量的な結果を示す。
論文 参考訳（メタデータ） (2024-02-09T23:20:23Z) - GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [62.13932669494098]
本稿では,3次元ガウス表現を用いた3次元ガウス逆レンダリング(GIR)手法を提案する。
最短固有ベクトルを用いて各3次元ガウスの正規性を計算する。
我々は3次元ガウシアン毎に方向対応の放射光を格納し、多重バウンス光輸送を近似するために二次照明をアンタングルするために、効率的なボクセルベースの間接照明追跡方式を採用する。
論文 参考訳（メタデータ） (2023-12-08T16:05:15Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳（メタデータ） (2023-11-30T17:58:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。