論文の概要: LetsGo: Large-Scale Garage Modeling and Rendering via LiDAR-Assisted Gaussian Primitives
- arxiv url: http://arxiv.org/abs/2404.09748v3
- Date: Wed, 18 Sep 2024 08:25:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-19 23:13:20.341099
- Title: LetsGo: Large-Scale Garage Modeling and Rendering via LiDAR-Assisted Gaussian Primitives
- Title（参考訳）: LetsGo: LiDAR支援型ガウスプリミティブによる大規模ガベージモデリングとレンダリング
- Authors: Jiadi Cui, Junming Cao, Fuqiang Zhao, Zhipeng He, Yifan Chen, Yuhui Zhong, Lan Xu, Yujiao Shi, Yingliang Zhang, Jingyi Yu,
- Abstract要約: LetsGoは、大規模ガレージモデリングとレンダリングのためのLiDAR支援のガウススプレイティングフレームワークである。
多様な幾何学構造を持つ8つのガレージシーンからなるGarageWorldデータセットを提示する。
レンダリング画像中の浮動小片を効果的に除去する新しい深度正規化器を提案する。
- 参考スコア（独自算出の注目度）: 44.06145846507639
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large garages are ubiquitous yet intricate scenes that present unique challenges due to their monotonous colors, repetitive patterns, reflective surfaces, and transparent vehicle glass. Conventional Structure from Motion (SfM) methods for camera pose estimation and 3D reconstruction often fail in these environments due to poor correspondence construction. To address these challenges, we introduce LetsGo, a LiDAR-assisted Gaussian splatting framework for large-scale garage modeling and rendering. We develop a handheld scanner, Polar, equipped with IMU, LiDAR, and a fisheye camera, to facilitate accurate data acquisition. Using this Polar device, we present the GarageWorld dataset, consisting of eight expansive garage scenes with diverse geometric structures, which will be made publicly available for further research. Our approach demonstrates that LiDAR point clouds collected by the Polar device significantly enhance a suite of 3D Gaussian splatting algorithms for garage scene modeling and rendering. We introduce a novel depth regularizer that effectively eliminates floating artifacts in rendered images. Additionally, we propose a multi-resolution 3D Gaussian representation designed for Level-of-Detail (LOD) rendering. This includes adapted scaling factors for individual levels and a random-resolution-level training scheme to optimize the Gaussians across different resolutions. This representation enables efficient rendering of large-scale garage scenes on lightweight devices via a web-based renderer. Experimental results on our GarageWorld dataset, as well as on ScanNet++ and KITTI-360, demonstrate the superiority of our method in terms of rendering quality and resource efficiency.
- Abstract（参考訳）: 大きなガレージは、単調な色、繰り返しパターン、反射面、透明な車両ガラスなど、ユニークな課題を生んでいる。
カメラポーズ推定のための従来のSfM(Strucical Structure from Motion)手法は、通信構造が貧弱なため、これらの環境では失敗することが多い。
これらの課題に対処するため、大規模ガレージモデリングとレンダリングのためのLiDAR支援ガウススプレイティングフレームワークであるLetsGoを紹介した。
我々は,IMU,LiDAR,魚眼カメラを備えたハンドヘルドスキャナPolarを開発し,正確なデータ取得を容易にする。
このPolarデバイスを用いて、GarageWorldデータセットを提示する。このデータセットは、様々な幾何学構造を持つ8つの拡張ガレージシーンで構成されており、さらなる研究のために公開される予定である。
提案手法により,Polaデバイスで収集したLiDAR点群は,ガレージシーンのモデリングとレンダリングのための3次元ガウススプラッティングアルゴリズムのスイートを大幅に強化することを示した。
レンダリング画像中の浮動小片を効果的に除去する新しい深度正規化器を提案する。
さらに,レベル・オブ・ディテール(LOD)レンダリング用に設計された多次元ガウス表現を提案する。
これには、個々のレベルに対する適応的なスケーリング要因と、異なる解像度でガウスを最適化するランダム解像度レベルのトレーニングスキームが含まれる。
この表現は、Webベースのレンダラーを介して、軽量デバイス上で大規模なガレージシーンの効率的なレンダリングを可能にする。
GarageWorldデータセットとScanNet++とKITTI-360での実験結果から,レンダリング品質と資源効率の点で,本手法の優位性を実証した。
関連論文リスト
- EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis [72.53316783628803]
実時間微分可能な発光専用ボリュームレンダリング法であるExact Volumetric Ellipsoid Rendering (EVER)を提案する。
3D Gaussian Splatting(3DGS)による最近の手法とは異なり、プリミティブベースの表現は正確なボリュームレンダリングを可能にする。
本手法は,3DGSよりもブレンディング問題の方が精度が高く,ビューレンダリングの追従作業も容易であることを示す。
論文 参考訳（メタデータ） (2024-10-02T17:59:09Z) - GaRField++: Reinforced Gaussian Radiance Fields for Large-Scale 3D Scene Reconstruction [1.7624442706463355]
本稿では,3次元ガウススプラッティングに基づく大規模シーン再構築のための新しい枠組みを提案する(3DGS)。
スケーラビリティ問題に対処するため,大規模シーンを複数のセルに分割し,各セルの候補ポイントクラウドとカメラビューとを相関させる。
本研究では,大規模シーン再構成の最先端手法よりも連続的に高忠実度レンダリング結果を生成することを示す。
論文 参考訳（メタデータ） (2024-09-19T13:43:31Z) - Outdoor Scene Extrapolation with Hierarchical Generative Cellular Automata [70.9375320609781]
我々は,自律走行車(AV)で多量に捕獲された大規模LiDARスキャンから微細な3次元形状を生成することを目指している。
本稿では,空間的にスケーラブルな3次元生成モデルである階層型生成セルオートマトン (hGCA) を提案する。
論文 参考訳（メタデータ） (2024-06-12T14:56:56Z) - VFMM3D: Releasing the Potential of Image by Vision Foundation Model for Monocular 3D Object Detection [80.62052650370416]
モノクル3Dオブジェクト検出は、自律運転やロボティクスなど、さまざまなアプリケーションにおいて重要な役割を担っている。
本稿では,VFMM3Dを提案する。VFMM3Dは,ビジョンファウンデーションモデル(VFM)の機能を利用して,単一ビュー画像を正確にLiDARポイントクラウド表現に変換する,革新的なフレームワークである。
論文 参考訳（メタデータ） (2024-04-15T03:12:12Z) - MM-Gaussian: 3D Gaussian-based Multi-modal Fusion for Localization and Reconstruction in Unbounded Scenes [12.973283255413866]
MM-ガウスアン(MM-Gaussian)は、LiDARカメラを用いたマルチモーダル融合システムである。
我々は3次元ガウス点雲を画素レベルの勾配降下の助けを借りて利用し、写真の色情報を完全に活用する。
システムのロバスト性をさらに強化するため,我々は再局在モジュールを設計した。
論文 参考訳（メタデータ） (2024-04-05T11:14:19Z) - MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。
我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。
また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
論文 参考訳（メタデータ） (2024-04-01T04:57:41Z) - Neural Rendering based Urban Scene Reconstruction for Autonomous Driving [8.007494499012624]
ニューラルな暗黙表面と放射場を組み合わせたフレームワークを用いたマルチモーダル3次元シーン再構成を提案する。
Dense 3Dリコンストラクションは、自動アノテーションバリデーションを含む自動走行に多くの応用がある。
我々は,挑戦的な自動車シーンの質的,定量的な結果を示す。
論文 参考訳（メタデータ） (2024-02-09T23:20:23Z) - TULIP: Transformer for Upsampling of LiDAR Point Clouds [32.77657816997911]
LiDAR Upは、ロボットや自動運転車の認識システムにとって難しいタスクだ。
近年の研究では、3次元ユークリッド空間からのLiDARデータを2次元画像空間の超解像問題に変換することでこの問題を解決することを提案する。
低分解能LiDAR入力から高分解能LiDAR点雲を再構成する新しい方法であるTジオメトリを提案する。
論文 参考訳（メタデータ） (2023-12-11T10:43:28Z) - Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。
既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
論文 参考訳（メタデータ） (2023-08-21T10:38:32Z) - Large-Scale 3D Semantic Reconstruction for Automated Driving Vehicles
with Adaptive Truncated Signed Distance Function [9.414880946870916]
本稿では,LiDARとカメラセンサを用いた新しい3次元再構成と意味マッピングシステムを提案する。
Adaptive Truncated Functionは表面を暗黙的に記述するために導入され、異なるLiDAR点間隔を扱うことができる。
各三角形メッシュに対して最適なセマンティッククラスを推定するために,最適な画像パッチ選択戦略を提案する。
論文 参考訳（メタデータ） (2022-02-28T15:11:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。