論文の概要: LetsGo: Large-Scale Garage Modeling and Rendering via LiDAR-Assisted Gaussian Primitives
- arxiv url: http://arxiv.org/abs/2404.09748v1
- Date: Mon, 15 Apr 2024 12:50:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 12:30:43.224981
- Title: LetsGo: Large-Scale Garage Modeling and Rendering via LiDAR-Assisted Gaussian Primitives
- Title（参考訳）: LetsGo: LiDAR支援型ガウスプリミティブによる大規模ガベージモデリングとレンダリング
- Authors: Jiadi Cui, Junming Cao, Yuhui Zhong, Liao Wang, Fuqiang Zhao, Penghao Wang, Yifan Chen, Zhipeng He, Lan Xu, Yujiao Shi, Yingliang Zhang, Jingyi Yu,
- Abstract要約: LetsGoは、大規模ガレージモデリングとレンダリングのためのLiDAR支援ガウススプラッティングアプローチである。
多様な幾何学構造を持つ5つの拡張ガレージシーンからなるGarageWorldデータセットを提案する。
本稿では, 3次元ガウススプラッティングアルゴリズムのトレーニングのための新しい深度正規化器を提案し, 描画画像中の浮動小片を効果的に除去する。
- 参考スコア（独自算出の注目度）: 43.546806550985536
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large garages are ubiquitous yet intricate scenes in our daily lives, posing challenges characterized by monotonous colors, repetitive patterns, reflective surfaces, and transparent vehicle glass. Conventional Structure from Motion (SfM) methods for camera pose estimation and 3D reconstruction fail in these environments due to poor correspondence construction. To address these challenges, this paper introduces LetsGo, a LiDAR-assisted Gaussian splatting approach for large-scale garage modeling and rendering. We develop a handheld scanner, Polar, equipped with IMU, LiDAR, and a fisheye camera, to facilitate accurate LiDAR and image data scanning. With this Polar device, we present a GarageWorld dataset consisting of five expansive garage scenes with diverse geometric structures and will release the dataset to the community for further research. We demonstrate that the collected LiDAR point cloud by the Polar device enhances a suite of 3D Gaussian splatting algorithms for garage scene modeling and rendering. We also propose a novel depth regularizer for 3D Gaussian splatting algorithm training, effectively eliminating floating artifacts in rendered images, and a lightweight Level of Detail (LOD) Gaussian renderer for real-time viewing on web-based devices. Additionally, we explore a hybrid representation that combines the advantages of traditional mesh in depicting simple geometry and colors (e.g., walls and the ground) with modern 3D Gaussian representations capturing complex details and high-frequency textures. This strategy achieves an optimal balance between memory performance and rendering quality. Experimental results on our dataset, along with ScanNet++ and KITTI-360, demonstrate the superiority of our method in rendering quality and resource efficiency.
- Abstract（参考訳）: 巨大なガレージは、私たちの日常生活において、至るところで複雑なシーンであり、単調な色、反復的なパターン、反射面、透明な車両ガラスによって特徴づけられる課題を呈している。
カメラポーズ推定のための従来のSfM(Strucical Structure from Motion)手法は,これらの環境では不一致である。
これらの課題に対処するために,LiDAR支援型ガウススプレイティングアプローチであるLetsGoを紹介した。
We developed a handheld scanner, Polar, equipped with IMU, LiDAR, and a fisheye camera, to help accurate LiDAR and image data scan。
このPolarデバイスでは、さまざまな幾何学構造を持つ5つの拡張ガレージシーンからなるGarageWorldデータセットを公開し、さらなる研究のためにデータセットをコミュニティに公開する。
収集したLiDAR点雲をPolarデバイスにより,ガレージシーンのモデリングとレンダリングのための3次元ガウススプレイティングアルゴリズム群を拡張できることを実証した。
また、レンダリング画像中の浮動小片を効果的に除去する3次元ガウススプラッティングアルゴリズムトレーニングのための新しいディープ・レギュラーと、Web ベースのデバイスでリアルタイムに見るためのライトウェイトなレベル・オブ・ディーテール・レンダラーを提案する。
さらに、単純な幾何学や色(例えば壁や地面)を描写する従来のメッシュの利点と、複雑なディテールや高周波テクスチャをキャプチャする現代の3Dガウス表現を組み合わせたハイブリッド表現についても検討する。
この戦略は、メモリ性能とレンダリング品質の最適なバランスを達成する。
ScanNet++ や KITTI-360 とともに,本手法が品質と資源効率のレンダリングに優れていることを示す実験結果を得た。
関連論文リスト
- EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis [72.53316783628803]
実時間微分可能な発光専用ボリュームレンダリング法であるExact Volumetric Ellipsoid Rendering (EVER)を提案する。
3D Gaussian Splatting(3DGS)による最近の手法とは異なり、プリミティブベースの表現は正確なボリュームレンダリングを可能にする。
本手法は,3DGSよりもブレンディング問題の方が精度が高く,ビューレンダリングの追従作業も容易であることを示す。
論文 参考訳（メタデータ） (2024-10-02T17:59:09Z) - GaRField++: Reinforced Gaussian Radiance Fields for Large-Scale 3D Scene Reconstruction [1.7624442706463355]
本稿では,3次元ガウススプラッティングに基づく大規模シーン再構築のための新しい枠組みを提案する(3DGS)。
スケーラビリティ問題に対処するため,大規模シーンを複数のセルに分割し,各セルの候補ポイントクラウドとカメラビューとを相関させる。
本研究では,大規模シーン再構成の最先端手法よりも連続的に高忠実度レンダリング結果を生成することを示す。
論文 参考訳（メタデータ） (2024-09-19T13:43:31Z) - Outdoor Scene Extrapolation with Hierarchical Generative Cellular Automata [70.9375320609781]
我々は,自律走行車(AV)で多量に捕獲された大規模LiDARスキャンから微細な3次元形状を生成することを目指している。
本稿では,空間的にスケーラブルな3次元生成モデルである階層型生成セルオートマトン (hGCA) を提案する。
論文 参考訳（メタデータ） (2024-06-12T14:56:56Z) - VFMM3D: Releasing the Potential of Image by Vision Foundation Model for Monocular 3D Object Detection [80.62052650370416]
モノクル3Dオブジェクト検出は、自律運転やロボティクスなど、さまざまなアプリケーションにおいて重要な役割を担っている。
本稿では,VFMM3Dを提案する。VFMM3Dは,ビジョンファウンデーションモデル(VFM)の機能を利用して,単一ビュー画像を正確にLiDARポイントクラウド表現に変換する,革新的なフレームワークである。
論文 参考訳（メタデータ） (2024-04-15T03:12:12Z) - MM-Gaussian: 3D Gaussian-based Multi-modal Fusion for Localization and Reconstruction in Unbounded Scenes [12.973283255413866]
MM-ガウスアン(MM-Gaussian)は、LiDARカメラを用いたマルチモーダル融合システムである。
我々は3次元ガウス点雲を画素レベルの勾配降下の助けを借りて利用し、写真の色情報を完全に活用する。
システムのロバスト性をさらに強化するため,我々は再局在モジュールを設計した。
論文 参考訳（メタデータ） (2024-04-05T11:14:19Z) - MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。
我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。
また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
論文 参考訳（メタデータ） (2024-04-01T04:57:41Z) - Neural Rendering based Urban Scene Reconstruction for Autonomous Driving [8.007494499012624]
ニューラルな暗黙表面と放射場を組み合わせたフレームワークを用いたマルチモーダル3次元シーン再構成を提案する。
Dense 3Dリコンストラクションは、自動アノテーションバリデーションを含む自動走行に多くの応用がある。
我々は,挑戦的な自動車シーンの質的,定量的な結果を示す。
論文 参考訳（メタデータ） (2024-02-09T23:20:23Z) - TULIP: Transformer for Upsampling of LiDAR Point Clouds [32.77657816997911]
LiDAR Upは、ロボットや自動運転車の認識システムにとって難しいタスクだ。
近年の研究では、3次元ユークリッド空間からのLiDARデータを2次元画像空間の超解像問題に変換することでこの問題を解決することを提案する。
低分解能LiDAR入力から高分解能LiDAR点雲を再構成する新しい方法であるTジオメトリを提案する。
論文 参考訳（メタデータ） (2023-12-11T10:43:28Z) - Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。
既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
論文 参考訳（メタデータ） (2023-08-21T10:38:32Z) - Large-Scale 3D Semantic Reconstruction for Automated Driving Vehicles
with Adaptive Truncated Signed Distance Function [9.414880946870916]
本稿では,LiDARとカメラセンサを用いた新しい3次元再構成と意味マッピングシステムを提案する。
Adaptive Truncated Functionは表面を暗黙的に記述するために導入され、異なるLiDAR点間隔を扱うことができる。
各三角形メッシュに対して最適なセマンティッククラスを推定するために,最適な画像パッチ選択戦略を提案する。
論文 参考訳（メタデータ） (2022-02-28T15:11:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。