Fugu-MT 論文翻訳(概要): LetsGo: Large-Scale Garage Modeling and Rendering via LiDAR-Assisted Gaussian Primitives

論文の概要: LetsGo: Large-Scale Garage Modeling and Rendering via LiDAR-Assisted Gaussian Primitives

arxiv url: http://arxiv.org/abs/2404.09748v2
Date: Tue, 21 May 2024 09:31:16 GMT
ステータス: 処理完了
システム内更新日: 2024-05-22 18:02:40.427197
Title: LetsGo: Large-Scale Garage Modeling and Rendering via LiDAR-Assisted Gaussian Primitives
Title（参考訳）: LetsGo: LiDAR支援型ガウスプリミティブによる大規模ガベージモデリングとレンダリング
Authors: Jiadi Cui, Junming Cao, Fuqiang Zhao, Zhipeng He, Yifan Chen, Yuhui Zhong, Lan Xu, Yujiao Shi, Yingliang Zhang, Jingyi Yu,
Abstract要約: LetsGoは、大規模ガレージモデリングとレンダリングのためのLiDAR支援のガウススプレイティングフレームワークである。多様な幾何学構造を持つ8つのガレージシーンからなるGarageWorldデータセットを提示する。レンダリング画像中の浮動小片を効果的に除去する新しい深度正規化器を提案する。
参考スコア（独自算出の注目度）: 44.06145846507639
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Large garages are ubiquitous yet intricate scenes that present unique challenges due to their monotonous colors, repetitive patterns, reflective surfaces, and transparent vehicle glass. Conventional Structure from Motion (SfM) methods for camera pose estimation and 3D reconstruction often fail in these environments due to poor correspondence construction. To address these challenges, we introduce LetsGo, a LiDAR-assisted Gaussian splatting framework for large-scale garage modeling and rendering. We develop a handheld scanner, Polar, equipped with IMU, LiDAR, and a fisheye camera, to facilitate accurate data acquisition. Using this Polar device, we present the GarageWorld dataset, consisting of eight expansive garage scenes with diverse geometric structures, which will be made publicly available for further research. Our approach demonstrates that LiDAR point clouds collected by the Polar device significantly enhance a suite of 3D Gaussian splatting algorithms for garage scene modeling and rendering. We introduce a novel depth regularizer that effectively eliminates floating artifacts in rendered images. Additionally, we propose a multi-resolution 3D Gaussian representation designed for Level-of-Detail (LOD) rendering. This includes adapted scaling factors for individual levels and a random-resolution-level training scheme to optimize the Gaussians across different resolutions. This representation enables efficient rendering of large-scale garage scenes on lightweight devices via a web-based renderer. Experimental results on our GarageWorld dataset, as well as on ScanNet++ and KITTI-360, demonstrate the superiority of our method in terms of rendering quality and resource efficiency.
Abstract（参考訳）: 大きなガレージは、単調な色、繰り返しパターン、反射面、透明な車両ガラスなど、ユニークな課題を生んでいる。カメラポーズ推定のための従来のSfM(Strucical Structure from Motion)手法は、通信構造が貧弱なため、これらの環境では失敗することが多い。これらの課題に対処するため、大規模ガレージモデリングとレンダリングのためのLiDAR支援ガウススプレイティングフレームワークであるLetsGoを紹介した。我々は,IMU,LiDAR,魚眼カメラを備えたハンドヘルドスキャナPolarを開発し,正確なデータ取得を容易にする。このPolarデバイスを用いて、GarageWorldデータセットを提示する。このデータセットは、様々な幾何学構造を持つ8つの拡張ガレージシーンで構成されており、さらなる研究のために公開される予定である。提案手法により,Polaデバイスで収集したLiDAR点群は,ガレージシーンのモデリングとレンダリングのための3次元ガウススプラッティングアルゴリズムのスイートを大幅に強化することを示した。レンダリング画像中の浮動小片を効果的に除去する新しい深度正規化器を提案する。さらに,レベル・オブ・ディテール(LOD)レンダリング用に設計された多次元ガウス表現を提案する。これには、個々のレベルに対する適応的なスケーリング要因と、異なる解像度でガウスを最適化するランダム解像度レベルのトレーニングスキームが含まれる。この表現は、Webベースのレンダラーを介して、軽量デバイス上で大規模なガレージシーンの効率的なレンダリングを可能にする。 GarageWorldデータセットとScanNet++とKITTI-360での実験結果から,レンダリング品質と資源効率の点で,本手法の優位性を実証した。

関連論文リスト

Outdoor Scene Extrapolation with Hierarchical Generative Cellular Automata [70.9375320609781]
我々は,自律走行車(AV)で多量に捕獲された大規模LiDARスキャンから微細な3次元形状を生成することを目指している。本稿では,空間的にスケーラブルな3次元生成モデルである階層型生成セルオートマトン (hGCA) を提案する。
論文参考訳（メタデータ） (2024-06-12T14:56:56Z)
GEOcc: Geometrically Enhanced 3D Occupancy Network with Implicit-Explicit Depth Fusion and Contextual Self-Supervision [49.839374549646884]
本稿では,視覚のみのサラウンドビュー知覚に適したジオメトリ強化OccupancyネットワークであるGEOccについて述べる。提案手法は,Occ3D-nuScenesデータセット上で,画像解像度が最小で,画像バックボーンが最大である状態-Of-The-Art性能を実現する。
論文参考訳（メタデータ） (2024-05-17T07:31:20Z)
MM-Gaussian: 3D Gaussian-based Multi-modal Fusion for Localization and Reconstruction in Unbounded Scenes [12.973283255413866]
MM-ガウスアン(MM-Gaussian)は、LiDARカメラを用いたマルチモーダル融合システムである。我々は3次元ガウス点雲を画素レベルの勾配降下の助けを借りて利用し、写真の色情報を完全に活用する。システムのロバスト性をさらに強化するため,我々は再局在モジュールを設計した。
論文参考訳（メタデータ） (2024-04-05T11:14:19Z)
TCLC-GS: Tightly Coupled LiDAR-Camera Gaussian Splatting for Autonomous Driving [14.80202289008908]
都市シーンの3次元ガウススティング(3D-GS)に基づくほとんどの3次元ガウススティング(3D-GS)は、3D LiDARポイントで直接3Dガウスを初期化する。我々は,LiDAR-Camera Gaussian Splatting (TCLC-GS) を設計し,LiDARとカメラセンサの双方の強度をフル活用する。提案手法は高速な訓練を行い,1920x1280 (Waymo) の解像度で90 FPS,都市シナリオで1600x900 (nuScenes) の解像度で120 FPS の解像度でリアルタイム RGB と深度レンダリングを実現する。
論文参考訳（メタデータ） (2024-04-03T02:26:15Z)
MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
論文参考訳（メタデータ） (2024-04-01T04:57:41Z)
Neural Rendering based Urban Scene Reconstruction for Autonomous Driving [8.007494499012624]
ニューラルな暗黙表面と放射場を組み合わせたフレームワークを用いたマルチモーダル3次元シーン再構成を提案する。 Dense 3Dリコンストラクションは、自動アノテーションバリデーションを含む自動走行に多くの応用がある。我々は,挑戦的な自動車シーンの質的,定量的な結果を示す。
論文参考訳（メタデータ） (2024-02-09T23:20:23Z)
TULIP: Transformer for Upsampling of LiDAR Point Clouds [32.77657816997911]
LiDAR Upは、ロボットや自動運転車の認識システムにとって難しいタスクだ。近年の研究では、3次元ユークリッド空間からのLiDARデータを2次元画像空間の超解像問題に変換することでこの問題を解決することを提案する。低分解能LiDAR入力から高分解能LiDAR点雲を再構成する新しい方法であるTジオメトリを提案する。
論文参考訳（メタデータ） (2023-12-11T10:43:28Z)
GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [76.52007427483396]
GIRは3次元ガウス逆レンダリング法である。本手法は,多視点画像から物体の材料特性,照明,形状を推定するために3次元ガウス法を用いる。
論文参考訳（メタデータ） (2023-12-08T16:05:15Z)
Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
論文参考訳（メタデータ） (2023-08-21T10:38:32Z)
Large-Scale 3D Semantic Reconstruction for Automated Driving Vehicles with Adaptive Truncated Signed Distance Function [9.414880946870916]
本稿では,LiDARとカメラセンサを用いた新しい3次元再構成と意味マッピングシステムを提案する。 Adaptive Truncated Functionは表面を暗黙的に記述するために導入され、異なるLiDAR点間隔を扱うことができる。各三角形メッシュに対して最適なセマンティッククラスを推定するために,最適な画像パッチ選択戦略を提案する。
論文参考訳（メタデータ） (2022-02-28T15:11:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。