論文の概要: LetsGo: Large-Scale Garage Modeling and Rendering via LiDAR-Assisted Gaussian Primitives

• arxiv url: http://arxiv.org/abs/2404.09748v1
• Date: Mon, 15 Apr 2024 12:50:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 12:30:43.224981
• Title: LetsGo: Large-Scale Garage Modeling and Rendering via LiDAR-Assisted Gaussian Primitives
• Title（参考訳）: LetsGo: LiDAR支援型ガウスプリミティブによる大規模ガベージモデリングとレンダリング
• Authors: Jiadi Cui, Junming Cao, Yuhui Zhong, Liao Wang, Fuqiang Zhao, Penghao Wang, Yifan Chen, Zhipeng He, Lan Xu, Yujiao Shi, Yingliang Zhang, Jingyi Yu,
• Abstract要約: LetsGoは、大規模ガレージモデリングとレンダリングのためのLiDAR支援ガウススプラッティングアプローチである。 多様な幾何学構造を持つ5つの拡張ガレージシーンからなるGarageWorldデータセットを提案する。 本稿では, 3次元ガウススプラッティングアルゴリズムのトレーニングのための新しい深度正規化器を提案し, 描画画像中の浮動小片を効果的に除去する。
• 参考スコア（独自算出の注目度）: 43.546806550985536
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large garages are ubiquitous yet intricate scenes in our daily lives, posing challenges characterized by monotonous colors, repetitive patterns, reflective surfaces, and transparent vehicle glass. Conventional Structure from Motion (SfM) methods for camera pose estimation and 3D reconstruction fail in these environments due to poor correspondence construction. To address these challenges, this paper introduces LetsGo, a LiDAR-assisted Gaussian splatting approach for large-scale garage modeling and rendering. We develop a handheld scanner, Polar, equipped with IMU, LiDAR, and a fisheye camera, to facilitate accurate LiDAR and image data scanning. With this Polar device, we present a GarageWorld dataset consisting of five expansive garage scenes with diverse geometric structures and will release the dataset to the community for further research. We demonstrate that the collected LiDAR point cloud by the Polar device enhances a suite of 3D Gaussian splatting algorithms for garage scene modeling and rendering. We also propose a novel depth regularizer for 3D Gaussian splatting algorithm training, effectively eliminating floating artifacts in rendered images, and a lightweight Level of Detail (LOD) Gaussian renderer for real-time viewing on web-based devices. Additionally, we explore a hybrid representation that combines the advantages of traditional mesh in depicting simple geometry and colors (e.g., walls and the ground) with modern 3D Gaussian representations capturing complex details and high-frequency textures. This strategy achieves an optimal balance between memory performance and rendering quality. Experimental results on our dataset, along with ScanNet++ and KITTI-360, demonstrate the superiority of our method in rendering quality and resource efficiency.
• Abstract（参考訳）: 巨大なガレージは、私たちの日常生活において、至るところで複雑なシーンであり、単調な色、反復的なパターン、反射面、透明な車両ガラスによって特徴づけられる課題を呈している。 カメラポーズ推定のための従来のSfM(Strucical Structure from Motion)手法は,これらの環境では不一致である。 これらの課題に対処するために,LiDAR支援型ガウススプレイティングアプローチであるLetsGoを紹介した。 We developed a handheld scanner, Polar, equipped with IMU, LiDAR, and a fisheye camera, to help accurate LiDAR and image data scan。 このPolarデバイスでは、さまざまな幾何学構造を持つ5つの拡張ガレージシーンからなるGarageWorldデータセットを公開し、さらなる研究のためにデータセットをコミュニティに公開する。 収集したLiDAR点雲をPolarデバイスにより,ガレージシーンのモデリングとレンダリングのための3次元ガウススプレイティングアルゴリズム群を拡張できることを実証した。 また、レンダリング画像中の浮動小片を効果的に除去する3次元ガウススプラッティングアルゴリズムトレーニングのための新しいディープ・レギュラーと、Web ベースのデバイスでリアルタイムに見るためのライトウェイトなレベル・オブ・ディーテール・レンダラーを提案する。 さらに、単純な幾何学や色(例えば壁や地面)を描写する従来のメッシュの利点と、複雑なディテールや高周波テクスチャをキャプチャする現代の3Dガウス表現を組み合わせたハイブリッド表現についても検討する。 この戦略は、メモリ性能とレンダリング品質の最適なバランスを達成する。 ScanNet++ や KITTI-360 とともに,本手法が品質と資源効率のレンダリングに優れていることを示す実験結果を得た。

関連論文リスト

• MM-Gaussian: 3D Gaussian-based Multi-modal Fusion for Localization and Reconstruction in Unbounded Scenes [12.973283255413866]
  MM-ガウスアン(MM-Gaussian)は、LiDARカメラを用いたマルチモーダル融合システムである。 我々は3次元ガウス点雲を画素レベルの勾配降下の助けを借りて利用し、写真の色情報を完全に活用する。 システムのロバスト性をさらに強化するため,我々は再局在モジュールを設計した。
  論文  参考訳（メタデータ） (2024-04-05T11:14:19Z)
• TCLC-GS: Tightly Coupled LiDAR-Camera Gaussian Splatting for Surrounding Autonomous Driving Scenes [14.80202289008908]
  都市シーンの3次元ガウススティング(3D-GS)に基づくほとんどの3次元ガウススティング(3D-GS)は、3D LiDARポイントで直接3Dガウスを初期化する。 我々は,LiDAR-Camera Gaussian Splatting (TCLC-GS) を設計し,LiDARとカメラセンサの双方の強度をフル活用する。 提案手法は高速な訓練を行い,1920x1280 (Waymo) の解像度で90 FPS,都市シナリオで1600x900 (nuScenes) の解像度で120 FPS の解像度でリアルタイム RGB と深度レンダリングを実現する。
  論文  参考訳（メタデータ） (2024-04-03T02:26:15Z)
• MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
  カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。 我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。 また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
  論文  参考訳（メタデータ） (2024-04-01T04:57:41Z)
• 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
  3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。 多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。 競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T17:21:24Z)
• Neural Rendering based Urban Scene Reconstruction for Autonomous Driving [8.007494499012624]
  ニューラルな暗黙表面と放射場を組み合わせたフレームワークを用いたマルチモーダル3次元シーン再構成を提案する。 Dense 3Dリコンストラクションは、自動アノテーションバリデーションを含む自動走行に多くの応用がある。 我々は,挑戦的な自動車シーンの質的,定量的な結果を示す。
  論文  参考訳（メタデータ） (2024-02-09T23:20:23Z)
• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• Large-Scale 3D Semantic Reconstruction for Automated Driving Vehicles with Adaptive Truncated Signed Distance Function [9.414880946870916]
  本稿では,LiDARとカメラセンサを用いた新しい3次元再構成と意味マッピングシステムを提案する。 Adaptive Truncated Functionは表面を暗黙的に記述するために導入され、異なるLiDAR点間隔を扱うことができる。 各三角形メッシュに対して最適なセマンティッククラスを推定するために,最適な画像パッチ選択戦略を提案する。
  論文  参考訳（メタデータ） (2022-02-28T15:11:25Z)
• MonoDistill: Learning Spatial Features for Monocular 3D Object Detection [80.74622486604886]
  本稿では,LiDAR信号からの空間情報を単分子3D検出器に導入するための簡易かつ効果的な手法を提案する。 得られたデータを用いて、ベースラインモデルと同じアーキテクチャで3D検出器をトレーニングする。 実験の結果,提案手法はベースラインモデルの性能を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2022-01-26T09:21:41Z)
• UltraPose: Synthesizing Dense Pose with 1 Billion Points by Human-body Decoupling 3D Model [58.70130563417079]
  我々は,身体の発生を自由に制御できる,一連の分離されたパラメータを持つ新しい3次元人体モデルを導入する。 既存の手動注釈付きDensePose-COCOデータセットと比較して、合成されたUltraPoseは、アノテーションのコストと誤差を伴わずに、超高密度な画像-地上対応を持つ。
  論文  参考訳（メタデータ） (2021-10-28T16:24:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。