論文の概要: LiDAR-3DGS: LiDAR Reinforced 3D Gaussian Splatting for Multimodal Radiance Field Rendering
- arxiv url: http://arxiv.org/abs/2409.16296v1
- Date: Mon, 09 Sep 2024 11:06:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-09-30 06:32:10.265461
- Title: LiDAR-3DGS: LiDAR Reinforced 3D Gaussian Splatting for Multimodal Radiance Field Rendering
- Title(参考訳): LiDAR-3DGS:マルチモーダルラジアンフィールドレンダリングのためのLiDAR強化3次元ガウススプレイティング
- Authors: Hansol Lim, Hanbeom Chang, Jongseong Brad Choi, Chul Min Yeum,
- Abstract要約: 本稿では,LiDAR生成点雲による3DGS入力の強化手法であるLiDAR-3DGSを提案する。
改良は、Radiance Field Renderingの他の派生作品に補うことができる。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: In this paper, we explore the capabilities of multimodal inputs to 3D Gaussian Splatting (3DGS) based Radiance Field Rendering. We present LiDAR-3DGS, a novel method of reinforcing 3DGS inputs with LiDAR generated point clouds to significantly improve the accuracy and detail of 3D models. We demonstrate a systematic approach of LiDAR reinforcement to 3DGS to enable capturing of important features such as bolts, apertures, and other details that are often missed by image-based features alone. These details are crucial for engineering applications such as remote monitoring and maintenance. Without modifying the underlying 3DGS algorithm, we demonstrate that even a modest addition of LiDAR generated point cloud significantly enhances the perceptual quality of the models. At 30k iterations, the model generated by our method resulted in an increase of 7.064% in PSNR and 0.565% in SSIM, respectively. Since the LiDAR used in this research was a commonly used commercial-grade device, the improvements observed were modest and can be further enhanced with higher-grade LiDAR systems. Additionally, these improvements can be supplementary to other derivative works of Radiance Field Rendering and also provide a new insight for future LiDAR and computer vision integrated modeling.
- Abstract(参考訳): 本稿では,3次元ガウス散乱(3DGS)に基づくレイディアンス場レンダリングにおけるマルチモーダル入力機能について検討する。
LiDAR-3DGSは、3次元モデルの精度とディテールを大幅に向上させるために、LiDAR生成点雲を用いて3DGS入力を補強する新しい方法である。
我々は3DGSへのLiDAR強化の体系的なアプローチを実証し、ボルトや開口などの重要な特徴を、画像ベースの特徴だけでは見落とされがちな細部を捉えることを可能にした。
これらの詳細は、リモート監視やメンテナンスといったエンジニアリングアプリケーションには不可欠です。
基礎となる3DGSアルゴリズムを変更することなく、LiDAR生成点クラウドをわずかに付加しても、モデルの知覚品質が著しく向上することを示した。
その結果,PSNRが7.064%,SSIMが0.565%増加した。
この研究で使用されるLiDARは一般の商用グレードデバイスであるため、観測された改善は控えめであり、より高いグレードのLiDARシステムでさらに強化することができる。
さらに、これらの改善は、Radiance Field Renderingの他の派生作品に補足することができ、将来のLiDARとコンピュータビジョン統合モデリングの新しい洞察を提供することができる。
関連論文リスト
- PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。
また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。
我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
論文 参考訳(メタデータ) (2024-06-14T17:53:55Z) - Multi-Modal Data-Efficient 3D Scene Understanding for Autonomous Driving [58.16024314532443]
我々は、異なるLiDARスキャンからレーザービーム操作を統合するフレームワークであるLaserMix++を導入し、データ効率の学習を支援するためにLiDAR-カメラ対応を組み込んだ。
結果は、LaserMix++が完全に教師付き代替よりも優れており、5倍のアノテーションで同等の精度を実現していることを示している。
この大幅な進歩は、LiDARベースの3Dシーン理解システムにおける広範囲なラベル付きデータへの依存を減らすための半教師付きアプローチの可能性を示している。
論文 参考訳(メタデータ) (2024-05-08T17:59:53Z) - LetsGo: Large-Scale Garage Modeling and Rendering via LiDAR-Assisted Gaussian Primitives [44.06145846507639]
LetsGoは、大規模ガレージモデリングとレンダリングのためのLiDAR支援のガウススプレイティングフレームワークである。
多様な幾何学構造を持つ8つのガレージシーンからなるGarageWorldデータセットを提示する。
レンダリング画像中の浮動小片を効果的に除去する新しい深度正規化器を提案する。
論文 参考訳(メタデータ) (2024-04-15T12:50:44Z) - TCLC-GS: Tightly Coupled LiDAR-Camera Gaussian Splatting for Autonomous Driving [14.80202289008908]
都市シーンの3次元ガウススティング(3D-GS)に基づくほとんどの3次元ガウススティング(3D-GS)は、3D LiDARポイントで直接3Dガウスを初期化する。
我々は,LiDAR-Camera Gaussian Splatting (TCLC-GS) を設計し,LiDARとカメラセンサの双方の強度をフル活用する。
提案手法は高速な訓練を行い,1920x1280 (Waymo) の解像度で90 FPS,都市シナリオで1600x900 (nuScenes) の解像度で120 FPS の解像度でリアルタイム RGB と深度レンダリングを実現する。
論文 参考訳(メタデータ) (2024-04-03T02:26:15Z) - Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian
Splatting [57.80942520483354]
3D-GSはしばしば、特異成分と異方性成分を正確にモデル化するのに困難に直面する。
球面調和の代わりに異方性球面ガウス場を利用するアプローチであるSpec-Gaussianを導入する。
実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。
論文 参考訳(メタデータ) (2024-02-24T17:22:15Z) - Improving LiDAR 3D Object Detection via Range-based Point Cloud Density
Optimization [13.727464375608765]
既存の3Dオブジェクト検出器は、遠くにある領域とは対照的に、LiDARセンサーに近い点雲領域でよく機能する傾向にある。
センサ近傍の高密度物体に対する検出モデルには学習バイアスがあり、異なる距離で入力点雲密度を操作するだけで検出性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2023-06-09T04:11:43Z) - LiDAR-NeRF: Novel LiDAR View Synthesis via Neural Radiance Fields [112.62936571539232]
本稿では,LiDARセンサのための新しいビュー合成手法を提案する。
スタイルトランスファーニューラルネットワークを用いた従来のモデルベースLiDARシミュレータは、新しいビューのレンダリングに応用できる。
ニューラル放射場(NeRF)を用いて幾何学と3D点の属性の連成学習を容易にする。
論文 参考訳(メタデータ) (2023-04-20T15:44:37Z) - LiDAR Distillation: Bridging the Beam-Induced Domain Gap for 3D Object
Detection [96.63947479020631]
多くの現実世界の応用において、大量生産されたロボットや車両が使用するLiDARポイントは通常、大規模な公開データセットよりもビームが少ない。
異なるLiDARビームによって誘導される領域ギャップをブリッジして3次元物体検出を行うLiDAR蒸留法を提案する。
論文 参考訳(メタデータ) (2022-03-28T17:59:02Z) - MonoDistill: Learning Spatial Features for Monocular 3D Object Detection [80.74622486604886]
本稿では,LiDAR信号からの空間情報を単分子3D検出器に導入するための簡易かつ効果的な手法を提案する。
得られたデータを用いて、ベースラインモデルと同じアーキテクチャで3D検出器をトレーニングする。
実験の結果,提案手法はベースラインモデルの性能を大幅に向上させることができることがわかった。
論文 参考訳(メタデータ) (2022-01-26T09:21:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。