論文の概要: R$^3$LIVE++: A Robust, Real-time, Radiance reconstruction package with a
tightly-coupled LiDAR-Inertial-Visual state Estimator
- arxiv url: http://arxiv.org/abs/2209.03666v1
- Date: Thu, 8 Sep 2022 09:26:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-09 13:32:21.736792
- Title: R$^3$LIVE++: A Robust, Real-time, Radiance reconstruction package with a
tightly-coupled LiDAR-Inertial-Visual state Estimator
- Title（参考訳）: R$3$LIVE++: 密結合したLiDAR-Inertial-Visual State Estimatorを備えたロバストでリアルタイムな放射率再構成パッケージ
- Authors: Jiarong Lin and Fu Zhang
- Abstract要約: 同時ローカライゼーションとマッピング(SLAM)は、自律ロボット(例えば、自動運転車、無人ドローン)、3Dマッピングシステム、AR/VRアプリケーションに不可欠である。
この研究は、R$3$LIVE++と呼ばれる新しいLiDAR-慣性-視覚融合フレームワークを提案した。
- 参考スコア（独自算出の注目度）: 5.972044427549262
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Simultaneous localization and mapping (SLAM) are crucial for autonomous
robots (e.g., self-driving cars, autonomous drones), 3D mapping systems, and
AR/VR applications. This work proposed a novel LiDAR-inertial-visual fusion
framework termed R$^3$LIVE++ to achieve robust and accurate state estimation
while simultaneously reconstructing the radiance map on the fly. R$^3$LIVE++
consists of a LiDAR-inertial odometry (LIO) and a visual-inertial odometry
(VIO), both running in real-time. The LIO subsystem utilizes the measurements
from a LiDAR for reconstructing the geometric structure (i.e., the positions of
3D points), while the VIO subsystem simultaneously recovers the radiance
information of the geometric structure from the input images. R$^3$LIVE++ is
developed based on R$^3$LIVE and further improves the accuracy in localization
and mapping by accounting for the camera photometric calibration (e.g.,
non-linear response function and lens vignetting) and the online estimation of
camera exposure time. We conduct more extensive experiments on both public and
our private datasets to compare our proposed system against other
state-of-the-art SLAM systems. Quantitative and qualitative results show that
our proposed system has significant improvements over others in both accuracy
and robustness. In addition, to demonstrate the extendability of our work, {we
developed several applications based on our reconstructed radiance maps, such
as high dynamic range (HDR) imaging, virtual environment exploration, and 3D
video gaming.} Lastly, to share our findings and make contributions to the
community, we make our codes, hardware design, and dataset publicly available
on our Github: github.com/hku-mars/r3live
- Abstract（参考訳）: 同時ローカライゼーションとマッピング(SLAM)は、自律ロボット(例えば、自動運転車、無人ドローン)、3Dマッピングシステム、AR/VRアプリケーションに不可欠である。
この研究は、r$^3$live++と呼ばれる新しいlidar-inertial-visual fusionフレームワークを提案し、ラミアンスマップをオンザフライで再構築しながら、ロバストで正確な状態推定を可能にした。
R$3$LIVE++はLIO(LiDAR-inertial odometry)とVIO(visual-inertial odometry)で構成される。
LIOサブシステムは、LiDARからの計測を利用して幾何学構造(すなわち3Dポイントの位置)を再構成し、VIOサブシステムは入力画像から幾何学構造の放射情報を同時に復元する。
r$^3$live++ は r$^3$live に基づいて開発され、カメラの測光キャリブレーション(非線形応答関数やレンズの移動など)とオンラインのカメラ露光時間の推定を考慮し、ローカライゼーションとマッピングの精度をさらに向上させる。
提案するシステムを他の最先端slamシステムと比較するために、パブリックデータセットとプライベートデータセットの両方でより広範な実験を行います。
定量的・定性的な結果から,本システムは他のシステムに比べて精度と頑健性の両方において有意な改善が得られた。
さらに,本研究の拡張性を示すために,高ダイナミックレンジ(HDR)イメージング,仮想環境探索,3Dビデオゲームなど,再構成された放射率マップに基づくいくつかのアプリケーションを開発した。
最後に、私たちの調査結果を共有し、コミュニティに貢献するために、コード、ハードウェア設計、データセットをgithub.com/hku-mars/r3live.comで公開しています。
関連論文リスト
- PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。
本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文 参考訳（メタデータ） (2024-10-29T15:28:15Z) - FAST-LIVO2: Fast, Direct LiDAR-Inertial-Visual Odometry [28.606325312582218]
我々は,SLAMタスクにおける高精度かつ堅牢な状態推定を実現するために,高速かつ直接的LiDAR慣性・視覚的オドメトリーフレームワークであるFAST-LIVO2を提案する。
FAST-LIVO2はIMU、LiDAR、画像計測を逐次更新戦略で効率的に融合する。
本稿では,FAST-LIVO2のリアルタイムナビゲーション,空中マッピング,3次元モデルレンダリングの3つの応用例を示す。
論文 参考訳（メタデータ） (2024-08-26T06:01:54Z) - MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。
我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。
また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
論文 参考訳（メタデータ） (2024-04-01T04:57:41Z) - SR-LIVO: LiDAR-Inertial-Visual Odometry and Mapping with Sweep
Reconstruction [5.479262483638832]
SR-LIVOは、画像のタイムスタンプと再構成されたスイープを整列させるスイープ再構成を用いた、先進的で斬新なLIV-SLAMシステムである。
この分野でのコミュニティ開発に貢献するために、ソースコードをリリースしました。
論文 参考訳（メタデータ） (2023-12-28T03:06:49Z) - SeMLaPS: Real-time Semantic Mapping with Latent Prior Networks and
Quasi-Planar Segmentation [53.83313235792596]
本稿では,RGB-Dシーケンスからのリアルタイム意味マッピングのための新しい手法を提案する。
2DニューラルネットワークとSLAMシステムに基づく3Dネットワークと3D占有マッピングを組み合わせる。
本システムは,2D-3Dネットワークベースシステムにおいて,最先端のセマンティックマッピング品質を実現する。
論文 参考訳（メタデータ） (2023-06-28T22:36:44Z) - BS3D: Building-scale 3D Reconstruction from RGB-D Images [25.604775584883413]
本稿では,消費者向け深度カメラを用いた大規模3次元再構築のための使い易いフレームワークを提案する。
複雑で高価な買収設定とは異なり、当社のシステムはクラウドソーシングを可能にする。
論文 参考訳（メタデータ） (2023-01-03T11:46:14Z) - Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object
Detection [58.81316192862618]
自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。
これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。
我々は、最先端の核融合法を初めてベンチマークした。
論文 参考訳（メタデータ） (2022-05-30T09:35:37Z) - Simple and Effective Synthesis of Indoor 3D Scenes [78.95697556834536]
1枚以上の画像から3D屋内シーンを没入する問題について検討する。
我々の狙いは、新しい視点から高解像度の画像とビデオを作成することである。
本稿では,不完全点雲の再投影から高解像度のRGB-D画像へ直接マップするイメージ・ツー・イメージのGANを提案する。
論文 参考訳（メタデータ） (2022-04-06T17:54:46Z) - R3LIVE: A Robust, Real-time, RGB-colored, LiDAR-Inertial-Visual
tightly-coupled state Estimation and mapping package [7.7016529229597035]
R3LIVEは、LiDAR、慣性、および視覚センサーの測定を利用して、堅牢で正確な状態推定を実現する。
R3LIVEは多彩で多彩なシステムであり、様々な応用が可能である。
当社はR3LIVEをオープンしており、コード、ソフトウェアユーティリティ、デバイスの設計がすべて含まれています。
論文 参考訳（メタデータ） (2021-09-10T22:43:59Z) - It's All Around You: Range-Guided Cylindrical Network for 3D Object
Detection [4.518012967046983]
本研究は,360度深度スキャナーによって生成された3次元データを解析するための新しい手法を提案する。
距離誘導畳み込みの概念を導入し,エゴ車と物体のスケールからの距離で受容場を適応させる。
我々のネットワークは、現在の最先端アーキテクチャに匹敵するnuScenesチャレンジにおいて、強力な結果を示す。
論文 参考訳（メタデータ） (2020-12-05T21:02:18Z) - OmniSLAM: Omnidirectional Localization and Dense Mapping for
Wide-baseline Multi-camera Systems [88.41004332322788]
超広視野魚眼カメラ(FOV)を用いた広視野多視点ステレオ構成のための全方向位置決めと高密度マッピングシステムを提案する。
より実用的で正確な再構築のために、全方向深度推定のための改良された軽量のディープニューラルネットワークを導入する。
我々は全方位深度推定をビジュアル・オドメトリー(VO)に統合し,大域的整合性のためのループ閉鎖モジュールを付加する。
論文 参考訳（メタデータ） (2020-03-18T05:52:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。