論文の概要: Online LiDAR-Camera Extrinsic Parameters Self-checking
- arxiv url: http://arxiv.org/abs/2210.10537v2
- Date: Mon, 15 Jan 2024 01:44:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 03:48:50.547064
- Title: Online LiDAR-Camera Extrinsic Parameters Self-checking
- Title(参考訳): オンラインLiDAR-Camera Extrinsic Parameters Self-checking
- Authors: Pengjin Wei, Guohang Yan, Yikang Li, Kun Fang, Jie Yang, Wei Liu
- Abstract要約: 本稿では,2進分類ネットワークを導入することにより,外部パラメータが適切に校正されているかどうかを判断する自己チェックアルゴリズムを提案する。
コードはGithubのWebサイトでhttps://github.com/OpenCalib/LiDAR2camera_self-checkで公開されている。
- 参考スコア(独自算出の注目度): 12.067216966113708
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the development of neural networks and the increasing popularity of
automatic driving, the calibration of the LiDAR and the camera has attracted
more and more attention. This calibration task is multi-modal, where the rich
color and texture information captured by the camera and the accurate
three-dimensional spatial information from the LiDAR is incredibly significant
for downstream tasks. Current research interests mainly focus on obtaining
accurate calibration results through information fusion. However, they seldom
analyze whether the calibrated results are correct or not, which could be of
significant importance in real-world applications. For example, in large-scale
production, the LiDARs and the cameras of each smart car have to get
well-calibrated as the car leaves the production line, while in the rest of the
car life period, the poses of the LiDARs and cameras should also get
continually supervised to ensure the security. To this end, this paper proposes
a self-checking algorithm to judge whether the extrinsic parameters are
well-calibrated by introducing a binary classification network based on the
fused information from the camera and the LiDAR. Moreover, since there is no
such dataset for the task in this work, we further generate a new dataset
branch from the KITTI dataset tailored for the task. Our experiments on the
proposed dataset branch demonstrate the performance of our method. To the best
of our knowledge, this is the first work to address the significance of
continually checking the calibrated extrinsic parameters for autonomous
driving. The code is open-sourced on the Github website at
https://github.com/OpenCalib/LiDAR2camera_self-check.
- Abstract(参考訳): ニューラルネットワークの発展と自動走行の普及により、ライダーとカメラのキャリブレーションがますます注目されるようになった。
このキャリブレーションタスクはマルチモーダルであり、カメラが捉えた豊かな色とテクスチャ情報とlidarからの正確な3次元空間情報とが下流タスクにとって極めて重要である。
現在の研究は情報融合による正確な校正結果の取得に重点を置いている。
しかし、校正結果が正しいかどうかを分析することはほとんどなく、現実のアプリケーションでは重要な意味を持つ可能性がある。
例えば、大規模生産では、各スマートカーのLiDARとカメラは、車両が生産ラインを離れるときに適切に校正されなければならないが、残りの期間は、LiDARとカメラのポーズも、安全を確保するために継続的に監視されなければならない。
そこで本稿では,カメラとLiDARの融合情報に基づく二元分類ネットワークを導入することにより,外部パラメータが適切に校正されているかどうかを自己チェックするアルゴリズムを提案する。
さらに,この作業にはこのようなデータセットが存在しないため,タスク用に調整されたkittiデータセットから新たなデータセットブランチを新たに生成する。
提案するデータセットの分岐実験により,本手法の性能を実証した。
我々の知る限りでは、これは自律運転のための校正外在的パラメータを継続的にチェックすることの重要性に対処する最初の研究である。
コードはGithubのWebサイトでhttps://github.com/OpenCalib/LiDAR2camera_self-checkで公開されている。
関連論文リスト
- CalibFormer: A Transformer-based Automatic LiDAR-Camera Calibration Network [11.602943913324653]
CalibFormerは自動LiDARカメラキャリブレーションのためのエンドツーエンドネットワークである。
高精細度表現を実現するために、複数のカメラ層とLiDAR画像層を集約する。
平均翻訳誤差は0.8751 Mathrmcm$, 平均回転誤差は0.0562 circ$であった。
論文 参考訳(メタデータ) (2023-11-26T08:59:30Z) - From Chaos to Calibration: A Geometric Mutual Information Approach to
Target-Free Camera LiDAR Extrinsic Calibration [4.378156825150505]
そこで本研究では,根拠となる真理学習データを必要としない目標外キャリブレーションアルゴリズムを提案する。
我々は,KITTI と KITTI-360 の魚眼データセットを用いた改良を行った。
論文 参考訳(メタデータ) (2023-11-03T13:30:31Z) - Unsupervised Domain Adaptation for Self-Driving from Past Traversal
Features [69.47588461101925]
本研究では,新しい運転環境に3次元物体検出器を適応させる手法を提案する。
提案手法は,空間的量子化履歴特徴を用いたLiDARに基づく検出モデルを強化する。
実世界のデータセットの実験では、大幅な改善が示されている。
論文 参考訳(メタデータ) (2023-09-21T15:00:31Z) - LiDAR View Synthesis for Robust Vehicle Navigation Without Expert Labels [50.40632021583213]
我々は、危険な位置で物理的に運転することなく、新しい視点からLiDAR点雲を合成することを提案する。
我々は、LiDARスキャンを入力とし、将来の軌跡を出力として予測するディープラーニングモデルを訓練する。
次に、この予測軌道にウェイポイントコントローラを適用して、エゴ車両のスロットルおよびステアリングラベルを決定する。
論文 参考訳(メタデータ) (2023-08-02T20:46:43Z) - Continuous Online Extrinsic Calibration of Fisheye Camera and LiDAR [7.906477322731106]
高レベルの知覚機能を必要とする共通空間参照フレームにカメラとLiDARデータを融合するためには、正確な外部キャリブレーションが必要である。
連続的なオンライン外部キャリブレーションアルゴリズムは、センサーデータのみを使用して、車両の寿命中にカメラ-LiDARキャリブレーションの値を自動更新することができる。
本稿では,一般的な単眼深度推定ネットワークによって提供されるカメラ画像の深度推定と,外部キャリブレーションの最適化指標としてLiDAR点雲の幾何距離の相互情報を用いることを提案する。
論文 参考訳(メタデータ) (2023-06-22T23:16:31Z) - Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object
Detection [58.81316192862618]
自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。
これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。
我々は、最先端の核融合法を初めてベンチマークした。
論文 参考訳(メタデータ) (2022-05-30T09:35:37Z) - TEScalib: Targetless Extrinsic Self-Calibration of LiDAR and Stereo
Camera for Automated Driving Vehicles with Uncertainty Analysis [4.616329048951671]
TEScalibは、LiDARとステレオカメラの新しい外在的自己校正手法である。
周囲の環境の幾何学的および測光的情報を使用し、自動走行車両のキャリブレーション対象を含まない。
KITTIデータセットで評価した手法は非常に有望な結果が得られる。
論文 参考訳(メタデータ) (2022-02-28T15:04:00Z) - LIF-Seg: LiDAR and Camera Image Fusion for 3D LiDAR Semantic
Segmentation [78.74202673902303]
本稿では,LiDAR分割のための粗大なLiDARとカメラフュージョンベースネットワーク(LIF-Seg)を提案する。
提案手法は,画像の文脈情報を完全に活用し,単純だが効果的な早期融合戦略を導入する。
これら2つのコンポーネントの協力により、効果的なカメラ-LiDAR融合が成功する。
論文 参考訳(メタデータ) (2021-08-17T08:53:11Z) - Efficient and Robust LiDAR-Based End-to-End Navigation [132.52661670308606]
我々は,LiDARをベースとした効率的なエンドツーエンドナビゲーションフレームワークを提案する。
本稿では,スパース畳み込みカーネル最適化とハードウェア対応モデル設計に基づくFast-LiDARNetを提案する。
次に,単一の前方通過のみから予測の不確かさを直接推定するハイブリッド・エビデンシャル・フュージョンを提案する。
論文 参考訳(メタデータ) (2021-05-20T17:52:37Z) - Automatic Extrinsic Calibration Method for LiDAR and Camera Sensor
Setups [68.8204255655161]
本論文では,LiDAR,単眼,ステレオカメラを含む任意のセンサのパラメータを校正する手法を提案する。
提案手法は、通常、車両のセットアップで見られるように、非常に異なる解像度とポーズのデバイスを扱うことができる。
論文 参考訳(メタデータ) (2021-01-12T12:02:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。