論文の概要: CalibRefine: Deep Learning-Based Online Automatic Targetless LiDAR-Camera Calibration with Iterative and Attention-Driven Post-Refinement
- arxiv url: http://arxiv.org/abs/2502.17648v5
- Date: Tue, 06 May 2025 00:20:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-07 14:45:09.240739
- Title: CalibRefine: Deep Learning-Based Online Automatic Targetless LiDAR-Camera Calibration with Iterative and Attention-Driven Post-Refinement
- Title（参考訳）: CalibRefine: 反復的かつ注意駆動のポストリファインメントによるディープラーニングベースのオンライン自動ターゲットレスLiDARカメラキャリブレーション
- Authors: Lei Cheng, Lihao Guo, Tianya Zhang, Tam Bang, Austin Harris, Mustafa Hajij, Mina Sartipi, Siyang Cao,
- Abstract要約: CalibRefineは完全に自動化され、ターゲットレス、オンラインキャリブレーションフレームワークである。
生のLiDAR点雲とカメラ画像を直接処理する。
以上の結果から,頑健なオブジェクトレベルの特徴マッチングと反復的改善と自己監督的注意に基づく改善が組み合わさって,信頼性の高いセンサアライメントを実現することが示唆された。
- 参考スコア（独自算出の注目度）: 5.069968819561576
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Accurate multi-sensor calibration is essential for deploying robust perception systems in applications such as autonomous driving and intelligent transportation. Existing LiDAR-camera calibration methods often rely on manually placed targets, preliminary parameter estimates, or intensive data preprocessing, limiting their scalability and adaptability in real-world settings. In this work, we propose a fully automatic, targetless, and online calibration framework, CalibRefine, which directly processes raw LiDAR point clouds and camera images. Our approach is divided into four stages: (1) a Common Feature Discriminator that leverages relative spatial positions, visual appearance embeddings, and semantic class cues to identify and generate reliable LiDAR-camera correspondences, (2) a coarse homography-based calibration that uses the matched feature correspondences to estimate an initial transformation between the LiDAR and camera frames, serving as the foundation for further refinement, (3) an iterative refinement to incrementally improve alignment as additional data frames become available, and (4) an attention-based refinement that addresses non-planar distortions by leveraging a Vision Transformer and cross-attention mechanisms. Extensive experiments on two urban traffic datasets demonstrate that CalibRefine achieves high-precision calibration with minimal human input, outperforming state-of-the-art targetless methods and matching or surpassing manually tuned baselines. Our results show that robust object-level feature matching, combined with iterative refinement and self-supervised attention-based refinement, enables reliable sensor alignment in complex real-world conditions without ground-truth matrices or elaborate preprocessing. Code is available at https://github.com/radar-lab/Lidar_Camera_Automatic_Calibration
- Abstract（参考訳）: 自律運転やインテリジェント交通などのアプリケーションに堅牢な認識システムを展開するためには,正確なマルチセンサキャリブレーションが不可欠である。
既存のLiDARカメラキャリブレーション手法は、しばしば手動で配置されたターゲット、予備パラメータ推定、あるいは集中的なデータ前処理に依存し、現実世界の設定におけるスケーラビリティと適応性を制限する。
本研究では,LiDAR点群とカメラ画像を直接処理する完全自動,ターゲットレス,オンラインキャリブレーションフレームワークCalibRefineを提案する。
提案手法は,(1)相対的な空間的位置,視覚的外観の埋め込み,およびセマンティッククラスを用いて,信頼性の高いLiDARカメラ対応を識別・生成する共通特徴判別器,(2)マッチングされた特徴対応を用いて,LiDARとカメラフレーム間の初期変換を推定する粗いホモグラフィに基づくキャリブレーション,(3)追加データフレームが利用可能になるにつれてアライメントを漸進的に改善する反復的改良,(4)ビジョントランスフォーマーとクロスアテンション機構を利用して非平面歪みに対処する注意に基づく改良,の4段階に分けられる。
2つの都市交通データセットに対する大規模な実験により、CalibRefineは人間の入力を最小限に抑えて高精度なキャリブレーションを達成し、最先端のターゲットレス手法を上回り、手動で調整したベースラインをマッチングまたは超過することを示した。
以上の結果から,頑健なオブジェクトレベルの特徴マッチングと反復的改善と自己監督的注意に基づく改善が組み合わさって,複雑な実世界の条件下でのセンサアライメントを,接地構造行列や精巧な前処理を伴わずに実現できることが示唆された。
コードはhttps://github.com/radar-lab/Lidar_Camera_Automatic_Calibrationで公開されている。
関連論文リスト
- What Really Matters for Learning-based LiDAR-Camera Calibration [50.2608502974106]
本稿では,学習に基づくLiDAR-Cameraキャリブレーションの開発を再考する。
我々は、広く使われているデータ生成パイプラインによる回帰ベースの手法の限界を識別する。
また,入力データ形式と前処理操作がネットワーク性能に与える影響についても検討する。
論文 参考訳（メタデータ） (2025-01-28T14:12:32Z) - Kalib: Markerless Hand-Eye Calibration with Keypoint Tracking [52.4190876409222]
ハンドアイキャリブレーションでは、カメラとロボット間の変換を推定する。
ディープラーニングの最近の進歩は、マーカーレス技術を提供するが、それらは課題を提示している。
自動的かつ普遍的なマーカーレスハンドアイキャリブレーションパイプラインであるKalibを提案する。
論文 参考訳（メタデータ） (2024-08-20T06:03:40Z) - YOCO: You Only Calibrate Once for Accurate Extrinsic Parameter in LiDAR-Camera Systems [0.5999777817331317]
カメラとLiDARからなるマルチセンサー融合システムでは、正確な外部キャリブレーションがシステムの長期的な安定性と環境の正確な認識に寄与する。
本稿では,LiDARカメラシステムにおいて,対応点登録の必要性を回避するための完全自動外部校正手法を提案する。
論文 参考訳（メタデータ） (2024-07-25T13:44:49Z) - CalibFormer: A Transformer-based Automatic LiDAR-Camera Calibration Network [11.602943913324653]
CalibFormerは自動LiDARカメラキャリブレーションのためのエンドツーエンドネットワークである。
高精細度表現を実現するために、複数のカメラ層とLiDAR画像層を集約する。
平均翻訳誤差は0.8751 Mathrmcm$, 平均回転誤差は0.0562 circ$であった。
論文 参考訳（メタデータ） (2023-11-26T08:59:30Z) - From Chaos to Calibration: A Geometric Mutual Information Approach to
Target-Free Camera LiDAR Extrinsic Calibration [4.378156825150505]
そこで本研究では,根拠となる真理学習データを必要としない目標外キャリブレーションアルゴリズムを提案する。
我々は,KITTI と KITTI-360 の魚眼データセットを用いた改良を行った。
論文 参考訳（メタデータ） (2023-11-03T13:30:31Z) - Continuous Online Extrinsic Calibration of Fisheye Camera and LiDAR [7.906477322731106]
高レベルの知覚機能を必要とする共通空間参照フレームにカメラとLiDARデータを融合するためには、正確な外部キャリブレーションが必要である。
連続的なオンライン外部キャリブレーションアルゴリズムは、センサーデータのみを使用して、車両の寿命中にカメラ-LiDARキャリブレーションの値を自動更新することができる。
本稿では,一般的な単眼深度推定ネットワークによって提供されるカメラ画像の深度推定と,外部キャリブレーションの最適化指標としてLiDAR点雲の幾何距離の相互情報を用いることを提案する。
論文 参考訳（メタデータ） (2023-06-22T23:16:31Z) - EasyHeC: Accurate and Automatic Hand-eye Calibration via Differentiable
Rendering and Space Exploration [49.90228618894857]
我々は、マーカーレスでホワイトボックスであり、より優れた精度とロバスト性を提供するEasyHeCと呼ばれる手眼校正の新しいアプローチを導入する。
我々は,2つの重要な技術 – レンダリングベースのカメラポーズの最適化と整合性に基づく共同空間探索 – を利用することを提案する。
本評価は,合成および実世界のデータセットにおいて優れた性能を示す。
論文 参考訳（メタデータ） (2023-05-02T03:49:54Z) - Automated Static Camera Calibration with Intelligent Vehicles [58.908194559319405]
自動ジオレファレンスカメラキャリブレーションのためのロバストキャリブレーション法を提案する。
本手法では, フィルタ/RTK受信機と慣性測定ユニット(IMU)を組み合わせたキャリブレーション車両が必要である。
我々の手法は、インフラと車両の両方で記録された情報と人間との相互作用を一切必要としない。
論文 参考訳（メタデータ） (2023-04-21T08:50:52Z) - LCE-Calib: Automatic LiDAR-Frame/Event Camera Extrinsic Calibration With
A Globally Optimal Solution [10.117923901732743]
LiDARとカメラの組み合わせにより、移動ロボットはマルチモーダルデータで環境を知覚することができる。
従来のフレームカメラは照明条件の変更に敏感で、新しいイベントカメラの導入を動機付けています。
本稿では,LiDARとフレーム/イベントカメラの外部特性をキャリブレーションするためのチェッカーボードによる自動手法を提案する。
論文 参考訳（メタデータ） (2023-03-17T08:07:56Z) - Lasers to Events: Automatic Extrinsic Calibration of Lidars and Event
Cameras [67.84498757689776]
本稿では,イベントカメラとライダーの直接校正法について述べる。
フレームベースのカメラインターミディエートおよび/または高精度の手測定への依存を除去する。
論文 参考訳（メタデータ） (2022-07-03T11:05:45Z) - CRLF: Automatic Calibration and Refinement based on Line Feature for
LiDAR and Camera in Road Scenes [16.201111055979453]
道路シーンにおけるライダーとカメラの遠距離パラメータを校正する新しい手法を提案する。
道路の車線やポールなどの静的な直線形状の物体を画像と点群の両方で線状化します。
KITTIと社内データセットに関する広範な実験を行い、定量的および定性的な結果は、当社の方法の堅牢性と正確性を示しています。
論文 参考訳（メタデータ） (2021-03-08T06:02:44Z) - Automatic Extrinsic Calibration Method for LiDAR and Camera Sensor
Setups [68.8204255655161]
本論文では,LiDAR,単眼,ステレオカメラを含む任意のセンサのパラメータを校正する手法を提案する。
提案手法は、通常、車両のセットアップで見られるように、非常に異なる解像度とポーズのデバイスを扱うことができる。
論文 参考訳（メタデータ） (2021-01-12T12:02:26Z) - Automatic LiDAR Extrinsic Calibration System using Photodetector and
Planar Board for Large-scale Applications [110.32028864986918]
本研究は, PD-target System と呼ばれる光検出器アレイを組み込んだターゲットボードの新たな概念を提案し, ターゲット表面上の対応レーザビームの正確な位置を求める。
提案手法を低分解能LiDARで実験した結果,LiDARオフセットポーズは0.1度と3mmの精度で推定可能であることがわかった。
論文 参考訳（メタデータ） (2020-08-24T16:28:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。