論文の概要: Calibrating LiDAR and Camera using Semantic Mutual information
- arxiv url: http://arxiv.org/abs/2104.12023v1
- Date: Sat, 24 Apr 2021 21:04:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-28 12:27:05.262782
- Title: Calibrating LiDAR and Camera using Semantic Mutual information
- Title（参考訳）: 意味的相互情報を用いたLiDARとカメラの校正
- Authors: Peng Jiang, Philip Osteen, Srikanth Saripalli
- Abstract要約: 意味情報を用いたlidarおよびカメラシステムの自動的・非目標的・極端的キャリブレーションアルゴリズムを提案する。
本研究では,センサ間の意味情報の相互情報(mi)を最大化し,ニューラルネットワークを用いて意味的相互情報の推定を行い,キャリブレーション計算のための行列指数を求める。
- 参考スコア（独自算出の注目度）: 8.40460868324361
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose an algorithm for automatic, targetless, extrinsic calibration of a
LiDAR and camera system using semantic information. We achieve this goal by
maximizing mutual information (MI) of semantic information between sensors,
leveraging a neural network to estimate semantic mutual information, and matrix
exponential for calibration computation. Using kernel-based sampling to sample
data from camera measurement based on LiDAR projected points, we formulate the
problem as a novel differentiable objective function which supports the use of
gradient-based optimization methods. We also introduce an initial calibration
method using 2D MI-based image registration. Finally, we demonstrate the
robustness of our method and quantitatively analyze the accuracy on a synthetic
dataset and also evaluate our algorithm qualitatively on KITTI360 and RELLIS-3D
benchmark datasets, showing improvement over recent comparable approaches.
- Abstract（参考訳）: 意味情報を用いたlidarおよびカメラシステムの自動的・非目標的・極端的キャリブレーションアルゴリズムを提案する。
センサ間のセマンティック情報の相互情報(MI)を最大化し、ニューラルネットワークを利用してセマンティックな相互情報を推定し、行列指数で校正計算を行う。
lidar投影点に基づくカメラ計測からのサンプルデータにカーネルベースサンプリングを用いることで,グラデーションに基づく最適化手法をサポートする新しい微分可能な客観的関数として問題を定式化する。
また、2次元MI画像登録を用いた初期校正手法を提案する。
最後に,本手法のロバスト性を示し,合成データセットの精度を定量的に解析し,kitti360およびrellis-3dベンチマークデータセットを定性的に評価した。
関連論文リスト
- YOCO: You Only Calibrate Once for Accurate Extrinsic Parameter in LiDAR-Camera Systems [0.5999777817331317]
カメラとLiDARからなるマルチセンサー融合システムでは、正確な外部キャリブレーションがシステムの長期的な安定性と環境の正確な認識に寄与する。
本稿では,LiDARカメラシステムにおいて,対応点登録の必要性を回避するための完全自動外部校正手法を提案する。
論文 参考訳（メタデータ） (2024-07-25T13:44:49Z) - MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。
我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。
また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
論文 参考訳（メタデータ） (2024-04-01T04:57:41Z) - Joint Spatial-Temporal Calibration for Camera and Global Pose Sensor [0.4143603294943439]
ロボット工学において、モーションキャプチャシステムはローカライズアルゴリズムの精度を測定するために広く利用されている。
これらの機能は、カメラとグローバルポーズセンサーの間で正確で信頼性の高い時空間キャリブレーションパラメータを必要とする。
本研究では,これらのキャリブレーションパラメータを推定する新しい2つの手法を提案する。
論文 参考訳（メタデータ） (2024-03-01T20:56:14Z) - GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis [70.24111297192057]
我々は、文字の新たなビューをリアルタイムに合成するための新しいアプローチ、GPS-Gaussianを提案する。
提案手法は,スパースビューカメラ設定下での2K解像度のレンダリングを可能にする。
論文 参考訳（メタデータ） (2023-12-04T18:59:55Z) - Multi-task Learning for Camera Calibration [3.274290296343038]
一対の画像から内在性(主点オフセットと焦点長)と外因性(ベースライン,ピッチ,翻訳)を予測できるユニークな手法を提案する。
カメラモデルニューラルネットワークを用いて3Dポイントを再構成し、再構成の損失を利用してカメラ仕様を得ることにより、この革新的なカメラ投影損失(CPL)法により、所望のパラメータを推定できる。
論文 参考訳（メタデータ） (2022-11-22T17:39:31Z) - Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object
Detection [58.81316192862618]
自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。
これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。
我々は、最先端の核融合法を初めてベンチマークした。
論文 参考訳（メタデータ） (2022-05-30T09:35:37Z) - Data-Driven Interpolation for Super-Scarce X-Ray Computed Tomography [1.3535770763481902]
浅層ニューラルネットワークを訓練し、隣接する2つの取得を中間角度で推定された測定値に組み合わせる。
これにより、標準的な方法で再構成できる拡張された測定シーケンスが得られる。
バイオメディカルデータセットを用いた2次元および3次元イメージングの結果を得た。
論文 参考訳（メタデータ） (2022-05-16T15:42:41Z) - LiDARCap: Long-range Marker-less 3D Human Motion Capture with LiDAR
Point Clouds [58.402752909624716]
既存のモーションキャプチャデータセットはほとんどが短距離であり、まだ長距離アプリケーションのニーズに合わない。
我々は,この制限を克服するために,LiDARがより長い範囲で捉えた新しい人間のモーションキャプチャーデータセットLiDARHuman26Mを提案する。
我々のデータセットには、IMUシステムによって取得された人間の動きと同期RGB画像も含まれている。
論文 参考訳（メタデータ） (2022-03-28T12:52:45Z) - SemCal: Semantic LiDAR-Camera Calibration using Neural MutualInformation
Estimator [7.478076599395811]
SemCal(セムカル)は、セマンティック情報を用いたLiDARおよびカメラシステムのための自動的、ターゲットレス、外部キャリブレーションアルゴリズムである。
本研究では,各センサ計測から抽出した意味情報の相互情報(MI)を推定するために,ニューラル情報推定器を利用する。
論文 参考訳（メタデータ） (2021-09-21T15:51:24Z) - Automatic Extrinsic Calibration Method for LiDAR and Camera Sensor
Setups [68.8204255655161]
本論文では,LiDAR,単眼,ステレオカメラを含む任意のセンサのパラメータを校正する手法を提案する。
提案手法は、通常、車両のセットアップで見られるように、非常に異なる解像度とポーズのデバイスを扱うことができる。
論文 参考訳（メタデータ） (2021-01-12T12:02:26Z) - Reinforced Axial Refinement Network for Monocular 3D Object Detection [160.34246529816085]
モノクロ3次元物体検出は、2次元入力画像から物体の位置と特性を抽出することを目的としている。
従来のアプローチでは、空間から3D境界ボックスをサンプリングし、対象オブジェクトと各オブジェクトの関係を推定するが、有効サンプルの確率は3D空間で比較的小さい。
我々は,まず最初の予測から始めて,各ステップで1つの3dパラメータだけを変えて,基礎的真理に向けて徐々に洗練することを提案する。
これは、いくつかのステップの後に報酬を得るポリシーを設計する必要があるため、最適化するために強化学習を採用します。
論文 参考訳（メタデータ） (2020-08-31T17:10:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。