論文の概要: SemCal: Semantic LiDAR-Camera Calibration using Neural MutualInformation Estimator

• arxiv url: http://arxiv.org/abs/2109.10270v1
• Date: Tue, 21 Sep 2021 15:51:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-22 14:17:55.169428
• Title: SemCal: Semantic LiDAR-Camera Calibration using Neural MutualInformation Estimator
• Title（参考訳）: SemCal: ニューラルネットワークを用いた意味的LiDARカメラキャリブレーション
• Authors: Peng Jiang, Philip Osteen, and Srikanth Saripalli
• Abstract要約: SemCal(セムカル)は、セマンティック情報を用いたLiDARおよびカメラシステムのための自動的、ターゲットレス、外部キャリブレーションアルゴリズムである。 本研究では,各センサ計測から抽出した意味情報の相互情報(MI)を推定するために,ニューラル情報推定器を利用する。
• 参考スコア（独自算出の注目度）: 7.478076599395811
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes SemCal: an automatic, targetless, extrinsic calibration algorithm for a LiDAR and camera system using semantic information. We leverage a neural information estimator to estimate the mutual information (MI) of semantic information extracted from each sensor measurement, facilitating semantic-level data association. By using a matrix exponential formulation of the $se(3)$ transformation and a kernel-based sampling method to sample from camera measurement based on LiDAR projected points, we can formulate the LiDAR-Camera calibration problem as a novel differentiable objective function that supports gradient-based optimization methods. We also introduce a semantic-based initial calibration method using 2D MI-based image registration and Perspective-n-Point (PnP) solver. To evaluate performance, we demonstrate the robustness of our method and quantitatively analyze the accuracy using a synthetic dataset. We also evaluate our algorithm qualitatively on an urban dataset (KITTI360) and an off-road dataset (RELLIS-3D) benchmark datasets using both hand-annotated ground truth labels as well as labels predicted by the state-of-the-art deep learning models, showing improvement over recent comparable calibration approaches.
• Abstract（参考訳）: 本稿では,セマンティック情報を用いたLiDARとカメラシステムのための,自動的,無目標,外在的キャリブレーションアルゴリズムSemCalを提案する。 本研究では,各センサ計測から抽出した意味情報の相互情報(MI)をニューラルネットワークで推定し,セマンティックレベルのデータアソシエーションを容易にする。 LiDAR投影点に基づくカメラ計測から,$se(3)$変換の行列指数式とカーネルベースサンプリング法を用いて,勾配に基づく最適化手法をサポートする新たな微分対象関数として,LiDAR-Cameraキャリブレーション問題を定式化することができる。 また,2次元miベース画像登録とpnpソルバを用いた意味的初期校正手法を提案する。 性能評価のために,本手法のロバスト性を示し,合成データセットを用いて精度を定量的に解析する。 また,都市データセット (KITTI360) とオフロードデータセット (RELLIS-3D) のベンチマークデータセットを手書きの地上真実ラベルと最先端のディープラーニングモデルによって予測されたラベルを用いて定性的に評価し,最近の比較校正手法よりも改善した。

関連論文リスト

• YOCO: You Only Calibrate Once for Accurate Extrinsic Parameter in LiDAR-Camera Systems [0.5999777817331317]
  カメラとLiDARからなるマルチセンサー融合システムでは、正確な外部キャリブレーションがシステムの長期的な安定性と環境の正確な認識に寄与する。 本稿では,LiDARカメラシステムにおいて,対応点登録の必要性を回避するための完全自動外部校正手法を提案する。
  論文  参考訳（メタデータ） (2024-07-25T13:44:49Z)
• MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
  カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。 我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。 また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
  論文  参考訳（メタデータ） (2024-04-01T04:57:41Z)
• GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis [70.24111297192057]
  我々は、文字の新たなビューをリアルタイムに合成するための新しいアプローチ、GPS-Gaussianを提案する。 提案手法は,スパースビューカメラ設定下での2K解像度のレンダリングを可能にする。
  論文  参考訳（メタデータ） (2023-12-04T18:59:55Z)
• Fixation-based Self-calibration for Eye Tracking in VR Headsets [0.21561701531034413]
  提案手法は,ユーザの視点が自由に動けるという仮定に基づいている。 固定は、まず、補正されていない視線方向の時系列データから検出される。 キャリブレーションパラメータは、PoRsの分散メトリクスの和を最小化することにより最適化される。
  論文  参考訳（メタデータ） (2023-11-01T09:34:15Z)
• Volumetric Semantically Consistent 3D Panoptic Mapping [77.13446499924977]
  非構造環境における自律エージェントに適したセマンティック3Dマップを生成することを目的としたオンライン2次元から3次元のセマンティック・インスタンスマッピングアルゴリズムを提案する。 マッピング中にセマンティック予測の信頼性を統合し、セマンティックおよびインスタンス一貫性のある3D領域を生成する新しい方法を導入する。 提案手法は,パブリックな大規模データセット上での最先端の精度を実現し,多くの広く使用されているメトリクスを改善した。
  論文  参考訳（メタデータ） (2023-09-26T08:03:10Z)
• Multi-task Learning for Camera Calibration [3.274290296343038]
  一対の画像から内在性(主点オフセットと焦点長)と外因性(ベースライン,ピッチ,翻訳)を予測できるユニークな手法を提案する。 カメラモデルニューラルネットワークを用いて3Dポイントを再構成し、再構成の損失を利用してカメラ仕様を得ることにより、この革新的なカメラ投影損失(CPL)法により、所望のパラメータを推定できる。
  論文  参考訳（メタデータ） (2022-11-22T17:39:31Z)
• Uncertainty-Aware Camera Pose Estimation from Points and Lines [101.03675842534415]
  Perspective-n-Point-and-Line (Pn$PL) は、2D-3D特徴座標の3Dモデルに関して、高速で正確で堅牢なカメラローカライゼーションを目指している。
  論文  参考訳（メタデータ） (2021-07-08T15:19:36Z)
• Calibrating LiDAR and Camera using Semantic Mutual information [8.40460868324361]
  意味情報を用いたlidarおよびカメラシステムの自動的・非目標的・極端的キャリブレーションアルゴリズムを提案する。 本研究では,センサ間の意味情報の相互情報(mi)を最大化し,ニューラルネットワークを用いて意味的相互情報の推定を行い,キャリブレーション計算のための行列指数を求める。
  論文  参考訳（メタデータ） (2021-04-24T21:04:33Z)
• Automatic Extrinsic Calibration Method for LiDAR and Camera Sensor Setups [68.8204255655161]
  本論文では,LiDAR,単眼,ステレオカメラを含む任意のセンサのパラメータを校正する手法を提案する。 提案手法は、通常、車両のセットアップで見られるように、非常に異なる解像度とポーズのデバイスを扱うことができる。
  論文  参考訳（メタデータ） (2021-01-12T12:02:26Z)
• SelfVoxeLO: Self-supervised LiDAR Odometry with Voxel-based Deep Neural Networks [81.64530401885476]
  本稿では,これら2つの課題に対処するために,自己教師型LiDARオドメトリー法(SelfVoxeLO)を提案する。 具体的には、生のLiDARデータを直接処理する3D畳み込みネットワークを提案し、3D幾何パターンをよりよく符号化する特徴を抽出する。 我々は,KITTIとApollo-SouthBayという2つの大規模データセット上での手法の性能を評価する。
  論文  参考訳（メタデータ） (2020-10-19T09:23:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。