論文の概要: End-to-end 2D-3D Registration between Image and LiDAR Point Cloud for Vehicle Localization

• arxiv url: http://arxiv.org/abs/2306.11346v1
• Date: Tue, 20 Jun 2023 07:28:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 15:11:39.453891
• Title: End-to-end 2D-3D Registration between Image and LiDAR Point Cloud for Vehicle Localization
• Title（参考訳）: 車両位置推定のための画像とLiDAR点雲間のエンドツーエンド2D-3Dレジストレーション
• Authors: Guangming Wang, Yu Zheng, Yanfeng Guo, Zhe Liu, Yixiang Zhu, Wolfram Burgard, and Hesheng Wang
• Abstract要約: 我々は,新しいエンドツーエンド2D-3D登録ネットワークであるI2PNetを提案する。 I2PNetは、独自のターゲットを持つ差動モジュールを使用して、2D RGB画像で生の3Dポイントクラウドを直接登録する。 我々は,KITTIオドメトリーとnuScenesデータセットの広範囲なローカライゼーション実験を行った。
• 参考スコア（独自算出の注目度）: 45.81385500855306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robot localization using a previously built map is essential for a variety of tasks including highly accurate navigation and mobile manipulation. A popular approach to robot localization is based on image-to-point cloud registration, which combines illumination-invariant LiDAR-based mapping with economical image-based localization. However, the recent works for image-to-point cloud registration either divide the registration into separate modules or project the point cloud to the depth image to register the RGB and depth images. In this paper, we present I2PNet, a novel end-to-end 2D-3D registration network. I2PNet directly registers the raw 3D point cloud with the 2D RGB image using differential modules with a unique target. The 2D-3D cost volume module for differential 2D-3D association is proposed to bridge feature extraction and pose regression. 2D-3D cost volume module implicitly constructs the soft point-to-pixel correspondence on the intrinsic-independent normalized plane of the pinhole camera model. Moreover, we introduce an outlier mask prediction module to filter the outliers in the 2D-3D association before pose regression. Furthermore, we propose the coarse-to-fine 2D-3D registration architecture to increase localization accuracy. We conduct extensive localization experiments on the KITTI Odometry and nuScenes datasets. The results demonstrate that I2PNet outperforms the state-of-the-art by a large margin. In addition, I2PNet has a higher efficiency than the previous works and can perform the localization in real-time. Moreover, we extend the application of I2PNet to the camera-LiDAR online calibration and demonstrate that I2PNet outperforms recent approaches on the online calibration task.
• Abstract（参考訳）: 以前構築された地図を用いたロボットのローカライゼーションは、高精度なナビゲーションや移動操作を含む様々なタスクに不可欠である。 ロボットのローカライゼーションに対する一般的なアプローチは、照明不変のLiDARマッピングと経済的イメージベースのローカライゼーションを組み合わせたイメージ・ツー・ポイントのクラウド登録に基づいている。 しかし、最近のイメージ・ツー・ポイント・クラウドの登録作業では、登録を別々のモジュールに分割するか、ポイント・クラウドを奥行き画像に投影してRGBと奥行き画像を登録する。 本稿では,新しいエンドツーエンド2D-3D登録ネットワークであるI2PNetを提案する。 I2PNetは、独自のターゲットを持つ差動モジュールを使用して、2D RGB画像で生の3Dポイントクラウドを直接登録する。 差分2D-3Dアソシエーションのための2D-3Dコストボリュームモジュールは特徴抽出とポーズ回帰をブリッジするために提案される。 2D-3Dコストボリュームモジュールは、ピンホールカメラモデルの固有非依存正規化平面上に、ソフトポイント対ピクセル対応を暗黙的に構築する。 さらに,2D-3Dアソシエーションにおける外乱を回帰前にフィルタする外乱マスク予測モジュールを導入する。 さらに,局所化精度を高めるために,粗大な2D-3D登録アーキテクチャを提案する。 我々は,KITTIオドメトリーとnuScenesデータセットの広範なローカライゼーション実験を行った。 結果は、i2pnetが最先端技術を上回ることを示している。 さらに、I2PNetは以前の作業よりも効率が高く、リアルタイムにローカライゼーションを行うことができる。 さらに、I2PNetをカメラ-LiDARオンラインキャリブレーションに適用し、オンラインキャリブレーションタスクにおける最近のアプローチよりも優れた性能を示す。

関連論文リスト

• EP2P-Loc: End-to-End 3D Point to 2D Pixel Localization for Large-Scale Visual Localization [44.05930316729542]
  本稿では,3次元点雲の大規模可視化手法EP2P-Locを提案する。 画像中の見えない3D点を除去する簡単なアルゴリズムを提案する。 このタスクで初めて、エンドツーエンドのトレーニングに差別化可能なツールを使用します。
  論文  参考訳（メタデータ） (2023-09-14T07:06:36Z)
• CorrI2P: Deep Image-to-Point Cloud Registration via Dense Correspondence [51.91791056908387]
  我々は,CorrI2Pと呼ばれる画像間クラウドの登録問題に対処するための,機能に基づく最初の高密度対応フレームワークを提案する。 具体的には、3次元の点雲の前に2次元画像が1対あるとすると、まずそれらを高次元の特徴空間に変換し、特徴を対称的に重なり合う領域に変換して、画像点雲が重なり合う領域を決定する。
  論文  参考訳（メタデータ） (2022-07-12T11:49:31Z)
• Multi-Modality Task Cascade for 3D Object Detection [22.131228757850373]
  多くの手法は2つのモデルを個別に訓練し、単純な特徴結合を用いて3Dセンサーデータを表現している。 本稿では,3次元ボックスの提案を利用して2次元セグメンテーション予測を改善する新しいマルチモードタスクカスケードネットワーク(MTC-RCNN)を提案する。 2段階の3次元モジュール間の2次元ネットワークを組み込むことで,2次元および3次元のタスク性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2021-07-08T17:55:01Z)
• 3D-to-2D Distillation for Indoor Scene Parsing [78.36781565047656]
  大規模3次元データリポジトリから抽出した3次元特徴を有効活用し,RGB画像から抽出した2次元特徴を向上する手法を提案する。 まず,事前学習した3Dネットワークから3D知識を抽出して2Dネットワークを監督し,トレーニング中の2D特徴からシミュレーションされた3D特徴を学習する。 次に,2次元の正規化方式を設計し,2次元特徴と3次元特徴のキャリブレーションを行った。 第3に,非ペアの3dデータを用いたトレーニングのフレームワークを拡張するために,意味を意識した対向的トレーニングモデルを設計した。
  論文  参考訳（メタデータ） (2021-04-06T02:22:24Z)
• ParaNet: Deep Regular Representation for 3D Point Clouds [62.81379889095186]
  ParaNetは、3Dポイントクラウドを表現するための新しいエンドツーエンドのディープラーニングフレームワークである。 不規則な3D点雲を通常の2Dカラー画像に変換する。 多視点投影とボキセル化に基づく従来の正規表現法とは異なり、提案した表現は微分可能で可逆である。
  論文  参考訳（メタデータ） (2020-12-05T13:19:55Z)
• End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection [62.34374949726333]
  擬似LiDAR(PL)は、LiDARセンサに基づく手法と安価なステレオカメラに基づく手法の精度ギャップを劇的に減らした。 PLは最先端のディープニューラルネットワークと2D深度マップ出力を3Dポイントクラウド入力に変換することで3Dオブジェクト検出のための3D深度推定を組み合わせている。 我々は、PLパイプライン全体をエンドツーエンドにトレーニングできるように、差別化可能なRepresentation (CoR)モジュールに基づく新しいフレームワークを導入します。
  論文  参考訳（メタデータ） (2020-04-07T02:18:38Z)
• ZoomNet: Part-Aware Adaptive Zooming Neural Network for 3D Object Detection [69.68263074432224]
  ステレオ画像に基づく3D検出のためのZoomNetという新しいフレームワークを提案する。 ZoomNetのパイプラインは、通常の2Dオブジェクト検出モデルから始まり、左右のバウンディングボックスのペアを取得するために使用される。 さらに,RGB画像のテクスチャキューを多用し,より正確な異質度推定を行うため,適応ズームという概念的に真直ぐなモジュールを導入する。
  論文  参考訳（メタデータ） (2020-03-01T17:18:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。