論文の概要: End-to-end 2D-3D Registration between Image and LiDAR Point Cloud for Vehicle Localization

• arxiv url: http://arxiv.org/abs/2306.11346v2
• Date: Sat, 05 Jul 2025 08:00:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 17:51:39.117802
• Title: End-to-end 2D-3D Registration between Image and LiDAR Point Cloud for Vehicle Localization
• Title（参考訳）: 車両位置推定のための画像とLiDAR点雲間のエンドツーエンド2D-3Dレジストレーション
• Authors: Guangming Wang, Yu Zheng, Yuxuan Wu, Yanfeng Guo, Zhe Liu, Yixiang Zhu, Wolfram Burgard, Hesheng Wang,
• Abstract要約: 我々は,新しいエンドツーエンド2D-3D登録ネットワークであるI2PNetを提案する。 I2PNetは、2D RGB画像で生の3Dポイントクラウドを直接登録する。 我々は、I2PNetをカメラ-LiDARオンラインキャリブレーションに適用し、I2PNetがオンラインキャリブレーションタスクにおける最近のアプローチよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 34.89762410372218
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robot localization using a built map is essential for a variety of tasks including accurate navigation and mobile manipulation. A popular approach to robot localization is based on image-to-point cloud registration, which combines illumination-invariant LiDAR-based mapping with economical image-based localization. However, the recent works for image-to-point cloud registration either divide the registration into separate modules or project the point cloud to the depth image to register the RGB and depth images. In this paper, we present I2PNet, a novel end-to-end 2D-3D registration network, which directly registers the raw 3D point cloud with the 2D RGB image using differential modules with a united target. The 2D-3D cost volume module for differential 2D-3D association is proposed to bridge feature extraction and pose regression. The soft point-to-pixel correspondence is implicitly constructed on the intrinsic-independent normalized plane in the 2D-3D cost volume module. Moreover, we introduce an outlier mask prediction module to filter the outliers in the 2D-3D association before pose regression. Furthermore, we propose the coarse-to-fine 2D-3D registration architecture to increase localization accuracy. Extensive localization experiments are conducted on the KITTI, nuScenes, M2DGR, Argoverse, Waymo, and Lyft5 datasets. The results demonstrate that I2PNet outperforms the state-of-the-art by a large margin and has a higher efficiency than the previous works. Moreover, we extend the application of I2PNet to the camera-LiDAR online calibration and demonstrate that I2PNet outperforms recent approaches on the online calibration task. Source codes are released at https://github.com/IRMVLab/I2PNet.
• Abstract（参考訳）: 組込み地図を用いたロボットのローカライゼーションは、正確なナビゲーションや移動操作を含む様々なタスクに不可欠である。 ロボットのローカライゼーションに対する一般的なアプローチは、照明不変のLiDARマッピングと経済的なイメージベースローカライゼーションを組み合わせたイメージ・ツー・ポイントのクラウド登録に基づいている。 しかし、イメージ・ツー・ポイント・クラウドの登録に関する最近の研究は、登録を別々のモジュールに分割するか、ポイント・クラウドを奥行き画像に投影してRGBと奥行き画像を登録するかのどちらかである。 本稿では,新たなエンド・ツー・エンドの2D-3D登録ネットワークであるI2PNetについて述べる。 差分2D-3Dアソシエーションのための2D-3Dコストボリュームモジュールは特徴抽出とポーズ回帰をブリッジするために提案される。 ソフト・ポイント・ツー・ピクセル対応は、2D-3Dコスト・ボリューム・モジュールの固有非依存正規化平面上に暗黙的に構築される。 さらに,2D-3Dアソシエーションにおける外乱を回帰前にフィルタする外乱マスク予測モジュールを導入する。 さらに,局所化精度を高めるために,粗大な2D-3D登録アーキテクチャを提案する。 大規模なローカライゼーション実験は、KITTI、nuScenes、M2DGR、Argoverse、Waymo、Lyft5データセットで実施されている。 その結果,I2PNetは最先端技術よりも高い性能を示し,従来よりも高い効率性を示した。 さらに、I2PNetをカメラ-LiDARオンラインキャリブレーションに適用し、オンラインキャリブレーションタスクにおける最近のアプローチよりもI2PNetの方が優れていることを示す。 ソースコードはhttps://github.com/IRMVLab/I2PNetで公開されている。

関連論文リスト

• EP2P-Loc: End-to-End 3D Point to 2D Pixel Localization for Large-Scale Visual Localization [44.05930316729542]
  本稿では,3次元点雲の大規模可視化手法EP2P-Locを提案する。 画像中の見えない3D点を除去する簡単なアルゴリズムを提案する。 このタスクで初めて、エンドツーエンドのトレーニングに差別化可能なツールを使用します。
  論文  参考訳（メタデータ） (2023-09-14T07:06:36Z)
• CorrI2P: Deep Image-to-Point Cloud Registration via Dense Correspondence [51.91791056908387]
  我々は,CorrI2Pと呼ばれる画像間クラウドの登録問題に対処するための,機能に基づく最初の高密度対応フレームワークを提案する。 具体的には、3次元の点雲の前に2次元画像が1対あるとすると、まずそれらを高次元の特徴空間に変換し、特徴を対称的に重なり合う領域に変換して、画像点雲が重なり合う領域を決定する。
  論文  参考訳（メタデータ） (2022-07-12T11:49:31Z)
• Multi-Modality Task Cascade for 3D Object Detection [22.131228757850373]
  多くの手法は2つのモデルを個別に訓練し、単純な特徴結合を用いて3Dセンサーデータを表現している。 本稿では,3次元ボックスの提案を利用して2次元セグメンテーション予測を改善する新しいマルチモードタスクカスケードネットワーク(MTC-RCNN)を提案する。 2段階の3次元モジュール間の2次元ネットワークを組み込むことで,2次元および3次元のタスク性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2021-07-08T17:55:01Z)
• 3D-to-2D Distillation for Indoor Scene Parsing [78.36781565047656]
  大規模3次元データリポジトリから抽出した3次元特徴を有効活用し,RGB画像から抽出した2次元特徴を向上する手法を提案する。 まず,事前学習した3Dネットワークから3D知識を抽出して2Dネットワークを監督し,トレーニング中の2D特徴からシミュレーションされた3D特徴を学習する。 次に,2次元の正規化方式を設計し,2次元特徴と3次元特徴のキャリブレーションを行った。 第3に,非ペアの3dデータを用いたトレーニングのフレームワークを拡張するために,意味を意識した対向的トレーニングモデルを設計した。
  論文  参考訳（メタデータ） (2021-04-06T02:22:24Z)
• ParaNet: Deep Regular Representation for 3D Point Clouds [62.81379889095186]
  ParaNetは、3Dポイントクラウドを表現するための新しいエンドツーエンドのディープラーニングフレームワークである。 不規則な3D点雲を通常の2Dカラー画像に変換する。 多視点投影とボキセル化に基づく従来の正規表現法とは異なり、提案した表現は微分可能で可逆である。
  論文  参考訳（メタデータ） (2020-12-05T13:19:55Z)
• End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection [62.34374949726333]
  擬似LiDAR(PL)は、LiDARセンサに基づく手法と安価なステレオカメラに基づく手法の精度ギャップを劇的に減らした。 PLは最先端のディープニューラルネットワークと2D深度マップ出力を3Dポイントクラウド入力に変換することで3Dオブジェクト検出のための3D深度推定を組み合わせている。 我々は、PLパイプライン全体をエンドツーエンドにトレーニングできるように、差別化可能なRepresentation (CoR)モジュールに基づく新しいフレームワークを導入します。
  論文  参考訳（メタデータ） (2020-04-07T02:18:38Z)
• ZoomNet: Part-Aware Adaptive Zooming Neural Network for 3D Object Detection [69.68263074432224]
  ステレオ画像に基づく3D検出のためのZoomNetという新しいフレームワークを提案する。 ZoomNetのパイプラインは、通常の2Dオブジェクト検出モデルから始まり、左右のバウンディングボックスのペアを取得するために使用される。 さらに,RGB画像のテクスチャキューを多用し,より正確な異質度推定を行うため,適応ズームという概念的に真直ぐなモジュールを導入する。
  論文  参考訳（メタデータ） (2020-03-01T17:18:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。