論文の概要: EdgeRegNet: Edge Feature-based Multimodal Registration Network between Images and LiDAR Point Clouds
- arxiv url: http://arxiv.org/abs/2503.15284v1
- Date: Wed, 19 Mar 2025 15:03:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-20 15:23:16.698416
- Title: EdgeRegNet: Edge Feature-based Multimodal Registration Network between Images and LiDAR Point Clouds
- Title（参考訳）: EdgeRegNet: 画像とLiDARポイントクラウド間のエッジ機能ベースのマルチモーダル登録ネットワーク
- Authors: Yuanchao Yue, Hui Yuan, Qinglong Miao, Xiaolong Mao, Raouf Hamzaoui, Peter Eisert,
- Abstract要約: クロスモーダルなデータ登録は、長い間コンピュータビジョンにおいて重要な課題だった。
本稿では,原点雲と画像からのエッジ情報を用いたクロスモーダル登録手法を提案する。
提案手法をKITTIおよびnuScenesデータセット上で検証し,その最先端性能を実証した。
- 参考スコア（独自算出の注目度）: 10.324549723042338
- License:
- Abstract: Cross-modal data registration has long been a critical task in computer vision, with extensive applications in autonomous driving and robotics. Accurate and robust registration methods are essential for aligning data from different modalities, forming the foundation for multimodal sensor data fusion and enhancing perception systems' accuracy and reliability. The registration task between 2D images captured by cameras and 3D point clouds captured by Light Detection and Ranging (LiDAR) sensors is usually treated as a visual pose estimation problem. High-dimensional feature similarities from different modalities are leveraged to identify pixel-point correspondences, followed by pose estimation techniques using least squares methods. However, existing approaches often resort to downsampling the original point cloud and image data due to computational constraints, inevitably leading to a loss in precision. Additionally, high-dimensional features extracted using different feature extractors from various modalities require specific techniques to mitigate cross-modal differences for effective matching. To address these challenges, we propose a method that uses edge information from the original point clouds and images for cross-modal registration. We retain crucial information from the original data by extracting edge points and pixels, enhancing registration accuracy while maintaining computational efficiency. The use of edge points and edge pixels allows us to introduce an attention-based feature exchange block to eliminate cross-modal disparities. Furthermore, we incorporate an optimal matching layer to improve correspondence identification. We validate the accuracy of our method on the KITTI and nuScenes datasets, demonstrating its state-of-the-art performance.
- Abstract（参考訳）: クロスモーダルなデータ登録はコンピュータビジョンにおいて長い間重要な課題であり、自律運転やロボット工学に広く応用されてきた。
高精度かつロバストな登録手法は、異なるモードからのデータを整列させ、マルチモーダルセンサデータ融合の基礎を形成し、認識システムの精度と信頼性を高めるために不可欠である。
カメラが捉えた2D画像と光検出・ラング(LiDAR)センサーで捉えた3D点雲との間の登録作業は通常、視覚的ポーズ推定問題として扱われる。
異なるモードの高次元特徴類似性を利用して画素点対応を識別し、次いで最小二乗法を用いてポーズ推定を行う。
しかし、既存のアプローチでは、計算上の制約によって元の点雲と画像データをダウンサンプリングすることが多いため、必然的に精度の低下につながる。
さらに, 様々な特徴抽出器から抽出した高次元特徴は, 有効マッチングのために, クロスモーダル差を緩和する特定の手法を必要とする。
これらの課題に対処するために,原点雲からのエッジ情報と画像を用いたクロスモーダル登録手法を提案する。
我々は、エッジポイントとピクセルを抽出し、計算効率を保ちながら、登録精度を高めて、元のデータから重要な情報を保持する。
エッジポイントとエッジピクセルを用いることで、注意に基づく特徴交換ブロックを導入し、モーダル間の差異を解消できる。
さらに、最適なマッチング層を組み込んで、対応同定を改善する。
KITTI と nuScenes のデータセット上で,提案手法の精度を検証し,その最先端性能を実証した。
関連論文リスト
- Differentiable Registration of Images and LiDAR Point Clouds with
VoxelPoint-to-Pixel Matching [58.10418136917358]
カメラからの2D画像とLiDARからの3Dポイントクラウドの間のクロスモダリティ登録は、コンピュータビジョンとロボットトレーニングにおいて重要な課題である。
ニューラルネットワークで学習した点パターンと画素パターンのマッチングによる2次元3次元対応の推定
我々は、異なる潜在画素空間を介して3次元特徴を表現するために、構造化されたモダリティマッチングソルバを学習する。
論文 参考訳（メタデータ） (2023-12-07T05:46:10Z) - FreeReg: Image-to-Point Cloud Registration Leveraging Pretrained Diffusion Models and Monocular Depth Estimators [37.39693977657165]
イメージとポイントクラウド間のクロスモダリティ機能をマッチングすることは、イメージツーポイントクラウド登録の根本的な問題である。
まず,事前学習した大規模モデルを用いて,画像と点雲のモダリティを統一することを提案する。
画像から画像への拡散モデルから抽出した拡散特徴と呼ばれる中間的特徴が,画像と点雲の間で意味的に一致していることを示す。
論文 参考訳（メタデータ） (2023-10-05T09:57:23Z) - Quantity-Aware Coarse-to-Fine Correspondence for Image-to-Point Cloud
Registration [4.954184310509112]
Image-to-point cloud registrationは、RGBイメージと参照ポイントクラウドの間の相対カメラのポーズを決定することを目的としている。
個々の点と画素とのマッチングは、モダリティギャップによって本質的に曖昧である。
本稿では,局所点集合と画素パッチ間の量認識対応を捉える枠組みを提案する。
論文 参考訳（メタデータ） (2023-07-14T03:55:54Z) - Image-to-Lidar Self-Supervised Distillation for Autonomous Driving Data [80.14669385741202]
本稿では,自律運転データに適した3次元知覚モデルのための自己教師付き事前学習手法を提案する。
我々は、自動走行装置における同期・校正画像とLidarセンサーの可用性を活用している。
私たちのメソッドは、ポイントクラウドや画像アノテーションを一切必要としません。
論文 参考訳（メタデータ） (2022-03-30T12:40:30Z) - A Robust Multimodal Remote Sensing Image Registration Method and System
Using Steerable Filters with First- and Second-order Gradients [7.813406811407584]
非線形ラジオメトリック差(NRD)と有意な幾何学的歪みのため,マルチモーダルリモートセンシング画像の同時登録は現在も進行中の課題である。
本稿では,2つの重要なステップからなるステアブルフィルタに基づくロバストマッチング手法を提案する。
提案手法の性能を多種類のマルチモーダルRS画像を用いて評価した。
論文 参考訳（メタデータ） (2022-02-27T12:22:42Z) - EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。
本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。
本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
論文 参考訳（メタデータ） (2021-06-21T10:47:26Z) - LocalTrans: A Multiscale Local Transformer Network for Cross-Resolution
Homography Estimation [52.63874513999119]
クロスレゾリューション画像アライメントは、マルチスケールギガ撮影において重要な問題である。
既存のディープ・ホモグラフィー手法は、それらの間の対応の明示的な定式化を無視し、クロスレゾリューションの課題において精度が低下する。
本稿では,マルチモーダル入力間の対応性を明確に学習するために,マルチスケール構造内に埋め込まれたローカルトランスフォーマーネットワークを提案する。
論文 参考訳（メタデータ） (2021-06-08T02:51:45Z) - DeepI2P: Image-to-Point Cloud Registration via Deep Classification [71.3121124994105]
DeepI2Pは、イメージとポイントクラウドの間のクロスモダリティ登録のための新しいアプローチです。
本手法は,カメラとライダーの座標フレーム間の相対的剛性変換を推定する。
登録問題を分類および逆カメラ投影最適化問題に変換することで難易度を回避する。
論文 参考訳（メタデータ） (2021-04-08T04:27:32Z) - Identity-Aware Attribute Recognition via Real-Time Distributed Inference
in Mobile Edge Clouds [53.07042574352251]
我々は、MEC対応カメラ監視システムにおいて、re-IDを用いた歩行者属性認識のための新しいモデルの設計を行う。
本稿では,属性認識と人物再IDを協調的に考慮し,分散モジュールの集合を持つ新しい推論フレームワークを提案する。
そこで我々は,提案した分散推論フレームワークのモジュール分布の学習に基づくアルゴリズムを考案した。
論文 参考訳（メタデータ） (2020-08-12T12:03:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。