論文の概要: PAPI-Reg: Patch-to-Pixel Solution for Efficient Cross-Modal Registration between LiDAR Point Cloud and Camera Image
- arxiv url: http://arxiv.org/abs/2503.15285v1
- Date: Wed, 19 Mar 2025 15:04:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-20 15:23:16.009635
- Title: PAPI-Reg: Patch-to-Pixel Solution for Efficient Cross-Modal Registration between LiDAR Point Cloud and Camera Image
- Title（参考訳）: PAPI-Reg:LiDARポイントクラウドとカメライメージ間の効率的なクロスモーダルレジストレーションのためのパッチ・ツー・ピクセル・ソリューション
- Authors: Yuanchao Yue, Zhengxin Li, Wei Zhang, Hui Yuan,
- Abstract要約: クロスモーダルデータ融合は、異なるセンサーからのデータの正確なアライメントを含む。
カメラ画像とのマッチングのために,点雲を複数の2次元表現に投影するフレームワークを提案する。
画像マッチングタスクにおいて, クロスモーダル差とLiDAR点雲と画像との重複の制限に対処するために, マルチスケールの特徴抽出ネットワークを導入する。
- 参考スコア（独自算出の注目度）: 10.906218491083576
- License:
- Abstract: The primary requirement for cross-modal data fusion is the precise alignment of data from different sensors. However, the calibration between LiDAR point clouds and camera images is typically time-consuming and needs external calibration board or specific environmental features. Cross-modal registration effectively solves this problem by aligning the data directly without requiring external calibration. However, due to the domain gap between the point cloud and the image, existing methods rarely achieve satisfactory registration accuracy while maintaining real-time performance. To address this issue, we propose a framework that projects point clouds into several 2D representations for matching with camera images, which not only leverages the geometric characteristic of LiDAR point clouds more effectively but also bridge the domain gap between the point cloud and image. Moreover, to tackle the challenges of cross modal differences and the limited overlap between LiDAR point clouds and images in the image matching task, we introduce a multi-scale feature extraction network to effectively extract features from both camera images and the projection maps of LiDAR point cloud. Additionally, we propose a patch-to-pixel matching network to provide more effective supervision and achieve higher accuracy. We validate the performance of our model through experiments on the KITTI and nuScenes datasets. Our network achieves real-time performance and extremely high registration accuracy. On the KITTI dataset, our model achieves a registration accuracy rate of over 99\%.
- Abstract（参考訳）: クロスモーダルデータ融合の第一の要件は、異なるセンサーからのデータの正確なアライメントである。
しかし、LiDAR点雲とカメラ画像の校正は通常、時間を要するため、外部校正ボードや特定の環境特性が必要である。
クロスモーダル登録は、外部キャリブレーションを必要とせずにデータを直接整列することで、この問題を効果的に解決する。
しかし、点雲と画像の領域差のため、既存の手法ではリアルタイム性能を維持しながら十分な登録精度が得られない。
この問題に対処するために,LDAR点雲の幾何学的特性をより効果的に活用するだけでなく,点雲と画像の間の領域ギャップを埋める,複数の2次元表現に点雲を投影するフレームワークを提案する。
さらに,LiDAR点雲と画像マッチングタスクにおける画像との重複が限定的であることに対処するために,カメラ画像とLiDAR点雲の投影マップから特徴を効果的に抽出するマルチスケール特徴抽出ネットワークを導入する。
さらに,より効果的な監視と高精度化を実現するパッチ・ツー・ピクセルマッチングネットワークを提案する。
我々は、KITTIおよびnuScenesデータセットの実験を通して、モデルの性能を検証する。
我々のネットワークはリアルタイム性能と極めて高い登録精度を実現している。
KITTIデータセットでは,登録精度が99\%以上である。
関連論文リスト
- LPRnet: A self-supervised registration network for LiDAR and photogrammetric point clouds [38.42527849407057]
LiDARとフォトグラムは、それぞれポイントクラウド取得のためのアクティブおよびパッシブリモートセンシング技術である。
感知機構、空間分布、座標系に根本的な違いがあるため、それらの点雲は密度、精度、ノイズ、重なり合いにおいて大きな違いを示す。
本稿では, マスク付きオートエンコーダをベースとした自己教師型登録ネットワークを提案し, 異種LiDARと光グラム点雲に着目した。
論文 参考訳（メタデータ） (2025-01-10T02:36:37Z) - EEPNet: Efficient Edge Pixel-based Matching Network for Cross-Modal Dynamic Registration between LiDAR and Camera [6.817117737186402]
自動運転車が複雑な環境の中で軌道を正確に知覚し、分析し、計画するためには、マルチセンサー融合が不可欠である。
画像にLiDAR点雲を登録する現在の手法は、固有の違いと計算オーバーヘッドのために大きな課題に直面している。
我々は、ポイントクラウド投影から得られたモダリティマップを利用して、登録精度を向上させる高度ネットワークであるEEPNetを提案する。
論文 参考訳（メタデータ） (2024-09-28T10:28:28Z) - P2P-Bridge: Diffusion Bridges for 3D Point Cloud Denoising [81.92854168911704]
私たちは、Diffusion Schr"odingerブリッジをポイントクラウドに適応させる新しいフレームワークを通じて、ポイントクラウドを飾るタスクに取り組みます。
オブジェクトデータセットの実験では、P2P-Bridgeは既存のメソッドよりも大幅に改善されている。
論文 参考訳（メタデータ） (2024-08-29T08:00:07Z) - Differentiable Registration of Images and LiDAR Point Clouds with
VoxelPoint-to-Pixel Matching [58.10418136917358]
カメラからの2D画像とLiDARからの3Dポイントクラウドの間のクロスモダリティ登録は、コンピュータビジョンとロボットトレーニングにおいて重要な課題である。
ニューラルネットワークで学習した点パターンと画素パターンのマッチングによる2次元3次元対応の推定
我々は、異なる潜在画素空間を介して3次元特徴を表現するために、構造化されたモダリティマッチングソルバを学習する。
論文 参考訳（メタデータ） (2023-12-07T05:46:10Z) - GraphAlign: Enhancing Accurate Feature Alignment by Graph matching for
Multi-Modal 3D Object Detection [7.743525134435137]
LiDARとカメラは、自律運転における3Dオブジェクト検出のための補完センサーである。
グラフマッチングによる3次元物体検出のためのより正確な特徴アライメント戦略であるGraphAlignを提案する。
論文 参考訳（メタデータ） (2023-10-12T12:06:31Z) - FreeReg: Image-to-Point Cloud Registration Leveraging Pretrained Diffusion Models and Monocular Depth Estimators [37.39693977657165]
イメージとポイントクラウド間のクロスモダリティ機能をマッチングすることは、イメージツーポイントクラウド登録の根本的な問題である。
まず,事前学習した大規模モデルを用いて,画像と点雲のモダリティを統一することを提案する。
画像から画像への拡散モデルから抽出した拡散特徴と呼ばれる中間的特徴が,画像と点雲の間で意味的に一致していることを示す。
論文 参考訳（メタデータ） (2023-10-05T09:57:23Z) - CorrI2P: Deep Image-to-Point Cloud Registration via Dense Correspondence [51.91791056908387]
我々は,CorrI2Pと呼ばれる画像間クラウドの登録問題に対処するための,機能に基づく最初の高密度対応フレームワークを提案する。
具体的には、3次元の点雲の前に2次元画像が1対あるとすると、まずそれらを高次元の特徴空間に変換し、特徴を対称的に重なり合う領域に変換して、画像点雲が重なり合う領域を決定する。
論文 参考訳（メタデータ） (2022-07-12T11:49:31Z) - Unsupervised Foggy Scene Understanding via Self Spatial-Temporal Label
Diffusion [51.11295961195151]
運転シーンの霧画像列の特徴を利用して、自信ある擬似ラベルを密度化する。
局所的な空間的類似性と逐次画像データの隣接時間対応の2つの発見に基づいて,新たなターゲット・ドメイン駆動擬似ラベル拡散方式を提案する。
本手法は,2つの天然霧のデータセット上で51.92%,53.84%の平均交叉結合(mIoU)を達成するのに有効である。
論文 参考訳（メタデータ） (2022-06-10T05:16:50Z) - DeepI2P: Image-to-Point Cloud Registration via Deep Classification [71.3121124994105]
DeepI2Pは、イメージとポイントクラウドの間のクロスモダリティ登録のための新しいアプローチです。
本手法は,カメラとライダーの座標フレーム間の相対的剛性変換を推定する。
登録問題を分類および逆カメラ投影最適化問題に変換することで難易度を回避する。
論文 参考訳（メタデータ） (2021-04-08T04:27:32Z) - Pseudo-LiDAR Point Cloud Interpolation Based on 3D Motion Representation
and Spatial Supervision [68.35777836993212]
我々はPseudo-LiDAR点雲ネットワークを提案し、時間的および空間的に高品質な点雲列を生成する。
点雲間のシーンフローを活用することにより,提案ネットワークは3次元空間運動関係のより正確な表現を学習することができる。
論文 参考訳（メタデータ） (2020-06-20T03:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。