論文の概要: CorrI2P: Deep Image-to-Point Cloud Registration via Dense Correspondence
- arxiv url: http://arxiv.org/abs/2207.05483v1
- Date: Tue, 12 Jul 2022 11:49:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-13 20:37:59.935453
- Title: CorrI2P: Deep Image-to-Point Cloud Registration via Dense Correspondence
- Title(参考訳): CorrI2P: ディエンス対応によるディープイメージツーポイントクラウド登録
- Authors: Siyu Ren, Yiming Zeng, Junhui Hou and Xiaodong Chen
- Abstract要約: 我々は,CorrI2Pと呼ばれる画像間クラウドの登録問題に対処するための,機能に基づく最初の高密度対応フレームワークを提案する。
具体的には、3次元の点雲の前に2次元画像が1対あるとすると、まずそれらを高次元の特徴空間に変換し、特徴を対称的に重なり合う領域に変換して、画像点雲が重なり合う領域を決定する。
- 参考スコア(独自算出の注目度): 51.91791056908387
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Motivated by the intuition that the critical step of localizing a 2D image in
the corresponding 3D point cloud is establishing 2D-3D correspondence between
them, we propose the first feature-based dense correspondence framework for
addressing the image-to-point cloud registration problem, dubbed CorrI2P, which
consists of three modules, i.e., feature embedding, symmetric overlapping
region detection, and pose estimation through the established correspondence.
Specifically, given a pair of a 2D image and a 3D point cloud, we first
transform them into high-dimensional feature space and feed the resulting
features into a symmetric overlapping region detector to determine the region
where the image and point cloud overlap each other. Then we use the features of
the overlapping regions to establish the 2D-3D correspondence before running
EPnP within RANSAC to estimate the camera's pose. Experimental results on KITTI
and NuScenes datasets show that our CorrI2P outperforms state-of-the-art
image-to-point cloud registration methods significantly. We will make the code
publicly available.
- Abstract(参考訳): 対応する3d点クラウドに2d画像をローカライズするクリティカルステップが、それらの間の2d-3d対応を確立するという直感性に動機づけられ、corri2pと呼ばれる3つのモジュール、すなわち特徴埋め込み、対称重複領域検出、および確立された対応による推定からなる画像対ポイントクラウド登録問題に対処するための、最初の機能ベースの高密度対応フレームワークを提案する。
具体的には、一対の2次元画像と3次元点雲が与えられた場合、まずそれらを高次元の特徴空間に変換し、得られた特徴を対称重畳領域検出器に供給し、画像と点雲が重なり合う領域を決定する。
次に、重なり合う領域の特徴を用いて、RANSAC内でEPnPを実行する前に2D-3D対応を確立する。
KITTIとNuScenesのデータセットの実験結果から,我々のCorrI2Pは最先端のイメージ・ツー・ポイントのクラウド登録方法よりも優れていた。
私たちはそのコードを公開します。
関連論文リスト
- Robust 3D Point Clouds Classification based on Declarative Defenders [18.51700931775295]
3Dポイントの雲は非構造的でスパースであり、2Dイメージは構造的で密度が高い。
本稿では,3次元点雲を2次元画像にマッピングする3つの異なるアルゴリズムについて検討する。
提案手法は敵攻撃に対する高い精度と堅牢性を示す。
論文 参考訳(メタデータ) (2024-10-13T01:32:38Z) - Self-supervised Learning of LiDAR 3D Point Clouds via 2D-3D Neural Calibration [107.61458720202984]
本稿では,自律走行シーンにおける3次元知覚を高めるための,新しい自己教師型学習フレームワークを提案する。
本稿では,画像とポイントクラウドデータの領域ギャップを埋めるために,学習可能な変換アライメントを提案する。
我々は剛性ポーズを推定するために密度の高い2D-3D対応を確立する。
論文 参考訳(メタデータ) (2024-01-23T02:41:06Z) - EP2P-Loc: End-to-End 3D Point to 2D Pixel Localization for Large-Scale
Visual Localization [44.05930316729542]
本稿では,3次元点雲の大規模可視化手法EP2P-Locを提案する。
画像中の見えない3D点を除去する簡単なアルゴリズムを提案する。
このタスクで初めて、エンドツーエンドのトレーニングに差別化可能なツールを使用します。
論文 参考訳(メタデータ) (2023-09-14T07:06:36Z) - End-to-end 2D-3D Registration between Image and LiDAR Point Cloud for
Vehicle Localization [45.81385500855306]
我々は,新しいエンドツーエンド2D-3D登録ネットワークであるI2PNetを提案する。
I2PNetは、独自のターゲットを持つ差動モジュールを使用して、2D RGB画像で生の3Dポイントクラウドを直接登録する。
我々は,KITTIオドメトリーとnuScenesデータセットの広範囲なローカライゼーション実験を行った。
論文 参考訳(メタデータ) (2023-06-20T07:28:40Z) - CheckerPose: Progressive Dense Keypoint Localization for Object Pose
Estimation with Graph Neural Network [66.24726878647543]
単一のRGB画像から固い物体の6-DoFのポーズを推定することは、非常に難しい課題である。
近年の研究では、高密度対応型解の大きな可能性を示している。
そこで本研究では,CheckerPoseというポーズ推定アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-03-29T17:30:53Z) - PCR-CG: Point Cloud Registration via Deep Explicit Color and Geometry [28.653015760036602]
色信号を幾何学表現に明示的に埋め込む新しい3Dポイントクラウド登録モジュールを提案する。
我々の重要な貢献は、色信号から学習した深い特徴を幾何学的表現に埋め込む2D-3Dクロスモダリティ学習アルゴリズムである。
本研究は, 登録作業において, 鮮明な深色特徴を点雲に関連付けるという大きな利点を明らかにした。
論文 参考訳(メタデータ) (2023-02-28T08:50:17Z) - DeepI2P: Image-to-Point Cloud Registration via Deep Classification [71.3121124994105]
DeepI2Pは、イメージとポイントクラウドの間のクロスモダリティ登録のための新しいアプローチです。
本手法は,カメラとライダーの座標フレーム間の相対的剛性変換を推定する。
登録問題を分類および逆カメラ投影最適化問題に変換することで難易度を回避する。
論文 参考訳(メタデータ) (2021-04-08T04:27:32Z) - P2-Net: Joint Description and Detection of Local Features for Pixel and
Point Matching [78.18641868402901]
この研究は、2D画像と3D点雲の微粒な対応を確立するための取り組みである。
画素領域と点領域の固有情報変動を緩和するために,新しい損失関数と組み合わせた超広帯域受信機構を設計した。
論文 参考訳(メタデータ) (2021-03-01T14:59:40Z) - Learning 2D-3D Correspondences To Solve The Blind Perspective-n-Point
Problem [98.92148855291363]
本稿では、6-DoFの絶対カメラポーズ2D--3D対応を同時に解決するディープCNNモデルを提案する。
実データとシミュレーションデータの両方でテストした結果,本手法は既存手法よりも大幅に優れていた。
論文 参考訳(メタデータ) (2020-03-15T04:17:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。