論文の概要: 2D3D-MATR: 2D-3D Matching Transformer for Detection-free Registration between Images and Point Clouds

• arxiv url: http://arxiv.org/abs/2308.05667v2
• Date: Mon, 14 Aug 2023 12:49:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 10:15:28.954472
• Title: 2D3D-MATR: 2D-3D Matching Transformer for Detection-free Registration between Images and Point Clouds
• Title（参考訳）: 2d3d-matr : 2d-3dマッチングトランスによる画像と点雲の認識フリー登録
• Authors: Minhao Li, Zheng Qin, Zhirui Gao, Renjiao Yi, Chenyang Zhu, Yulan Guo, Kai Xu
• Abstract要約: 本稿では2D3D-MATRを提案する。 提案手法では,入力画像のダウンサンプリングされたパッチと点雲との間の粗い対応をまず計算する。 パッチマッチングにおけるスケールのあいまいさを解決するため,各画像パッチに対してマルチスケールピラミッドを構築し,最適なマッチング画像パッチを適切な解像度で検出する。
• 参考スコア（独自算出の注目度）: 38.425876064671435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The commonly adopted detect-then-match approach to registration finds difficulties in the cross-modality cases due to the incompatible keypoint detection and inconsistent feature description. We propose, 2D3D-MATR, a detection-free method for accurate and robust registration between images and point clouds. Our method adopts a coarse-to-fine pipeline where it first computes coarse correspondences between downsampled patches of the input image and the point cloud and then extends them to form dense correspondences between pixels and points within the patch region. The coarse-level patch matching is based on transformer which jointly learns global contextual constraints with self-attention and cross-modality correlations with cross-attention. To resolve the scale ambiguity in patch matching, we construct a multi-scale pyramid for each image patch and learn to find for each point patch the best matching image patch at a proper resolution level. Extensive experiments on two public benchmarks demonstrate that 2D3D-MATR outperforms the previous state-of-the-art P2-Net by around $20$ percentage points on inlier ratio and over $10$ points on registration recall. Our code and models are available at https://github.com/minhaolee/2D3DMATR.
• Abstract（参考訳）: 一般的に採用されている登録法では,キーポイント検出の不整合性や特徴記述の不整合性により,モダリティ間のケースでは困難が生じる。 2d3d-matrという,画像と点雲の高精度かつロバストな登録手法を提案する。 本手法では,まず,入力画像と点雲のサンプルダウンパッチ間の粗い対応を計算し,それを拡張して,パッチ領域内の画素と点間の密接な対応を形成する。 粗いレベルのパッチマッチングは、セルフアテンションによるグローバルコンテキスト制約とクロスアテンションによるクロスモダリティ相関を共同で学習するトランスフォーマーに基づいている。 パッチマッチングにおけるスケールあいまいさを解消するために,画像パッチ毎にマルチスケールのピラミッドを構築し,適切な解像度レベルで最適な画像パッチを見つけることを学ぶ。 2D3D-MATRは、2D3D-MATRが従来のP2-Netよりも約20ドル高いインヤ比で、登録リコールで10ドル以上のパフォーマンスを示している。 私たちのコードとモデルはhttps://github.com/minhaolee/2d3dmatrで利用可能です。

関連論文リスト

• EP2P-Loc: End-to-End 3D Point to 2D Pixel Localization for Large-Scale Visual Localization [44.05930316729542]
  本稿では,3次元点雲の大規模可視化手法EP2P-Locを提案する。 画像中の見えない3D点を除去する簡単なアルゴリズムを提案する。 このタスクで初めて、エンドツーエンドのトレーニングに差別化可能なツールを使用します。
  論文  参考訳（メタデータ） (2023-09-14T07:06:36Z)
• Quantity-Aware Coarse-to-Fine Correspondence for Image-to-Point Cloud Registration [4.954184310509112]
  Image-to-point cloud registrationは、RGBイメージと参照ポイントクラウドの間の相対カメラのポーズを決定することを目的としている。 個々の点と画素とのマッチングは、モダリティギャップによって本質的に曖昧である。 本稿では,局所点集合と画素パッチ間の量認識対応を捉える枠組みを提案する。
  論文  参考訳（メタデータ） (2023-07-14T03:55:54Z)
• CorrI2P: Deep Image-to-Point Cloud Registration via Dense Correspondence [51.91791056908387]
  我々は,CorrI2Pと呼ばれる画像間クラウドの登録問題に対処するための,機能に基づく最初の高密度対応フレームワークを提案する。 具体的には、3次元の点雲の前に2次元画像が1対あるとすると、まずそれらを高次元の特徴空間に変換し、特徴を対称的に重なり合う領域に変換して、画像点雲が重なり合う領域を決定する。
  論文  参考訳（メタデータ） (2022-07-12T11:49:31Z)
• Geometric Transformer for Fast and Robust Point Cloud Registration [53.10568889775553]
  点雲登録のための正確な対応を抽出する問題について検討する。 最近のキーポイントフリー手法は、低オーバーラップシナリオでは難しい繰り返し可能なキーポイントの検出を回避している。 本稿では,ロバストなスーパーポイントマッチングのための幾何学的特徴を学習するための幾何学変換器を提案する。
  論文  参考訳（メタデータ） (2022-02-14T13:26:09Z)
• DeepI2P: Image-to-Point Cloud Registration via Deep Classification [71.3121124994105]
  DeepI2Pは、イメージとポイントクラウドの間のクロスモダリティ登録のための新しいアプローチです。 本手法は,カメラとライダーの座標フレーム間の相対的剛性変換を推定する。 登録問題を分類および逆カメラ投影最適化問題に変換することで難易度を回避する。
  論文  参考訳（メタデータ） (2021-04-08T04:27:32Z)
• P2-Net: Joint Description and Detection of Local Features for Pixel and Point Matching [78.18641868402901]
  この研究は、2D画像と3D点雲の微粒な対応を確立するための取り組みである。 画素領域と点領域の固有情報変動を緩和するために,新しい損失関数と組み合わせた超広帯域受信機構を設計した。
  論文  参考訳（メタデータ） (2021-03-01T14:59:40Z)
• Learning 2D-3D Correspondences To Solve The Blind Perspective-n-Point Problem [98.92148855291363]
  本稿では、6-DoFの絶対カメラポーズ2D--3D対応を同時に解決するディープCNNモデルを提案する。 実データとシミュレーションデータの両方でテストした結果,本手法は既存手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-03-15T04:17:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。