論文の概要: Quantity-Aware Coarse-to-Fine Correspondence for Image-to-Point Cloud Registration

• arxiv url: http://arxiv.org/abs/2307.07142v2
• Date: Thu, 18 Jan 2024 11:30:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-19 20:18:39.829391
• Title: Quantity-Aware Coarse-to-Fine Correspondence for Image-to-Point Cloud Registration
• Title（参考訳）: 画像から点へのクラウド登録のための量認識粗視対応
• Authors: Gongxin Yao, Yixin Xuan, Yiwei Chen and Yu Pan
• Abstract要約: Image-to-point cloud registrationは、RGBイメージと参照ポイントクラウドの間の相対カメラのポーズを決定することを目的としている。 個々の点と画素とのマッチングは、モダリティギャップによって本質的に曖昧である。 本稿では,局所点集合と画素パッチ間の量認識対応を捉える枠組みを提案する。
• 参考スコア（独自算出の注目度）: 4.954184310509112
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image-to-point cloud registration aims to determine the relative camera pose between an RGB image and a reference point cloud, serving as a general solution for locating 3D objects from 2D observations. Matching individual points with pixels can be inherently ambiguous due to modality gaps. To address this challenge, we propose a framework to capture quantity-aware correspondences between local point sets and pixel patches and refine the results at both the point and pixel levels. This framework aligns the high-level semantics of point sets and pixel patches to improve the matching accuracy. On a coarse scale, the set-to-patch correspondence is expected to be influenced by the quantity of 3D points. To achieve this, a novel supervision strategy is proposed to adaptively quantify the degrees of correlation as continuous values. On a finer scale, point-to-pixel correspondences are refined from a smaller search space through a well-designed scheme, which incorporates both resampling and quantity-aware priors. Particularly, a confidence sorting strategy is proposed to proportionally select better correspondences at the final stage. Leveraging the advantages of high-quality correspondences, the problem is successfully resolved using an efficient Perspective-n-Point solver within the framework of random sample consensus (RANSAC). Extensive experiments on the KITTI Odometry and NuScenes datasets demonstrate the superiority of our method over the state-of-the-art methods.
• Abstract（参考訳）: Image-to-point cloud registrationは、RGBイメージと参照ポイントクラウドの間の相対カメラのポーズを決定することを目的としており、2D観測から3Dオブジェクトを見つけるための一般的なソリューションとして機能している。 個々の点とピクセルのマッチングは、モダリティギャップのために本質的に曖昧である。 この課題に対処するために,局所点集合と画素パッチ間の量認識対応をキャプチャし,各点と画素レベルで結果を洗練するフレームワークを提案する。 このフレームワークは、一致精度を向上させるために、ポイントセットとピクセルパッチの高レベルなセマンティクスを調整する。 粗いスケールでは, 3次元点の量の影響を受け, セット・ツー・パッチ対応が期待できる。 これを実現するために, 相関度を連続値として適応的に定量化する新しい監督戦略を提案する。 より詳細なスケールでは、ポイント・ツー・ピクセル対応は、再サンプリングと量認識の両方を含むよく設計されたスキームによって、より小さな探索空間から洗練される。 特に,最終段階で適切な対応を比例的に選択するための信頼ソート戦略が提案されている。 高品質対応の利点を生かして、ランダムサンプルコンセンサス(ransac)の枠組みの中で効率的な遠近法n点解法を用いて解決する。 KITTIオドメトリとNuScenesデータセットの大規模な実験により,本手法が最先端手法よりも優れていることが示された。

関連論文リスト

• Geometry-aware Feature Matching for Large-Scale Structure from Motion [10.645087195983201]
  大規模シナリオでは重なりが小さい場合にギャップを埋めるために,カラーキューに加えて幾何学的手がかりを導入する。 提案手法は, 検出器フリー法からの高密度対応が幾何的に整合性を持ち, 精度が高いことを保証する。 ベンチマークデータセットにおける最先端の機能マッチングメソッドよりも優れています。
  論文  参考訳（メタデータ） (2024-09-03T21:41:35Z)
• Multiway Point Cloud Mosaicking with Diffusion and Global Optimization [74.3802812773891]
  マルチウェイポイントクラウドモザイクのための新しいフレームワーク(水曜日)を紹介する。 我々のアプローチの核心は、重複を識別し、注意点を洗練する学習されたペアワイズ登録アルゴリズムODINである。 4つの多種多様な大規模データセットを用いて、我々の手法は、全てのベンチマークにおいて大きなマージンで、最先端のペアとローテーションの登録結果を比較した。
  論文  参考訳（メタデータ） (2024-03-30T17:29:13Z)
• Differentiable Registration of Images and LiDAR Point Clouds with VoxelPoint-to-Pixel Matching [58.10418136917358]
  カメラからの2D画像とLiDARからの3Dポイントクラウドの間のクロスモダリティ登録は、コンピュータビジョンとロボットトレーニングにおいて重要な課題である。 ニューラルネットワークで学習した点パターンと画素パターンのマッチングによる2次元3次元対応の推定 我々は、異なる潜在画素空間を介して3次元特徴を表現するために、構造化されたモダリティマッチングソルバを学習する。
  論文  参考訳（メタデータ） (2023-12-07T05:46:10Z)
• Grad-PU: Arbitrary-Scale Point Cloud Upsampling via Gradient Descent with Learned Distance Functions [77.32043242988738]
  我々は、任意のアップサンプリングレートをサポートする、正確なポイントクラウドアップサンプリングのための新しいフレームワークを提案する。 提案手法は,まず,所定のアップサンプリング率に応じて低解像度の雲を補間する。
  論文  参考訳（メタデータ） (2023-04-24T06:36:35Z)
• CheckerPose: Progressive Dense Keypoint Localization for Object Pose Estimation with Graph Neural Network [66.24726878647543]
  単一のRGB画像から固い物体の6-DoFのポーズを推定することは、非常に難しい課題である。 近年の研究では、高密度対応型解の大きな可能性を示している。 そこで本研究では,CheckerPoseというポーズ推定アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-29T17:30:53Z)
• ObjectMatch: Robust Registration using Canonical Object Correspondences [21.516657643120375]
  本稿では,RGB-D SLAMパイプラインのためのセマンティック・オブジェクト中心のカメラポーズ推定器であるObjectMatchを提案する。 RGB-Dシークエンスを登録する場合,本手法は,挑戦的で低フレームレートのシナリオにおいて,最先端のSLAMベースラインよりも優れる。
  論文  参考訳（メタデータ） (2022-12-05T02:38:08Z)
• DFC: Deep Feature Consistency for Robust Point Cloud Registration [0.4724825031148411]
  複雑なアライメントシーンのための学習に基づくアライメントネットワークを提案する。 我々は,3DMatchデータセットとKITTIオドメトリデータセットに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2021-11-15T08:27:21Z)
• PCAM: Product of Cross-Attention Matrices for Rigid Registration of Point Clouds [79.99653758293277]
  PCAMは、キー要素がクロスアテンション行列のポイントワイズ積であるニューラルネットワークである。 そこで本研究では,PCAMがステップ(a)とステップ(b)をディープネットを介して共同で解決する手法によって,最先端の成果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-04T09:23:27Z)
• DeepI2P: Image-to-Point Cloud Registration via Deep Classification [71.3121124994105]
  DeepI2Pは、イメージとポイントクラウドの間のクロスモダリティ登録のための新しいアプローチです。 本手法は,カメラとライダーの座標フレーム間の相対的剛性変換を推定する。 登録問題を分類および逆カメラ投影最適化問題に変換することで難易度を回避する。
  論文  参考訳（メタデータ） (2021-04-08T04:27:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。