論文の概要: CFI2P: Coarse-to-Fine Cross-Modal Correspondence Learning for
Image-to-Point Cloud Registration
- arxiv url: http://arxiv.org/abs/2307.07142v1
- Date: Fri, 14 Jul 2023 03:55:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-17 15:01:10.605993
- Title: CFI2P: Coarse-to-Fine Cross-Modal Correspondence Learning for
Image-to-Point Cloud Registration
- Title（参考訳）: CFI2P:イメージ・ツー・ポイント・クラウド登録のための粗大なモーダル対応学習
- Authors: Gongxin Yao, Yixin Xuan, Yiwei Chen and Yu Pan
- Abstract要約: 本稿では,局所点集合と画素パッチの対応性を確立することを強調する粗大なフレームワークを提案する。
より微細なスケールでは、ポイント・ツー・ピクセル対応は、よく設計されたサンプリング、注意深い学習、微妙なマッチングによって、より小さな検索空間から洗練される。
高品質な対応により、登録問題はRANSACSAC内のEアルゴリズムによって解決される。
- 参考スコア（独自算出の注目度）: 4.646396632399678
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the context of image-to-point cloud registration, acquiring point-to-pixel
correspondences presents a challenging task since the similarity between
individual points and pixels is ambiguous due to the visual differences in data
modalities. Nevertheless, the same object present in the two data formats can
be readily identified from the local perspective of point sets and pixel
patches. Motivated by this intuition, we propose a coarse-to-fine framework
that emphasizes the establishment of correspondences between local point sets
and pixel patches, followed by the refinement of results at both the point and
pixel levels. On a coarse scale, we mimic the classic Visual Transformer to
translate both image and point cloud into two sequences of local
representations, namely point and pixel proxies, and employ attention to
capture global and cross-modal contexts. To supervise the coarse matching, we
propose a novel projected point proportion loss, which guides to match point
sets with pixel patches where more points can be projected into. On a finer
scale, point-to-pixel correspondences are then refined from a smaller search
space (i.e., the coarsely matched sets and patches) via well-designed sampling,
attentional learning and fine matching, where sampling masks are embedded in
the last two steps to mitigate the negative effect of sampling. With the
high-quality correspondences, the registration problem is then resolved by EPnP
algorithm within RANSAC. Experimental results on large-scale outdoor benchmarks
demonstrate our superiority over existing methods.
- Abstract（参考訳）: 画像対点クラウド登録の文脈では、個々の点と画素の類似性はデータモダリティの視覚的な差異のために曖昧であるため、ポイント対画素対応の取得は困難な課題となる。
それでも、2つのデータフォーマットに存在する同じオブジェクトは、ポイントセットとピクセルパッチのローカルな視点から容易に識別できる。
この直観に動機づけられて,局所点集合と画素パッチの対応関係の確立を強調し,さらに点と画素レベルでの結果の精細化を強調する粗いto-fineフレームワークを提案する。
粗いスケールでは、古典的なVisual Transformerを模倣して、画像と点の雲を2つの局所的な表現、すなわち点と画素のプロキシに変換し、グローバルなコンテキストとクロスモーダルなコンテキストを捉える。
粗いマッチングを監督するために、より多くの点を投影できる画素パッチと一致する点集合を導出する新規な投影された点比損失を提案する。
より細かいスケールでは、サンプリングのマイナス効果を緩和するためにサンプリングマスクを最後の2ステップに埋め込む、適切に設計されたサンプリング、注意学習、ファインマッチングを通じて、より小さな探索空間(つまり粗いマッチングセットとパッチ)からポイント・ツー・ピクセル対応を洗練する。
高品質な対応により、登録問題はRANSAC内のEPnPアルゴリズムによって解決される。
大規模屋外ベンチマーク実験の結果,既存の手法よりも優れた結果が得られた。
関連論文リスト
- Geometry-aware Feature Matching for Large-Scale Structure from Motion [10.645087195983201]
大規模シナリオでは重なりが小さい場合にギャップを埋めるために,カラーキューに加えて幾何学的手がかりを導入する。
提案手法は, 検出器フリー法からの高密度対応が幾何的に整合性を持ち, 精度が高いことを保証する。
ベンチマークデータセットにおける最先端の機能マッチングメソッドよりも優れています。
論文 参考訳（メタデータ） (2024-09-03T21:41:35Z) - Multiway Point Cloud Mosaicking with Diffusion and Global Optimization [74.3802812773891]
マルチウェイポイントクラウドモザイクのための新しいフレームワーク(水曜日)を紹介する。
我々のアプローチの核心は、重複を識別し、注意点を洗練する学習されたペアワイズ登録アルゴリズムODINである。
4つの多種多様な大規模データセットを用いて、我々の手法は、全てのベンチマークにおいて大きなマージンで、最先端のペアとローテーションの登録結果を比較した。
論文 参考訳（メタデータ） (2024-03-30T17:29:13Z) - Differentiable Registration of Images and LiDAR Point Clouds with
VoxelPoint-to-Pixel Matching [58.10418136917358]
カメラからの2D画像とLiDARからの3Dポイントクラウドの間のクロスモダリティ登録は、コンピュータビジョンとロボットトレーニングにおいて重要な課題である。
ニューラルネットワークで学習した点パターンと画素パターンのマッチングによる2次元3次元対応の推定
我々は、異なる潜在画素空間を介して3次元特徴を表現するために、構造化されたモダリティマッチングソルバを学習する。
論文 参考訳（メタデータ） (2023-12-07T05:46:10Z) - Grad-PU: Arbitrary-Scale Point Cloud Upsampling via Gradient Descent
with Learned Distance Functions [77.32043242988738]
我々は、任意のアップサンプリングレートをサポートする、正確なポイントクラウドアップサンプリングのための新しいフレームワークを提案する。
提案手法は,まず,所定のアップサンプリング率に応じて低解像度の雲を補間する。
論文 参考訳（メタデータ） (2023-04-24T06:36:35Z) - CheckerPose: Progressive Dense Keypoint Localization for Object Pose
Estimation with Graph Neural Network [66.24726878647543]
単一のRGB画像から固い物体の6-DoFのポーズを推定することは、非常に難しい課題である。
近年の研究では、高密度対応型解の大きな可能性を示している。
そこで本研究では,CheckerPoseというポーズ推定アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-03-29T17:30:53Z) - ObjectMatch: Robust Registration using Canonical Object Correspondences [21.516657643120375]
本稿では,RGB-D SLAMパイプラインのためのセマンティック・オブジェクト中心のカメラポーズ推定器であるObjectMatchを提案する。
RGB-Dシークエンスを登録する場合,本手法は,挑戦的で低フレームレートのシナリオにおいて,最先端のSLAMベースラインよりも優れる。
論文 参考訳（メタデータ） (2022-12-05T02:38:08Z) - DFC: Deep Feature Consistency for Robust Point Cloud Registration [0.4724825031148411]
複雑なアライメントシーンのための学習に基づくアライメントネットワークを提案する。
我々は,3DMatchデータセットとKITTIオドメトリデータセットに対するアプローチを検証する。
論文 参考訳（メタデータ） (2021-11-15T08:27:21Z) - PCAM: Product of Cross-Attention Matrices for Rigid Registration of
Point Clouds [79.99653758293277]
PCAMは、キー要素がクロスアテンション行列のポイントワイズ積であるニューラルネットワークである。
そこで本研究では,PCAMがステップ(a)とステップ(b)をディープネットを介して共同で解決する手法によって,最先端の成果が得られることを示す。
論文 参考訳（メタデータ） (2021-10-04T09:23:27Z) - DeepI2P: Image-to-Point Cloud Registration via Deep Classification [71.3121124994105]
DeepI2Pは、イメージとポイントクラウドの間のクロスモダリティ登録のための新しいアプローチです。
本手法は,カメラとライダーの座標フレーム間の相対的剛性変換を推定する。
登録問題を分類および逆カメラ投影最適化問題に変換することで難易度を回避する。
論文 参考訳（メタデータ） (2021-04-08T04:27:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。