論文の概要: MinCD-PnP: Learning 2D-3D Correspondences with Approximate Blind PnP

• arxiv url: http://arxiv.org/abs/2507.15257v1
• Date: Mon, 21 Jul 2025 05:38:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:32.270502
• Title: MinCD-PnP: Learning 2D-3D Correspondences with Approximate Blind PnP
• Title（参考訳）: MinCD-PnP: 近似ブラインドPnPを用いた2D-3D対応学習
• Authors: Pei An, Jiaqi Yang, Muyao Peng, You Yang, Qiong Liu, Xiaolin Wu, Liangliang Nan,
• Abstract要約: イメージ・ツー・ポイント・クラウド(I2P)登録は、画像とポイント・クラウドの間の2DD対応を確立することに焦点を当てたコンピュータビジョンにおける基本的な問題である。 我々は,既存の I2P 登録システムに容易に統合可能な,MinCD-Net という名前の軽量マルチタスク学習モジュールを提案する。
• 参考スコア（独自算出の注目度）: 20.506654232058434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image-to-point-cloud (I2P) registration is a fundamental problem in computer vision, focusing on establishing 2D-3D correspondences between an image and a point cloud. The differential perspective-n-point (PnP) has been widely used to supervise I2P registration networks by enforcing the projective constraints on 2D-3D correspondences. However, differential PnP is highly sensitive to noise and outliers in the predicted correspondences. This issue hinders the effectiveness of correspondence learning. Inspired by the robustness of blind PnP against noise and outliers in correspondences, we propose an approximated blind PnP based correspondence learning approach. To mitigate the high computational cost of blind PnP, we simplify blind PnP to an amenable task of minimizing Chamfer distance between learned 2D and 3D keypoints, called MinCD-PnP. To effectively solve MinCD-PnP, we design a lightweight multi-task learning module, named as MinCD-Net, which can be easily integrated into the existing I2P registration architectures. Extensive experiments on 7-Scenes, RGBD-V2, ScanNet, and self-collected datasets demonstrate that MinCD-Net outperforms state-of-the-art methods and achieves a higher inlier ratio (IR) and registration recall (RR) in both cross-scene and cross-dataset settings.
• Abstract（参考訳）: I2P (Image-to-point-cloud) は、画像と点雲の間の2D-3D対応を確立することに焦点を当てたコンピュータビジョンにおける基本的な問題である。 ディファレンシャル・パースペクティブ・イン・ポイント(PnP)は、2D-3D対応の射影制約を強制することにより、I2P登録ネットワークを監督するために広く用いられている。 しかし、差分PnPは予測された対応のノイズや外れ値に非常に敏感である。 この問題は、対応学習の有効性を妨げる。 そこで本研究では, ブラインドPnPをベースとした通信学習手法を提案する。 ブラインドPnPの高計算コストを軽減するため,MinCD-PnPと呼ばれる学習された2Dと3Dのキーポイント間のチャムファー距離を最小化するために,ブラインドPnPを単純化する。 MinCD-PnP を効果的に解くため,既存の I2P 登録アーキテクチャに容易に統合可能な MinCD-Net という軽量マルチタスク学習モジュールを設計した。 7つのシーン、RGBD-V2、ScanNet、および自己コンパイルデータセットに関する大規模な実験は、MinCD-Netが最先端の手法より優れており、クロスシーンとクロスデータセットの両方の設定においてより高いインリエイト比(IR)と登録リコール(RR)を達成することを示した。

関連論文リスト

• DynaWeightPnP: Toward global real-time 3D-2D solver in PnP without correspondences [7.191124861153032]
  本稿では,3次元形状と2次元形状をリアルタイムに整列する最適なポーズを,対応なしに推定する,特別な視点-n-Point(ウェイト)問題に対処する。 血管内画像ガイド下インターベンションにおける3D-2D中心ライン登録作業の典型的な例について実験を行った。 その結果,提案アルゴリズムは60Hz/31Hzの登録処理速度を既存手法に匹敵する競争精度で達成することを確認した。
  論文  参考訳（メタデータ） (2024-09-27T05:31:33Z)
• Self-supervised Learning of LiDAR 3D Point Clouds via 2D-3D Neural Calibration [107.61458720202984]
  本稿では,自律走行シーンにおける3次元知覚を高めるための,新しい自己教師型学習フレームワークを提案する。 本稿では,画像とポイントクラウドデータの領域ギャップを埋めるために,学習可能な変換アライメントを提案する。 我々は剛性ポーズを推定するために密度の高い2D-3D対応を確立する。
  論文  参考訳（メタデータ） (2024-01-23T02:41:06Z)
• Differentiable Registration of Images and LiDAR Point Clouds with VoxelPoint-to-Pixel Matching [58.10418136917358]
  カメラからの2D画像とLiDARからの3Dポイントクラウドの間のクロスモダリティ登録は、コンピュータビジョンとロボットトレーニングにおいて重要な課題である。 ニューラルネットワークで学習した点パターンと画素パターンのマッチングによる2次元3次元対応の推定 我々は、異なる潜在画素空間を介して3次元特徴を表現するために、構造化されたモダリティマッチングソルバを学習する。
  論文  参考訳（メタデータ） (2023-12-07T05:46:10Z)
• NCP: Neural Correspondence Prior for Effective Unsupervised Shape Matching [31.61255365182462]
  我々は3次元形状間の対応を計算するための新しいパラダイムであるニューラル対応優先(NCP)を提案する。 我々のアプローチは完全に教師なしであり、挑戦する場合でも高品質な対応に繋がる可能性がある。 NCPは、多くのタスクにおいて、データ効率、高速、そして最先端の結果であることを示す。
  論文  参考訳（メタデータ） (2023-01-14T07:22:18Z)
• CorrI2P: Deep Image-to-Point Cloud Registration via Dense Correspondence [51.91791056908387]
  我々は,CorrI2Pと呼ばれる画像間クラウドの登録問題に対処するための,機能に基づく最初の高密度対応フレームワークを提案する。 具体的には、3次元の点雲の前に2次元画像が1対あるとすると、まずそれらを高次元の特徴空間に変換し、特徴を対称的に重なり合う領域に変換して、画像点雲が重なり合う領域を決定する。
  論文  参考訳（メタデータ） (2022-07-12T11:49:31Z)
• P2-Net: Joint Description and Detection of Local Features for Pixel and Point Matching [78.18641868402901]
  この研究は、2D画像と3D点雲の微粒な対応を確立するための取り組みである。 画素領域と点領域の固有情報変動を緩和するために,新しい損失関数と組み合わせた超広帯域受信機構を設計した。
  論文  参考訳（メタデータ） (2021-03-01T14:59:40Z)
• P4Contrast: Contrastive Learning with Pairs of Point-Pixel Pairs for RGB-D Scene Understanding [24.93545970229774]
  本論文では, RGB-D 点の対を正に含み, 負が2つのモダリティのいずれかが乱れた対を含む, 対照的な「点-ピクセル対の対」を提案する。 これにより、ハードネガティブのさらなる柔軟性が提供され、ネットワークは両方のモダリティから機能を学ぶことができます。
  論文  参考訳（メタデータ） (2020-12-24T04:00:52Z)
• End-to-End Pseudo-LiDAR for Image-Based 3D Object Detection [62.34374949726333]
  擬似LiDAR(PL)は、LiDARセンサに基づく手法と安価なステレオカメラに基づく手法の精度ギャップを劇的に減らした。 PLは最先端のディープニューラルネットワークと2D深度マップ出力を3Dポイントクラウド入力に変換することで3Dオブジェクト検出のための3D深度推定を組み合わせている。 我々は、PLパイプライン全体をエンドツーエンドにトレーニングできるように、差別化可能なRepresentation (CoR)モジュールに基づく新しいフレームワークを導入します。
  論文  参考訳（メタデータ） (2020-04-07T02:18:38Z)
• Learning 2D-3D Correspondences To Solve The Blind Perspective-n-Point Problem [98.92148855291363]
  本稿では、6-DoFの絶対カメラポーズ2D--3D対応を同時に解決するディープCNNモデルを提案する。 実データとシミュレーションデータの両方でテストした結果,本手法は既存手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-03-15T04:17:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。