論文の概要: Learning 2D-3D Correspondences To Solve The Blind Perspective-n-Point Problem

• arxiv url: http://arxiv.org/abs/2003.06752v1
• Date: Sun, 15 Mar 2020 04:17:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-23 08:45:45.001343
• Title: Learning 2D-3D Correspondences To Solve The Blind Perspective-n-Point Problem
• Title（参考訳）: 2D-3D対応の学習
• Authors: Liu Liu, Dylan Campbell, Hongdong Li, Dingfu Zhou, Xibin Song and Ruigang Yang
• Abstract要約: 本稿では、6-DoFの絶対カメラポーズ2D--3D対応を同時に解決するディープCNNモデルを提案する。 実データとシミュレーションデータの両方でテストした結果,本手法は既存手法よりも大幅に優れていた。
• 参考スコア（独自算出の注目度）: 98.92148855291363
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conventional absolute camera pose via a Perspective-n-Point (PnP) solver often assumes that the correspondences between 2D image pixels and 3D points are given. When the correspondences between 2D and 3D points are not known a priori, the task becomes the much more challenging blind PnP problem. This paper proposes a deep CNN model which simultaneously solves for both the 6-DoF absolute camera pose and 2D--3D correspondences. Our model comprises three neural modules connected in sequence. First, a two-stream PointNet-inspired network is applied directly to both the 2D image keypoints and the 3D scene points in order to extract discriminative point-wise features harnessing both local and contextual information. Second, a global feature matching module is employed to estimate a matchability matrix among all 2D--3D pairs. Third, the obtained matchability matrix is fed into a classification module to disambiguate inlier matches. The entire network is trained end-to-end, followed by a robust model fitting (P3P-RANSAC) at test time only to recover the 6-DoF camera pose. Extensive tests on both real and simulated data have shown that our method substantially outperforms existing approaches, and is capable of processing thousands of points a second with the state-of-the-art accuracy.
• Abstract（参考訳）: 従来の絶対カメラのポーズは、pnp(pointer-n-point)ソルバで、2d画像ピクセルと3dポイントの対応が与えられると仮定することが多い。 2D点と3D点の対応が先行的でない場合、タスクはより困難な盲点PnP問題となる。 本稿では、6-DoF絶対カメラポーズと2D--3D対応を同時に解くディープCNNモデルを提案する。 我々のモデルは3つのニューラルネットワークモジュールからなる。 まず、2D画像キーポイントと3Dシーンポイントの両方に直接2ストリームのPointNetインスパイアされたネットワークを適用し、局所情報と文脈情報の両方を利用した識別的ポイントワイド特徴を抽出する。 第2に,グローバルな特徴マッチングモジュールを用いて,全2D-3D対の適合性行列を推定する。 第三に、得られた整合性行列を分類モジュールに入力し、不整合性マッチを曖昧にする。 ネットワーク全体がエンドツーエンドにトレーニングされ、6-DoFカメラのポーズを回復するためにのみ、テスト時に堅牢なモデルフィッティング(P3P-RANSAC)が続く。 実データとシミュレーションデータの両方に対する広範囲なテストの結果,本手法は既存の手法を実質的に上回っており,最先端の精度で毎秒数千点の処理が可能であった。

関連論文リスト

• Robust 3D Point Clouds Classification based on Declarative Defenders [18.51700931775295]
  3Dポイントの雲は非構造的でスパースであり、2Dイメージは構造的で密度が高い。 本稿では,3次元点雲を2次元画像にマッピングする3つの異なるアルゴリズムについて検討する。 提案手法は敵攻撃に対する高い精度と堅牢性を示す。
  論文  参考訳（メタデータ） (2024-10-13T01:32:38Z)
• Self-supervised Learning of LiDAR 3D Point Clouds via 2D-3D Neural Calibration [107.61458720202984]
  本稿では,自律走行シーンにおける3次元知覚を高めるための,新しい自己教師型学習フレームワークを提案する。 本稿では,画像とポイントクラウドデータの領域ギャップを埋めるために,学習可能な変換アライメントを提案する。 我々は剛性ポーズを推定するために密度の高い2D-3D対応を確立する。
  論文  参考訳（メタデータ） (2024-01-23T02:41:06Z)
• EP2P-Loc: End-to-End 3D Point to 2D Pixel Localization for Large-Scale Visual Localization [44.05930316729542]
  本稿では,3次元点雲の大規模可視化手法EP2P-Locを提案する。 画像中の見えない3D点を除去する簡単なアルゴリズムを提案する。 このタスクで初めて、エンドツーエンドのトレーニングに差別化可能なツールを使用します。
  論文  参考訳（メタデータ） (2023-09-14T07:06:36Z)
• CheckerPose: Progressive Dense Keypoint Localization for Object Pose Estimation with Graph Neural Network [66.24726878647543]
  単一のRGB画像から固い物体の6-DoFのポーズを推定することは、非常に難しい課題である。 近年の研究では、高密度対応型解の大きな可能性を示している。 そこで本研究では,CheckerPoseというポーズ推定アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-29T17:30:53Z)
• Partially calibrated semi-generalized pose from hybrid point correspondences [68.22708881161049]
  一般化カメラシステム内のカメラ構成について検討する。 実用的な解法を導出するために、異なるパラメタライゼーションと異なる解法戦略をテストする。 これらの解法は, 3次元点における雑音の存在下で, 対応する絶対ポーズ解法よりも優れた推定値が得られることを示す。
  論文  参考訳（メタデータ） (2022-09-29T19:46:59Z)
• Neural Correspondence Field for Object Pose Estimation [67.96767010122633]
  1枚のRGB画像から3次元モデルで剛体物体の6DoFポーズを推定する手法を提案する。 入力画像の画素で3次元オブジェクト座標を予測する古典的対応法とは異なり,提案手法はカメラフラストラムでサンプリングされた3次元クエリポイントで3次元オブジェクト座標を予測する。
  論文  参考訳（メタデータ） (2022-07-30T01:48:23Z)
• OSOP: A Multi-Stage One Shot Object Pose Estimation Framework [35.89334617258322]
  対象物検出のための新しいワンショット手法と,対象物に対する訓練を必要としない6DoFポーズ推定を提案する。 テスト時には、ターゲット画像とテクスチャ化された3Dクエリモデルを入力する。 The method on LineMOD, Occlusion, Homebrewed, YCB-V and TLESS datasets。
  論文  参考訳（メタデータ） (2022-03-29T13:12:00Z)
• Weakly Supervised Learning of Keypoints for 6D Object Pose Estimation [73.40404343241782]
  2次元キーポイント検出に基づく弱教師付き6次元オブジェクトポーズ推定手法を提案する。 提案手法は,最先端の完全教師付きアプローチと同等の性能を実現する。
  論文  参考訳（メタデータ） (2022-03-07T16:23:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。