論文の概要: P2-Net: Joint Description and Detection of Local Features for Pixel and Point Matching

• arxiv url: http://arxiv.org/abs/2103.01055v1
• Date: Mon, 1 Mar 2021 14:59:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-03-03 16:32:09.361619
• Title: P2-Net: Joint Description and Detection of Local Features for Pixel and Point Matching
• Title（参考訳）: p2-net: ピクセルと点マッチングのための局所特徴の同時記述と検出
• Authors: Bing Wang, Changhao Chen, Zhaopeng Cui, Jie Qin, Chris Xiaoxuan Lu, Zhengdi Yu, Peijun Zhao, Zhen Dong, Fan Zhu, Niki Trigoni, Andrew Markham
• Abstract要約: この研究は、2D画像と3D点雲の微粒な対応を確立するための取り組みである。 画素領域と点領域の固有情報変動を緩和するために,新しい損失関数と組み合わせた超広帯域受信機構を設計した。
• 参考スコア（独自算出の注目度）: 78.18641868402901
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurately describing and detecting 2D and 3D keypoints is crucial to establishing correspondences across images and point clouds. Despite a plethora of learning-based 2D or 3D local feature descriptors and detectors having been proposed, the derivation of a shared descriptor and joint keypoint detector that directly matches pixels and points remains under-explored by the community. This work takes the initiative to establish fine-grained correspondences between 2D images and 3D point clouds. In order to directly match pixels and points, a dual fully convolutional framework is presented that maps 2D and 3D inputs into a shared latent representation space to simultaneously describe and detect keypoints. Furthermore, an ultra-wide reception mechanism in combination with a novel loss function are designed to mitigate the intrinsic information variations between pixel and point local regions. Extensive experimental results demonstrate that our framework shows competitive performance in fine-grained matching between images and point clouds and achieves state-of-the-art results for the task of indoor visual localization. Our source code will be available at [no-name-for-blind-review].
• Abstract（参考訳）: 2Dおよび3Dキーポイントの正確な記述と検出は、画像と点雲間の対応を確立する上で重要である。 学習ベースの2Dまたは3Dローカル特徴記述子と検出器が多数提案されているにもかかわらず、共有ディスクリプタと共同キーポイント検出器は、直接ピクセルとポイントと一致する。 この研究は、2D画像と3D点雲の微粒な対応を確立するための取り組みである。 画素と点を直接マッチングするために、2dおよび3d入力を共有潜在表現空間にマッピングし、同時にキーポイントを記述および検出する2つの完全畳み込みフレームワークが提示される。 さらに、新たなロス関数と組み合わせた超広帯域受信機構を設計し、画素と点局所領域の固有の情報変動を緩和する。 大規模な実験結果から,本フレームワークは画像と点雲の微粒化マッチングにおける競合性能を示し,室内の視覚的ローカライゼーションの課題に対する最先端の結果が得られた。 ソースコードは[no-name-for-blind-review]で入手できる。

関連論文リスト

• Learning to Produce Semi-dense Correspondences for Visual Localization [11.415451542216559]
  本研究は,夜間シナリオ,悪天候,季節変化などの要求条件下で視覚的局所化を行うことの課題に対処する。 本稿では,高密度なキーポイントマッチングに基づいて,信頼性の高い半高密度2D-3Dマッチングポイントを抽出する手法を提案する。 ネットワークは幾何学的および視覚的な手がかりを用いて、観測されたキーポイントから観測されていないキーポイントの3D座標を効果的に推測する。
  論文  参考訳（メタデータ） (2024-02-13T10:40:10Z)
• Differentiable Registration of Images and LiDAR Point Clouds with VoxelPoint-to-Pixel Matching [58.10418136917358]
  カメラからの2D画像とLiDARからの3Dポイントクラウドの間のクロスモダリティ登録は、コンピュータビジョンとロボットトレーニングにおいて重要な課題である。 ニューラルネットワークで学習した点パターンと画素パターンのマッチングによる2次元3次元対応の推定 我々は、異なる潜在画素空間を介して3次元特徴を表現するために、構造化されたモダリティマッチングソルバを学習する。
  論文  参考訳（メタデータ） (2023-12-07T05:46:10Z)
• EP2P-Loc: End-to-End 3D Point to 2D Pixel Localization for Large-Scale Visual Localization [44.05930316729542]
  本稿では,3次元点雲の大規模可視化手法EP2P-Locを提案する。 画像中の見えない3D点を除去する簡単なアルゴリズムを提案する。 このタスクで初めて、エンドツーエンドのトレーニングに差別化可能なツールを使用します。
  論文  参考訳（メタデータ） (2023-09-14T07:06:36Z)
• Bridged Transformer for Vision and Point Cloud 3D Object Detection [92.86856146086316]
  Bridged Transformer (BrT) は、3Dオブジェクト検出のためのエンドツーエンドアーキテクチャである。 BrTは3Dオブジェクトと2Dオブジェクトのバウンディングボックスを、ポイントとイメージパッチの両方から識別する。 BrTがSUN RGB-DおよびScanNetV2データセットの最先端手法を上回ることを示す。
  論文  参考訳（メタデータ） (2022-10-04T05:44:22Z)
• CorrI2P: Deep Image-to-Point Cloud Registration via Dense Correspondence [51.91791056908387]
  我々は,CorrI2Pと呼ばれる画像間クラウドの登録問題に対処するための,機能に基づく最初の高密度対応フレームワークを提案する。 具体的には、3次元の点雲の前に2次元画像が1対あるとすると、まずそれらを高次元の特徴空間に変換し、特徴を対称的に重なり合う領域に変換して、画像点雲が重なり合う領域を決定する。
  論文  参考訳（メタデータ） (2022-07-12T11:49:31Z)
• Cross-Modality 3D Object Detection [63.29935886648709]
  本稿では,3次元物体検出のための新しい2段階多モード融合ネットワークを提案する。 アーキテクチャ全体が2段階の融合を促進する。 KITTIデータセットを用いた実験により,提案したマルチステージ融合により,ネットワークがより良い表現を学習できることが示唆された。
  論文  参考訳（メタデータ） (2020-08-16T11:01:20Z)
• EPNet: Enhancing Point Features with Image Semantics for 3D Object Detection [60.097873683615695]
  我々は,複数のセンサの活用を含む,3次元検出タスクにおける2つの重要な課題に対処することを目指している。 本稿では,画像アノテーションを使わずに,意味的な画像特徴をポイントワイズで拡張する新たな融合モジュールを提案する。 これら2つのコンポーネントを統合するために,EPNetというエンドツーエンドで学習可能なフレームワークを設計する。
  論文  参考訳（メタデータ） (2020-07-17T09:33:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。