論文の概要: Leveraging Local and Global Descriptors in Parallel to Search Correspondences for Visual Localization

• arxiv url: http://arxiv.org/abs/2009.10891v1
• Date: Wed, 23 Sep 2020 01:49:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-15 16:10:29.569197
• Title: Leveraging Local and Global Descriptors in Parallel to Search Correspondences for Visual Localization
• Title（参考訳）: 局所的およびグローバルな記述子を並列で活用した視覚的局所化のための対応検索
• Authors: Pengju Zhang, Yihong Wu, Bingxi Liu
• Abstract要約: クエリローカル機能に最も近い候補を取得するための新しい並列検索フレームワークを提案する。 また、ローカル記述子を用いて、クエリローカル特徴の近傍候補を取得するためにランダムツリー構造を構築する。
• 参考スコア（独自算出の注目度）: 6.326242067588544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual localization to compute 6DoF camera pose from a given image has wide applications such as in robotics, virtual reality, augmented reality, etc. Two kinds of descriptors are important for the visual localization. One is global descriptors that extract the whole feature from each image. The other is local descriptors that extract the local feature from each image patch usually enclosing a key point. More and more methods of the visual localization have two stages: at first to perform image retrieval by global descriptors and then from the retrieval feedback to make 2D-3D point correspondences by local descriptors. The two stages are in serial for most of the methods. This simple combination has not achieved superiority of fusing local and global descriptors. The 3D points obtained from the retrieval feedback are as the nearest neighbor candidates of the 2D image points only by global descriptors. Each of the 2D image points is also called a query local feature when performing the 2D-3D point correspondences. In this paper, we propose a novel parallel search framework, which leverages advantages of both local and global descriptors to get nearest neighbor candidates of a query local feature. Specifically, besides using deep learning based global descriptors, we also utilize local descriptors to construct random tree structures for obtaining nearest neighbor candidates of the query local feature. We propose a new probabilistic model and a new deep learning based local descriptor when constructing the random trees. A weighted Hamming regularization term to keep discriminativeness after binarization is given in the loss function for the proposed local descriptor. The loss function co-trains both real and binary descriptors of which the results are integrated into the random trees.
• Abstract（参考訳）: 与えられた画像から6dofカメラのポーズを計算するビジュアルローカライズには、ロボティクス、仮想現実、拡張現実など、幅広い応用がある。 視覚局所化には2種類のディスクリプタが重要である。 ひとつはグローバルディスクリプタで、各イメージから機能全体を抽出する。 もう1つはローカル記述子で、通常キーポイントを囲む各イメージパッチからローカル特徴を抽出する。 視覚的ローカライゼーションの手法は、最初はグローバルな記述子による画像検索を行い、その後、検索フィードバックから局所記述子による2D-3Dポイント対応を作る。 2つのステージは、ほとんどのメソッドで連続している。 この単純な組み合わせは、ローカルディスクリプタとグローバルディスクリプタを融合させるという優位性を達成していない。 検索フィードバックから得られた3dポイントは、グローバルディスクリプタによってのみ2dイメージポイントの最も近い候補となる。 それぞれの2Dイメージポイントは、2D-3Dポイント対応の実行時にクエリローカル機能と呼ばれる。 本稿では,ローカルデリプタとグローバルデリプタの両方の利点を生かして,クエリローカル機能の最も近い候補を得るための,新しい並列検索フレームワークを提案する。 具体的には、ディープラーニングベースのグローバルディスクリプタを使用すると同時に、ローカルディスクリプタを使用してランダムツリー構造を構築し、クエリローカル特徴の最も近い候補を取得する。 ランダムな木を構築する際に,新しい確率モデルと深層学習に基づく局所記述子を提案する。 局所記述子の損失関数に二項化後の識別性を維持するための重み付きハミング正規化項を与える。 損失関数は、結果がランダムツリーに統合される実数と二進の記述子を共に訓練する。

関連論文リスト

• FUSELOC: Fusing Global and Local Descriptors to Disambiguate 2D-3D Matching in Visual Localization [57.59857784298536]
  直接2D-3Dマッチングアルゴリズムでは、メモリが大幅に削減されるが、より大きくあいまいな検索空間のために精度が低下する。 本研究では,2次元3次元探索フレームワーク内の重み付き平均演算子を用いて局所的およびグローバルな記述子を融合させることにより,この曖昧さに対処する。 ローカルのみのシステムの精度を常に改善し、メモリ要求を半減させながら階層的な手法に近い性能を達成する。
  論文  参考訳（メタデータ） (2024-08-21T23:42:16Z)
• ALSTER: A Local Spatio-Temporal Expert for Online 3D Semantic Reconstruction [62.599588577671796]
  本稿では,RGB-Dフレームのストリームから3次元セマンティックマップを段階的に再構成するオンライン3次元セマンティックセマンティックセマンティクス手法を提案する。 オフラインの手法とは異なり、ロボット工学や混合現実のようなリアルタイムな制約のあるシナリオに直接適用できます。
  論文  参考訳（メタデータ） (2023-11-29T20:30:18Z)
• D2S: Representing sparse descriptors and 3D coordinates for camera relocalization [1.2974519529978974]
  複雑な局所記述子とそのシーン座標を表現するための学習に基づくアプローチを提案する。 その単純さと費用対効果が特徴である。 本手法は, 室内環境と屋外環境の両方において, 従来の回帰に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-28T01:20:12Z)
• Yes, we CANN: Constrained Approximate Nearest Neighbors for local feature-based visual localization [2.915868985330569]
  Constrained Approximate Nearest Neighbors (CANN) は、局所的特徴のみを用いて、幾何学と外観空間の両方にわたって k-アネレスト近傍の合同解である。 提案手法は,現在最先端のグローバルな特徴量検索と,局所的な特徴量集計手法を用いたアプローチの両方に優れる。
  論文  参考訳（メタデータ） (2023-06-15T10:12:10Z)
• Flattening-Net: Deep Regular 2D Representation for 3D Point Cloud Analysis [66.49788145564004]
  我々は、任意の幾何学と位相の不規則な3次元点雲を表現するために、Flattning-Netと呼ばれる教師なしのディープニューラルネットワークを提案する。 我々の手法は、現在の最先端の競合相手に対して好意的に機能する。
  論文  参考訳（メタデータ） (2022-12-17T15:05:25Z)
• P2-Net: Joint Description and Detection of Local Features for Pixel and Point Matching [78.18641868402901]
  この研究は、2D画像と3D点雲の微粒な対応を確立するための取り組みである。 画素領域と点領域の固有情報変動を緩和するために,新しい損失関数と組み合わせた超広帯域受信機構を設計した。
  論文  参考訳（メタデータ） (2021-03-01T14:59:40Z)
• Inter-Image Communication for Weakly Supervised Localization [77.2171924626778]
  弱教師付きローカライゼーションは、画像レベルの監督のみを使用して対象対象領域を見つけることを目的としている。 我々は,より正確な物体位置を学習するために,異なる物体間の画素レベルの類似性を活用することを提案する。 ILSVRC検証セット上でトップ1のローカライズ誤差率45.17%を達成する。
  論文  参考訳（メタデータ） (2020-08-12T04:14:11Z)
• DH3D: Deep Hierarchical 3D Descriptors for Robust Large-Scale 6DoF Relocalization [56.15308829924527]
  生の3D点から直接3次元特徴の検出と記述を共同で学習するシームズネットワークを提案する。 3次元キーポイントを検出するために,局所的な記述子の識別性を教師なしで予測する。 各種ベンチマーク実験により,本手法はグローバルポイントクラウド検索とローカルポイントクラウド登録の両面で競合する結果が得られた。
  論文  参考訳（メタデータ） (2020-07-17T20:21:22Z)
• Unconstrained Matching of 2D and 3D Descriptors for 6-DOF Pose Estimation [44.66818851668686]
  我々は2D点と3D点とに対応する特徴記述子のデータセットを生成する。 テスト時に画像のポーズをローカライズするために,クエリ画像からキーポイントと特徴記述子を抽出する。 マッチングされた特徴の位置は、クエリ画像の位置と向きを予測する頑健なポーズ推定アルゴリズムで使用される。
  論文  参考訳（メタデータ） (2020-05-29T11:17:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。