論文の概要: DDM-NET: End-to-end learning of keypoint feature Detection, Description and Matching for 3D localization

• arxiv url: http://arxiv.org/abs/2212.04575v1
• Date: Thu, 8 Dec 2022 21:43:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 15:03:31.491928
• Title: DDM-NET: End-to-end learning of keypoint feature Detection, Description and Matching for 3D localization
• Title（参考訳）: DDM-NET:3Dローカライゼーションのためのキーポイント特徴検出・記述・マッチングのエンドツーエンド学習
• Authors: Xiangyu Xu, Li Guan, Enrique Dunn, Haoxiang Li, Guang Hua
• Abstract要約: 本稿では,キーポイント検出,記述子表現,フレーム間マッチングを共同で学習するエンドツーエンドフレームワークを提案する。 我々は特徴検出とマッチングの両方のための自己教師付き画像ワープ対応損失を設計する。 また,不整合/不整合一致と不整合一致の両方を頑健に処理する新たな損失を提案する。
• 参考スコア（独自算出の注目度）: 34.66510265193038
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose an end-to-end framework that jointly learns keypoint detection, descriptor representation and cross-frame matching for the task of image-based 3D localization. Prior art has tackled each of these components individually, purportedly aiming to alleviate difficulties in effectively train a holistic network. We design a self-supervised image warping correspondence loss for both feature detection and matching, a weakly-supervised epipolar constraints loss on relative camera pose learning, and a directional matching scheme that detects key-point features in a source image and performs coarse-to-fine correspondence search on the target image. We leverage this framework to enforce cycle consistency in our matching module. In addition, we propose a new loss to robustly handle both definite inlier/outlier matches and less-certain matches. The integration of these learning mechanisms enables end-to-end training of a single network performing all three localization components. Bench-marking our approach on public data-sets, exemplifies how such an end-to-end framework is able to yield more accurate localization that out-performs both traditional methods as well as state-of-the-art weakly supervised methods.
• Abstract（参考訳）: 本稿では,画像に基づく3Dローカライゼーションのタスクに対して,キーポイント検出,記述子表現,フレーム間マッチングを共同で学習するエンドツーエンドフレームワークを提案する。 先行技術はそれぞれの構成要素を個別に取り組んでおり、包括的ネットワークを効果的に訓練することの難しさを和らげようとしている。 特徴検出とマッチングの両方のための自己教師付きイメージワープ対応損失と、相対的なカメラポーズ学習における弱教師付きエピポーラ制約損失と、ソース画像におけるキーポイントの特徴を検出し、ターゲット画像上で粗い対応探索を行う方向マッチングスキームを設計する。 私たちはこのフレームワークを利用して、マッチングモジュールにサイクル一貫性を強制します。 さらに,不規則な不一致と不確定な一致の両方をロバストに処理する新たな損失を提案する。 これらの学習機構の統合により、3つのローカライゼーションコンポーネントすべてを実行する単一ネットワークのエンドツーエンドトレーニングが可能になる。 このようなエンドツーエンドのフレームワークが従来の手法と最先端の弱い教師付き手法の両方を上回る、より正確なローカライゼーションを実現する方法を示している。

関連論文リスト

• PAIF: Perception-Aware Infrared-Visible Image Fusion for Attack-Tolerant Semantic Segmentation [50.556961575275345]
  対向シーンにおけるセグメンテーションの堅牢性を促進するための認識認識型融合フレームワークを提案する。 我々は,先進の競争相手に比べて15.3% mIOUの利得で,ロバスト性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-08-08T01:55:44Z)
• Self-Supervised Image-to-Point Distillation via Semantically Tolerant Contrastive Loss [18.485918870427327]
  本稿では, 画像領域と負の画像領域間の意味的距離を考慮に入れた, 意味論的に寛容な画像間のコントラスト損失を提案する。 提案手法は,最先端の2D-to-3D表現学習フレームワークを多種多様な自己教師付き事前学習モデルで一貫した性能を発揮する。
  論文  参考訳（メタデータ） (2023-01-12T19:58:54Z)
• Shared Coupling-bridge for Weakly Supervised Local Feature Learning [0.7366405857677226]
  本稿では,現在普及しているカメラポーズ監視による局所的特徴学習の促進に焦点をあてる。 弱教師付き局所特徴学習において、4つの軽量かつ効果的な改善を施した共有結合ブリッジ方式を提案する。 古典的な画像マッチングと視覚的ローカライゼーションにおいて、最先端のパフォーマンスを得ることができた。
  論文  参考訳（メタデータ） (2022-12-14T05:47:52Z)
• 3DMODT: Attention-Guided Affinities for Joint Detection & Tracking in 3D Point Clouds [95.54285993019843]
  本稿では,3次元点雲における複数物体の同時検出と追跡手法を提案する。 本モデルでは,複数のフレームを用いた時間情報を利用してオブジェクトを検出し,一つのネットワーク上で追跡する。
  論文  参考訳（メタデータ） (2022-11-01T20:59:38Z)
• Sim2Real Object-Centric Keypoint Detection and Description [40.58367357980036]
  キーポイントの検出と記述はコンピュータビジョンにおいて中心的な役割を果たす。 対象中心の定式化を提案し、各関心点が属する対象をさらに特定する必要がある。 我々はシミュレーションで訓練されたモデルを現実のアプリケーションに一般化できるsim2realコントラスト学習機構を開発した。
  論文  参考訳（メタデータ） (2022-02-01T15:00:20Z)
• P2-Net: Joint Description and Detection of Local Features for Pixel and Point Matching [78.18641868402901]
  この研究は、2D画像と3D点雲の微粒な対応を確立するための取り組みである。 画素領域と点領域の固有情報変動を緩和するために,新しい損失関数と組み合わせた超広帯域受信機構を設計した。
  論文  参考訳（メタデータ） (2021-03-01T14:59:40Z)
• Patch2Pix: Epipolar-Guided Pixel-Level Correspondences [38.38520763114715]
  Patch2Pixは,これらの提案によって定義された局所領域から画素レベルのマッチングを回帰することで,提案手法を洗練する新しい改良ネットワークである。 改良ネットワークは画像マッチング, ホモグラフィー推定, ローカライゼーションタスクにおいて, 対応ネットワークの性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2020-12-03T13:44:02Z)
• Unsupervised Metric Relocalization Using Transform Consistency Loss [66.19479868638925]
  メートル法再ローカライズを行うためのトレーニングネットワークは、従来、正確な画像対応が必要である。 地図内のクエリ画像のローカライズは、登録に使用される参照画像に関係なく、同じ絶対的なポーズを与えるべきである。 提案手法は, 限られた地下構造情報が得られる場合に, 他の教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-01T19:24:27Z)
• EPNet: Enhancing Point Features with Image Semantics for 3D Object Detection [60.097873683615695]
  我々は,複数のセンサの活用を含む,3次元検出タスクにおける2つの重要な課題に対処することを目指している。 本稿では,画像アノテーションを使わずに,意味的な画像特徴をポイントワイズで拡張する新たな融合モジュールを提案する。 これら2つのコンポーネントを統合するために,EPNetというエンドツーエンドで学習可能なフレームワークを設計する。
  論文  参考訳（メタデータ） (2020-07-17T09:33:05Z)
• High-Order Information Matters: Learning Relation and Topology for Occluded Person Re-Identification [84.43394420267794]
  本稿では,高次関係とトポロジ情報を識別的特徴とロバストなアライメントのために学習し,新しい枠組みを提案する。 我々のフレームワークはOccluded-Dukeデータセットで最先端の6.5%mAPスコアを大幅に上回っている。
  論文  参考訳（メタデータ） (2020-03-18T12:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。