論文の概要: DeDoDe: Detect, Don't Describe -- Describe, Don't Detect for Local Feature Matching

• arxiv url: http://arxiv.org/abs/2308.08479v3
• Date: Mon, 11 Dec 2023 14:16:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 02:01:05.227176
• Title: DeDoDe: Detect, Don't Describe -- Describe, Don't Detect for Local Feature Matching
• Title（参考訳）: DeDoDe: Detect, Don't Describe -- Describe, Don't Detect for Local Feature Matching
• Authors: Johan Edstedt, Georg B\"okman, M{\aa}rten Wadenb\"ack, Michael Felsberg
• Abstract要約: キーポイント検出は3次元再構成において重要なステップであり、シーンの各ビューで最大K点のセットを検出する。 従来の学習に基づく手法は、通常、キーポイントを持つ記述子を学習し、キーポイント検出を隣り合う隣人の二項分類タスクとして扱う。 本研究は, キーポイントを3次元整合性から直接学習し, この目的を達成するための半教師付き2視点検出目標を導出する。 その結果,複数の幾何ベンチマークにおいて,DeDoDeという手法が大幅に向上していることが判明した。
• 参考スコア（独自算出の注目度）: 14.837075102089
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Keypoint detection is a pivotal step in 3D reconstruction, whereby sets of (up to) K points are detected in each view of a scene. Crucially, the detected points need to be consistent between views, i.e., correspond to the same 3D point in the scene. One of the main challenges with keypoint detection is the formulation of the learning objective. Previous learning-based methods typically jointly learn descriptors with keypoints, and treat the keypoint detection as a binary classification task on mutual nearest neighbours. However, basing keypoint detection on descriptor nearest neighbours is a proxy task, which is not guaranteed to produce 3D-consistent keypoints. Furthermore, this ties the keypoints to a specific descriptor, complicating downstream usage. In this work, we instead learn keypoints directly from 3D consistency. To this end, we train the detector to detect tracks from large-scale SfM. As these points are often overly sparse, we derive a semi-supervised two-view detection objective to expand this set to a desired number of detections. To train a descriptor, we maximize the mutual nearest neighbour objective over the keypoints with a separate network. Results show that our approach, DeDoDe, achieves significant gains on multiple geometry benchmarks. Code is provided at https://github.com/Parskatt/DeDoDe
• Abstract（参考訳）: キーポイント検出は、3次元再構成において重要なステップであり、シーンの各ビューで(最大)k点の集合を検出する。 重要なことに、検出された点は、ビュー、すなわちシーン内の同じ3Dポイント間で一致する必要がある。 キーポイント検出の主な課題の1つは、学習目標の定式化である。 従来の学習に基づく手法は、典型的には、キーポイントとディスクリプタを共同で学習し、キーポイント検出を隣り合う隣人の二項分類タスクとして扱う。 しかし、記述子近傍のキーポイント検出はプロキシタスクであり、3D一貫性のあるキーポイントを生成することが保証されていない。 さらに、これはキーポイントを特定の記述子に結び付け、下流の使用を複雑にする。 この作業では、3d一貫性から直接キーポイントを学習します。 この目的のために,検出器を訓練し,大規模sfmからのトラックを検出する。 これらの点はしばしば過小評価されるため、半教師付き2視点検出目的を導出して、この集合を所望の数に拡張する。 ディクリプタをトレーニングするために、キーポイント上の互いに近接する目的を個別のネットワークで最大化する。 結果は,複数の幾何ベンチマークにおいて,dedodeアプローチが有意な向上を達成したことを示している。 コードはhttps://github.com/Parskatt/DeDoDeで提供される

関連論文リスト

• SC3K: Self-supervised and Coherent 3D Keypoints Estimation from Rotated, Noisy, and Decimated Point Cloud Data [17.471342278936365]
  そこで本研究では,任意のオブジェクトカテゴリからキーポイントを推定する手法を提案する。 我々は,キーポイント推定のための自己指導型トレーニング戦略を提案することで,これらのデシダータを実現する。 提案手法によって推定されるキーポイントと最先端の教師なしアプローチのキーポイントを比較した。
  論文  参考訳（メタデータ） (2023-08-10T08:10:01Z)
• V-DETR: DETR with Vertex Relative Position Encoding for 3D Object Detection [73.37781484123536]
  DETRフレームワークを用いた点雲のための高性能な3次元物体検出器を提案する。 限界に対処するため,新しい3次元相対位置(3DV-RPE)法を提案する。 挑戦的なScanNetV2ベンチマークで例外的な結果を示す。
  論文  参考訳（メタデータ） (2023-08-08T17:14:14Z)
• TUSK: Task-Agnostic Unsupervised Keypoints [21.777256048659165]
  本稿では,複数のインスタンスを扱えるタスク非依存のアンスーパービジョンキーポイント(TUSK)を学習するための新しい手法を提案する。 具体的にはセマンティクスをキーポイントにエンコードし、疎いキーポイントとその記述子からイメージを再構成するように教える。 これにより、従来の教師なしキーポイント法よりも幅広いタスクに対応できる。
  論文  参考訳（メタデータ） (2022-06-16T21:56:17Z)
• CenterNet++ for Object Detection [174.59360147041673]
  ボトムアップアプローチはトップダウンと同じくらい競争力があり、リコールも高くなります。 CenterNetと呼ばれる我々のアプローチは、各オブジェクトを三重項キーポイント(左上と右下)として検出する。 MS-COCOデータセットでは、Res2Net-101 と Swin-Transformer の CenterNet がそれぞれ 53.7% と 57.1% のAPを達成している。
  論文  参考訳（メタデータ） (2022-04-18T16:45:53Z)
• SASA: Semantics-Augmented Set Abstraction for Point-based 3D Object Detection [78.90102636266276]
  SASA(Semantics-Augmented Set Abstraction)と呼ばれる新しい集合抽象化手法を提案する。 そこで本研究では, 推定点前景スコアに基づいて, より重要な前景点の維持を支援するセマンティックス誘導点サンプリングアルゴリズムを提案する。 実際には、SASAは、前景オブジェクトに関連する貴重な点を識別し、ポイントベースの3D検出のための特徴学習を改善するのに有効である。
  論文  参考訳（メタデータ） (2022-01-06T08:54:47Z)
• Soft Expectation and Deep Maximization for Image Feature Detection [68.8204255655161]
  質問をひっくり返し、まず繰り返し可能な3Dポイントを探し、次に検出器を訓練して画像空間にローカライズする、反復的半教師付き学習プロセスSEDMを提案する。 以上の結果から,sdmを用いてトレーニングした新しいモデルでは,シーン内の下位3dポイントのローカライズが容易になった。
  論文  参考訳（メタデータ） (2021-04-21T00:35:32Z)
• Skeleton Merger: an Unsupervised Aligned Keypoint Detector [44.983569951041]
  Skeleton MergerはAutoencoderアーキテクチャに基づく教師なしのキーポイント検出器である。 セマンティックにリッチな有能なキーポイントをアライメントで検出でき、KeypointNetデータセット上の教師付きメソッドに匹敵するパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-03-19T14:00:39Z)
• UKPGAN: A General Self-Supervised Keypoint Detector [43.35270822722044]
  UKPGANは一般的な3Dキーポイント検出器である。 私たちのキーポイントは、注釈付きキーポイントラベルとよく一致します。 我々のモデルは、剛性と非剛性変換の両方の下で安定である。
  論文  参考訳（メタデータ） (2020-11-24T09:08:21Z)
• KeypointNet: A Large-scale 3D Keypoint Dataset Aggregated from Numerous Human Annotations [56.34297279246823]
  KeypointNetは、最初の大規模かつ多様な3Dキーポイントデータセットである。 16のカテゴリから103,450個のキーポイントと8,234個の3Dモデルを含んでいる。 提案したデータセットに10種類の最先端手法をベンチマークする。
  論文  参考訳（メタデータ） (2020-02-28T12:58:56Z)
• PPDM: Parallel Point Detection and Matching for Real-time Human-Object Interaction Detection [85.75935399090379]
  本稿では,Human-Object Interaction (HOI) の単一段階検出手法を提案する。 これは、初めてのリアルタイムHOI検出方法である。
  論文  参考訳（メタデータ） (2019-12-30T12:00:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。