論文の概要: Residual Learning for Image Point Descriptors

• arxiv url: http://arxiv.org/abs/2312.15471v1
• Date: Sun, 24 Dec 2023 12:51:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 18:05:34.982309
• Title: Residual Learning for Image Point Descriptors
• Title（参考訳）: 画像ポイント記述子の残差学習
• Authors: Rashik Shrestha, Ajad Chhatkuli, Menelaos Kanakis, Luc Van Gool
• Abstract要約: 本稿では,手作りの検出器とディスクリプタを用いて局所画像記述子を学習する,非常にシンプルで効果的な手法を提案する。 我々は,手書き記述子にすでに存在する知識を活用することで,最終記述子を最適化する。 本手法は,非微分関数を用いたアンサンブル学習や学習に応用できる可能性がある。
• 参考スコア（独自算出の注目度）: 56.917951170421894
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Local image feature descriptors have had a tremendous impact on the development and application of computer vision methods. It is therefore unsurprising that significant efforts are being made for learning-based image point descriptors. However, the advantage of learned methods over handcrafted methods in real applications is subtle and more nuanced than expected. Moreover, handcrafted descriptors such as SIFT and SURF still perform better point localization in Structure-from-Motion (SfM) compared to many learned counterparts. In this paper, we propose a very simple and effective approach to learning local image descriptors by using a hand-crafted detector and descriptor. Specifically, we choose to learn only the descriptors, supported by handcrafted descriptors while discarding the point localization head. We optimize the final descriptor by leveraging the knowledge already present in the handcrafted descriptor. Such an approach of optimization allows us to discard learning knowledge already present in non-differentiable functions such as the hand-crafted descriptors and only learn the residual knowledge in the main network branch. This offers 50X convergence speed compared to the standard baseline architecture of SuperPoint while at inference the combined descriptor provides superior performance over the learned and hand-crafted descriptors. This is done with minor increase in the computations over the baseline learned descriptor. Our approach has potential applications in ensemble learning and learning with non-differentiable functions. We perform experiments in matching, camera localization and Structure-from-Motion in order to showcase the advantages of our approach.
• Abstract（参考訳）: ローカル画像特徴ディスクリプタは,コンピュータビジョン手法の開発と応用に大きな影響を与えてきた。 したがって、学習ベースの画像ポイント記述子に多大な努力が払われていることは驚きではない。 しかし、実アプリケーションにおける手作りの手法よりも学習方法の利点は、予想以上に微妙で曖昧である。 さらに、SIFT や SURF などの手書き記述子は、多くの学習済み言語と比較して、Structure-from-Motion (SfM) においてより優れたポイントローカライゼーションを行う。 本稿では,手作りの検出器とディスクリプタを用いて,局所画像記述子を学習する非常に単純かつ効果的な手法を提案する。 具体的には、ポイントローカライゼーションヘッドを破棄しながら手作りのディスクリプタでサポートされているディスクリプタのみを学習する。 我々は手書き記述子にすでに存在する知識を活用して最終記述子を最適化する。 このような最適化のアプローチにより、手作り記述子のような非微分可能関数にすでに存在する学習知識を破棄し、メインネットワークブランチで残っている知識のみを学習できる。 これにより、SuperPointの標準ベースラインアーキテクチャと比較して50倍の収束速度が得られ、推論時に複合ディスクリプタは学習および手書きのディスクリプタよりも優れたパフォーマンスを提供する。 これはベースライン学習ディスクリプタ上での計算量の増加によって実現される。 本手法は,非微分関数を用いた学習と学習に応用できる可能性がある。 提案手法の利点を示すため,マッチング,カメラのローカライゼーション,Structure-from-Motion実験を行った。

関連論文リスト

• BEBLID: Boosted efficient binary local image descriptor [2.8538628855541397]
  本稿では,効率の良いバイナリ画像記述子であるBEBLIDを紹介する。 以前の実数値ディスクリプタであるBELIDを改善して,マッチングと精度の向上を実現しています。 実験では BEBLID は SIFT に近い精度で ORB よりも計算効率が良い。
  論文  参考訳（メタデータ） (2024-02-07T00:14:32Z)
• FeatureBooster: Boosting Feature Descriptors with a Lightweight Neural Network [16.10404845106396]
  同じ画像内のキーポイントの記述子を改善するために,軽量なネットワークを導入する。 ネットワークは、元の記述子とキーポイントの幾何学的性質を入力として取り込む。 提案するネットワークを用いて,手工芸品(ORB,SIFT)と最先端の学習ベース記述子の両方を増強する。
  論文  参考訳（メタデータ） (2022-11-28T05:06:03Z)
• Learning-Based Dimensionality Reduction for Computing Compact and Effective Local Feature Descriptors [101.62384271200169]
  特徴の形でのイメージパッチの独特な表現は多くのコンピュータビジョンとロボティクスのタスクの重要な構成要素である。 マルチ層パーセプトロン(MLP)を用いて,低次元ながら高品質な記述子を抽出する。 視覚的ローカライゼーション、パッチ検証、画像マッチング、検索など、さまざまなアプリケーションについて検討する。
  論文  参考訳（メタデータ） (2022-09-27T17:59:04Z)
• No Token Left Behind: Explainability-Aided Image Classification and Generation [79.4957965474334]
  ここでは、CLIPが入力のすべての関連する意味的部分に焦点を当てることを保証するために、損失項を追加する新しい説明可能性に基づくアプローチを提案する。 本手法は, 追加訓練や微調整を伴わずに, 認識率の向上を図っている。
  論文  参考訳（メタデータ） (2022-04-11T07:16:39Z)
• UPDesc: Unsupervised Point Descriptor Learning for Robust Registration [54.95201961399334]
  UPDescは、ロバストポイントクラウド登録のためのポイント記述子を学習するための教師なしの方法である。 学習した記述子は既存の教師なし手法よりも優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2021-08-05T17:11:08Z)
• Learning and aggregating deep local descriptors for instance-level recognition [11.692327697598175]
  トレーニングは、正と負のイメージペアの例のみを必要とする。 推論では、ローカルディスクリプタはネットワークの内部コンポーネントのアクティベートによって提供される。 バックボーンネットワークがResNet18ほど小さい場合もあります。
  論文  参考訳（メタデータ） (2020-07-26T16:30:56Z)
• Learning Feature Descriptors using Camera Pose Supervision [101.56783569070221]
  本稿では,画像間の相対的なカメラポーズからのみ特徴記述子を学習可能な,弱教師付きフレームワークを提案する。 ピクセルレベルの地上通信はもはや不要なので、我々のフレームワークは、より大きく、より多様なデータセットのトレーニングを、より良い、偏見のない記述子に開放する。
  論文  参考訳（メタデータ） (2020-04-28T06:35:27Z)
• Image Matching across Wide Baselines: From Paper to Practice [80.9424750998559]
  局所的な特徴とロバストな推定アルゴリズムの包括的なベンチマークを導入する。 パイプラインのモジュール構造は、さまざまなメソッドの容易な統合、構成、組み合わせを可能にします。 適切な設定で、古典的な解決策は依然として芸術の知覚された状態を上回る可能性があることを示す。
  論文  参考訳（メタデータ） (2020-03-03T15:20:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。