論文の概要: FeatureBooster: Boosting Feature Descriptors with a Lightweight Neural Network

• arxiv url: http://arxiv.org/abs/2211.15069v3
• Date: Tue, 28 Mar 2023 06:34:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 11:22:29.040302
• Title: FeatureBooster: Boosting Feature Descriptors with a Lightweight Neural Network
• Title（参考訳）: FeatureBooster: 軽量ニューラルネットワークによる機能記述の強化
• Authors: Xinjiang Wang, Zeyu Liu, Yu Hu, Wei Xi, Wenxian Yu, Danping Zou
• Abstract要約: 同じ画像内のキーポイントの記述子を改善するために,軽量なネットワークを導入する。 ネットワークは、元の記述子とキーポイントの幾何学的性質を入力として取り込む。 提案するネットワークを用いて,手工芸品(ORB,SIFT)と最先端の学習ベース記述子の両方を増強する。
• 参考スコア（独自算出の注目度）: 16.10404845106396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a lightweight network to improve descriptors of keypoints within the same image. The network takes the original descriptors and the geometric properties of keypoints as the input, and uses an MLP-based self-boosting stage and a Transformer-based cross-boosting stage to enhance the descriptors. The boosted descriptors can be either real-valued or binary ones. We use the proposed network to boost both hand-crafted (ORB, SIFT) and the state-of-the-art learning-based descriptors (SuperPoint, ALIKE) and evaluate them on image matching, visual localization, and structure-from-motion tasks. The results show that our method significantly improves the performance of each task, particularly in challenging cases such as large illumination changes or repetitive patterns. Our method requires only 3.2ms on desktop GPU and 27ms on embedded GPU to process 2000 features, which is fast enough to be applied to a practical system. The code and trained weights are publicly available at github.com/SJTU-ViSYS/FeatureBooster.
• Abstract（参考訳）: 同じ画像内のキーポイントの記述子を改善するための軽量ネットワークを導入する。 このネットワークは、元の記述子とキーポイントの幾何学的性質を入力とし、MLPベースのセルフブートステージとTransformerベースのクロスブートステージを使用して記述子を強化する。 boostedディスクリプタは、実際の値かバイナリのどちらかでもよい。 提案するネットワークは,手作り(orb, sift)と最先端学習に基づく記述子(superpoint, 等)の両方を増強し,画像マッチング, 視覚定位, 運動からの構造タスクで評価する。 その結果、特に大きな照明変化や繰り返しパターンなどの困難な場合において、各タスクの性能が著しく向上することが示された。 提案手法では,デスクトップgpuでは3.2ms,組込みgpuでは27msしか必要とせず,実用的なシステムに適用するには十分高速である。 コードはgithub.com/SJTU-ViSYS/FeatureBoosterで公開されている。

関連論文リスト

• Leveraging Semantic Cues from Foundation Vision Models for Enhanced Local Feature Correspondence [12.602194710071116]
  本稿では,基礎視覚モデルの特徴から意味的手がかりを抽出し,局所的特徴マッチングを強化する手法を提案する。 カメラのローカライゼーションにおける性能は平均29%向上し,既存の6つのディスクリプタの適応版を提示する。
  論文  参考訳（メタデータ） (2024-10-12T13:45:26Z)
• Residual Learning for Image Point Descriptors [56.917951170421894]
  本稿では,手作りの検出器とディスクリプタを用いて局所画像記述子を学習する,非常にシンプルで効果的な手法を提案する。 我々は,手書き記述子にすでに存在する知識を活用することで,最終記述子を最適化する。 本手法は,非微分関数を用いたアンサンブル学習や学習に応用できる可能性がある。
  論文  参考訳（メタデータ） (2023-12-24T12:51:30Z)
• Dynamic Perceiver for Efficient Visual Recognition [87.08210214417309]
  特徴抽出手順と早期分類タスクを分離する動的知覚器(Dyn-Perceiver)を提案する。 特徴ブランチは画像の特徴を抽出し、分類ブランチは分類タスクに割り当てられた遅延コードを処理する。 早期出口は分類枝に限られており、低レベルの特徴において線形分離性は不要である。
  論文  参考訳（メタデータ） (2023-06-20T03:00:22Z)
• ALIKED: A Lighter Keypoint and Descriptor Extraction Network via Deformable Transformation [27.04762347838776]
  本稿では,各キーポイントに対するサポート機能の変形可能な位置を学習し,変形可能な記述子を構成するSparse Deformable Descriptor Head (SDDH)を提案する。 提案するネットワークは,画像マッチング,3次元再構成,視覚的再局在化など,様々な視覚計測タスクにおいて効率的かつ強力であることを示す。
  論文  参考訳（メタデータ） (2023-04-07T12:05:39Z)
• Learning-Based Dimensionality Reduction for Computing Compact and Effective Local Feature Descriptors [101.62384271200169]
  特徴の形でのイメージパッチの独特な表現は多くのコンピュータビジョンとロボティクスのタスクの重要な構成要素である。 マルチ層パーセプトロン(MLP)を用いて,低次元ながら高品質な記述子を抽出する。 視覚的ローカライゼーション、パッチ検証、画像マッチング、検索など、さまざまなアプリケーションについて検討する。
  論文  参考訳（メタデータ） (2022-09-27T17:59:04Z)
• ZippyPoint: Fast Interest Point Detection, Description, and Matching through Mixed Precision Discretization [71.91942002659795]
  我々は,ネットワーク量子化技術を用いて推論を高速化し,計算限定プラットフォームでの利用を可能にする。 バイナリディスクリプタを用いた効率的な量子化ネットワークZippyPointは,ネットワーク実行速度,ディスクリプタマッチング速度,3Dモデルサイズを改善する。 これらの改善は、ホモグラフィー推定、視覚的ローカライゼーション、マップフリーな視覚的再ローカライゼーションのタスクで評価されるように、小さなパフォーマンス劣化をもたらす。
  論文  参考訳（メタデータ） (2022-03-07T18:59:03Z)
• Multi-level Second-order Few-shot Learning [111.0648869396828]
  教師付きまたは教師なしの少数ショット画像分類と少数ショット動作認識のためのマルチレベル2次数列学習ネットワーク(MlSo)を提案する。 我々は、パワーノーマライズされた二階学習者ストリームと、複数のレベルの視覚的抽象化を表現する機能を組み合わせた、いわゆる2階学習者ストリームを活用している。 我々は,Omniglot, mini-ImageNet, tiered-ImageNet, Open MIC, CUB Birds, Stanford Dogs, Cars, HMDB51, UCF101, mini-MITなどのアクション認識データセットなどの標準データセットに対して,優れた結果を示す。
  論文  参考訳（メタデータ） (2022-01-15T19:49:00Z)
• GhostSR: Learning Ghost Features for Efficient Image Super-Resolution [49.393251361038025]
  畳み込みニューラルネットワーク(CNN)に基づく単一の画像スーパーリゾリューション(SISR)システムは、膨大な計算コストを必要としながら派手なパフォーマンスを実現します。 SISRモデルの冗長な特徴(すなわちゴースト特徴)を生成するためにシフト演算を用いることを提案する。 提案モジュールに埋め込まれた非コンパクトかつ軽量なSISRモデルの両方が,ベースラインと同等の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-01-21T10:09:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。