論文の概要: DeepMatcher: A Deep Transformer-based Network for Robust and Accurate Local Feature Matching

• arxiv url: http://arxiv.org/abs/2301.02993v1
• Date: Sun, 8 Jan 2023 07:15:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-10 16:59:37.974566
• Title: DeepMatcher: A Deep Transformer-based Network for Robust and Accurate Local Feature Matching
• Title（参考訳）: DeepMatcher: ローカル特徴マッチングのロバストと精度向上のためのディープトランスフォーマーベースのネットワーク
• Authors: Tao Xie, Kun Dai, Ke Wang, Ruifeng Li, Lijun Zhao
• Abstract要約: 本研究では,検出器レス手法における局所的特徴マッチングの探索に基づくディープトランスフォーマーベースネットワークを提案する。 DeepMatcherは、より直感的でシンプルでマッシュアップな機能をキャプチャする。 我々は、DeepMatcherがいくつかのベンチマークで最先端の手法を大幅に上回っていることを示す。
• 参考スコア（独自算出の注目度）: 9.662752427139496
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Local feature matching between images remains a challenging task, especially in the presence of significant appearance variations, e.g., extreme viewpoint changes. In this work, we propose DeepMatcher, a deep Transformer-based network built upon our investigation of local feature matching in detector-free methods. The key insight is that local feature matcher with deep layers can capture more human-intuitive and simpler-to-match features. Based on this, we propose a Slimming Transformer (SlimFormer) dedicated for DeepMatcher, which leverages vector-based attention to model relevance among all keypoints and achieves long-range context aggregation in an efficient and effective manner. A relative position encoding is applied to each SlimFormer so as to explicitly disclose relative distance information, further improving the representation of keypoints. A layer-scale strategy is also employed in each SlimFormer to enable the network to assimilate message exchange from the residual block adaptively, thus allowing it to simulate the human behaviour that humans can acquire different matching cues each time they scan an image pair. To facilitate a better adaption of the SlimFormer, we introduce a Feature Transition Module (FTM) to ensure a smooth transition in feature scopes with different receptive fields. By interleaving the self- and cross-SlimFormer multiple times, DeepMatcher can easily establish pixel-wise dense matches at coarse level. Finally, we perceive the match refinement as a combination of classification and regression problems and design Fine Matches Module to predict confidence and offset concurrently, thereby generating robust and accurate matches. Experimentally, we show that DeepMatcher significantly outperforms the state-of-the-art methods on several benchmarks, demonstrating the superior matching capability of DeepMatcher.
• Abstract（参考訳）: 画像間の局所的な特徴マッチングは依然として困難な課題であり、特に、極端な視点の変化など、重要な外観変化が存在する。 本研究では,検出器フリー手法における局所的特徴マッチングを基礎とした深層トランスフォーマトネットワークであるdeepmatcherを提案する。 重要な洞察は、深い層を持つローカル機能マーカが、より直感的で、よりシンプルにマッチする機能をキャプチャできるということだ。 そこで本研究では,すべてのキーポイント間の関連性をモデル化するためにベクトルに基づく注意を活用し,効率的かつ効果的に長距離コンテキストアグリゲーションを実現する,deepmatcher専用のスリム化トランス(slimformer)を提案する。 各スリムフォーマに相対位置符号化を施し、相対距離情報を明示的に開示し、さらにキーポイントの表現を改善する。 各SlimFormerには、残余ブロックからのメッセージ交換を適応的に同化できるようにレイヤースケール戦略が採用されており、画像ペアをスキャンするたびに人間が異なるマッチングキューを取得できるという人間の振る舞いをシミュレートすることができる。 SlimFormerの適応性を高めるために、異なる受容場を持つ機能スコープのスムーズな遷移を保証するために、FTM(Feature Transition Module)を導入する。 自己およびクロスSlimFormerを複数回インターリーブすることで、DeepMatcherは粗いレベルでピクセル単位の密マッチングを簡単に確立できる。 最後に,分類問題と回帰問題の組み合わせとしてマッチング改善を認識し,信頼度とオフセットを同時に予測するファインマッチモジュールを設計し,堅牢で正確なマッチングを生成する。 実験により、DeepMatcherはいくつかのベンチマークで最先端の手法よりも優れており、DeepMatcherの優れたマッチング能力を示している。

関連論文リスト

• GSSF: Generalized Structural Sparse Function for Deep Cross-modal Metric Learning [51.677086019209554]
  ペアワイド類似性学習のためのモダリティ間の強力な関係を捕捉する汎用構造スパースを提案する。 距離メートル法は、対角線とブロック対角線の2つの形式を微妙にカプセル化する。 クロスモーダルと2つの余分なユニモーダル検索タスクの実験は、その優位性と柔軟性を検証した。
  論文  参考訳（メタデータ） (2024-10-20T03:45:50Z)
• Adaptive Spot-Guided Transformer for Consistent Local Feature Matching [64.30749838423922]
  局所的特徴マッチングのための適応スポットガイド変換器(ASTR)を提案する。 ASTRは、統一された粗いアーキテクチャにおける局所的な一貫性とスケールのバリエーションをモデル化する。
  論文  参考訳（メタデータ） (2023-03-29T12:28:01Z)
• OAMatcher: An Overlapping Areas-based Network for Accurate Local Feature Matching [9.006654114778073]
  OAMatcherは、人間の動作を模倣して、密集した正確な一致を生成する、検知不要な手法である。 OAMatcherは重複する領域を予測し、効果的でクリーンなグローバルコンテキストアグリゲーションを促進する。 総合的な実験により、OAMatcherはいくつかのベンチマークで最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-02-12T03:32:45Z)
• Adaptive Assignment for Geometry Aware Local Feature Matching [22.818457285745733]
  検出不要な特徴マッチングアプローチは、その優れたパフォーマンスのおかげで、現在大きな注目を集めている。 本稿では,AdaMatcherについて紹介する。AdaMatcherは特徴相関と協調可視領域推定を,精巧な特徴相互作用モジュールを通じて実現する。 次に、AdaMatcherは、画像間のスケールを推定しながらパッチレベルのマッチングに適応的な割り当てを行い、最後に、スケールアライメントとサブピクセルレグレッションモジュールを通じて、コビジブルマッチングを洗練する。
  論文  参考訳（メタデータ） (2022-07-18T08:22:18Z)
• TransforMatcher: Match-to-Match Attention for Semantic Correspondence [48.25709192748133]
  本稿では,視覚領域におけるトランスフォーマーネットワークの成功を基盤として,TransforMatcherと呼ばれる強力なセマンティック画像マッチング学習手法を提案する。 既存の畳み込みや注意に基づく対応スキームとは異なり、TransforMatcherは、正確なマッチングローカライゼーションとダイナミックリファインメントのために、グローバルなマッチングアテンションを実行する。 実験では、TransforMatcherはSPair-71k上の新しい状態を設定し、PF-PASCALデータセット上の既存のSOTAメソッドと同等に動作させる。
  論文  参考訳（メタデータ） (2022-05-23T21:02:01Z)
• REGTR: End-to-end Point Cloud Correspondences with Transformers [79.52112840465558]
  我々は、注意機構が明示的な特徴マッチングとRANSACの役割を置き換えることができると推測する。 本稿では,最終文集合を直接予測するエンドツーエンドフレームワークを提案する。 提案手法は3DMatchおよびModelNetベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-28T06:01:00Z)
• MatchFormer: Interleaving Attention in Transformers for Feature Matching [31.175513306917654]
  そこで我々は,MatchFormerと呼ばれる新しい階層型抽出・整合変換器を提案する。 特徴抽出のための自己注意と特徴マッチングのための相互注意をインターリーブし、人間の直感的な抽出・マッチング方式を実現する。 この戦略のおかげで、MatchFormerは効率、堅牢性、精度のマルチウィンソリューションである。
  論文  参考訳（メタデータ） (2022-03-17T22:49:14Z)
• GOCor: Bringing Globally Optimized Correspondence Volumes into Your Neural Network [176.3781969089004]
  特徴相関層は、画像ペア間の密接な対応を含むコンピュータビジョン問題において、重要なニューラルネットワークモジュールとして機能する。 我々は,特徴相関層の直接置換として機能する,完全に微分可能な密マッチングモジュール GOCor を提案する。 本手法は,幾何マッチング,光学フロー,密接なセマンティックマッチングのタスクにおいて,特徴相関層を著しく上回っている。
  論文  参考訳（メタデータ） (2020-09-16T17:33:01Z)
• Multi-scale Interactive Network for Salient Object Detection [91.43066633305662]
  本稿では,隣接レベルからの機能を統合するためのアグリゲート・インタラクション・モジュールを提案する。 より効率的なマルチスケール機能を得るために、各デコーダユニットに自己相互作用モジュールを埋め込む。 5つのベンチマークデータセットによる実験結果から,提案手法は後処理を一切行わず,23の最先端手法に対して良好に動作することが示された。
  論文  参考訳（メタデータ） (2020-07-17T15:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。