論文の概要: Learning Feature Matching via Matchable Keypoint-Assisted Graph Neural Network

• arxiv url: http://arxiv.org/abs/2307.01447v1
• Date: Tue, 4 Jul 2023 02:50:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-06 18:38:05.351888
• Title: Learning Feature Matching via Matchable Keypoint-Assisted Graph Neural Network
• Title（参考訳）: マッチング可能なキーポイント支援グラフニューラルネットワークによる学習機能マッチング
• Authors: Zizhuo Li and Jiayi Ma
• Abstract要約: 画像のペア間の局所的な特徴の正確なマッチングは、コンピュータビジョンの課題である。 従来の研究では、注意に基づくグラフニューラルネットワーク(GNN)と、画像内のキーポイントに完全に接続されたグラフを使用するのが一般的だった。 本稿では,非繰り返しキーポイントをバイパスし,マッチング可能なキーポイントを利用してメッセージパッシングを誘導する,疎注意に基づくGNNアーキテクチャであるMaKeGNNを提案する。
• 参考スコア（独自算出の注目度）: 52.29330138835208
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Accurately matching local features between a pair of images is a challenging computer vision task. Previous studies typically use attention based graph neural networks (GNNs) with fully-connected graphs over keypoints within/across images for visual and geometric information reasoning. However, in the context of feature matching, considerable keypoints are non-repeatable due to occlusion and failure of the detector, and thus irrelevant for message passing. The connectivity with non-repeatable keypoints not only introduces redundancy, resulting in limited efficiency, but also interferes with the representation aggregation process, leading to limited accuracy. Targeting towards high accuracy and efficiency, we propose MaKeGNN, a sparse attention-based GNN architecture which bypasses non-repeatable keypoints and leverages matchable ones to guide compact and meaningful message passing. More specifically, our Bilateral Context-Aware Sampling Module first dynamically samples two small sets of well-distributed keypoints with high matchability scores from the image pair. Then, our Matchable Keypoint-Assisted Context Aggregation Module regards sampled informative keypoints as message bottlenecks and thus constrains each keypoint only to retrieve favorable contextual information from intra- and inter- matchable keypoints, evading the interference of irrelevant and redundant connectivity with non-repeatable ones. Furthermore, considering the potential noise in initial keypoints and sampled matchable ones, the MKACA module adopts a matchability-guided attentional aggregation operation for purer data-dependent context propagation. By these means, we achieve the state-of-the-art performance on relative camera estimation, fundamental matrix estimation, and visual localization, while significantly reducing computational and memory complexity compared to typical attentional GNNs.
• Abstract（参考訳）: 画像のペア間の局所的な特徴の正確なマッチングは、コンピュータビジョンの課題である。 従来の研究では注意に基づくグラフニューラルネットワーク(gnn)を使用しており、キーポイント上の完全連結グラフを視覚的および幾何学的情報推論に使用していた。 しかし、特徴マッチングの文脈では、検出器の閉塞と故障のため、かなりのキーポイントは取り消せないため、メッセージパッシングには無関係である。 非繰り返しキーポイントとの接続は冗長性を導入し、効率が制限されるだけでなく、表現集約プロセスにも干渉し、精度が制限される。 提案するMaKeGNNは,非繰り返しキーポイントをバイパスし,マッチング可能なキーポイントを利用して,コンパクトで有意義なメッセージパッシングを導出する,疎度な注意に基づくGNNアーキテクチャである。 より具体的には、バイラテラル・コンテキストアウェア・サンプリングモジュールは、まず画像ペアから高い適合性スコアを持つ、分散キーポイントの2つの小さなセットを動的にサンプリングする。 次に、我々のMatchable Keypoint-Assisted Context Aggregation Moduleは、サンプルされた通知キーポイントをメッセージボトルネックとみなし、各キーポイントに、マッチするキーポイント内およびマッチしないキーポイントから好ましくないコンテキスト情報を取得することだけを制約し、非削除可能なキーポイントとの無関係で冗長な接続の干渉を回避する。 さらに、初期キーポイントとサンプルマッチング可能なキーの潜在的なノイズを考慮し、mkacaモジュールは、データ依存のコンテキスト伝搬のためのマッチング可能性誘導注意集約演算を採用する。 これらの手法により, 相対カメラ推定, 基本行列推定, 視覚定位における最先端の性能を実現し, 従来の注意型gnnと比較して計算量やメモリの複雑さを著しく低減した。

関連論文リスト

• Utilizing Radiomic Feature Analysis For Automated MRI Keypoint Detection: Enhancing Graph Applications [2.8084568003406316]
  グラフニューラルネットワーク(GNN)は、特定の画像処理アプリケーションにおいて、CNNやトランスフォーマーに代わる有望な選択肢を提供する。 ひとつのアプローチは、重要なキーポイントを識別することで、イメージをノードに変換することだ。 本研究は, 画像分類, セグメンテーション, 登録に限らず, GNN アプリケーションを様々なアプリケーションに拡張する段階を定めている。
  論文  参考訳（メタデータ） (2023-11-30T06:37:02Z)
• ResMatch: Residual Attention Learning for Local Feature Matching [51.07496081296863]
  従来の特徴マッチングとフィルタリングの観点から、クロスアテンションとセルフアテンションを再考する。 我々は,記述者と相対的な位置の類似性を,クロスアテンションスコアとセルフアテンションスコアに注入する。 我々は、記述子と相対的な位置の類似性に応じて隣人内および隣人間を採掘する。
  論文  参考訳（メタデータ） (2023-07-11T11:32:12Z)
• FECANet: Boosting Few-Shot Semantic Segmentation with Feature-Enhanced Context-Aware Network [48.912196729711624]
  Few-shot セマンティックセグメンテーション(Few-shot semantic segmentation)は、新しいクラスの各ピクセルを、わずかに注釈付きサポートイメージで検索するタスクである。 本稿では,クラス間の類似性に起因するマッチングノイズを抑制するために,機能拡張コンテキスト認識ネットワーク(FECANet)を提案する。 さらに,前景と背景の余分な対応関係を符号化する新たな相関再構成モジュールを提案する。
  論文  参考訳（メタデータ） (2023-01-19T16:31:13Z)
• ClusTR: Exploring Efficient Self-attention via Clustering for Vision Transformers [70.76313507550684]
  本稿では,密集自己注意の代替として,コンテンツに基づくスパースアテンション手法を提案する。 具体的には、合計トークン数を減少させるコンテンツベースの方法として、キーとバリュートークンをクラスタ化し、集約する。 結果として得られたクラスタ化されたTokenシーケンスは、元の信号のセマンティックな多様性を保持するが、より少ない計算コストで処理できる。
  論文  参考訳（メタデータ） (2022-08-28T04:18:27Z)
• Rethinking Query-Key Pairwise Interactions in Vision Transformers [5.141895475956681]
  本稿では,問合せキーの対の相互作用を排除し,注意重みを求めるために計算効率の高い相性ゲートを用いるキーオンリーの注意を提案する。 我々は、ImageNet分類ベンチマークのパラメータ限定設定において、最先端の精度に達する新しい自己注意モデルファミリーLinGlosを開発した。
  論文  参考訳（メタデータ） (2022-07-01T03:36:49Z)
• ClusterGNN: Cluster-based Coarse-to-Fine Graph Neural Network for Efficient Feature Matching [15.620335576962475]
  ClusterGNNは、特徴マッチングタスクを学習するためのクラスタで動作する、注目のGNNアーキテクチャである。 提案手法では,59.7%のランタイム削減,58.4%のメモリ消費削減を実現している。
  論文  参考訳（メタデータ） (2022-04-25T14:43:15Z)
• DenseGAP: Graph-Structured Dense Correspondence Learning with Anchor Points [15.953570826460869]
  2つの画像間の密接な対応を確立することは、基本的なコンピュータビジョンの問題である。 我々は、アンカーポイントに条件付きグラフ構造化ニューラルネットワークを用いたDense対応学習のための新しいソリューションであるDenseGAPを紹介する。 提案手法は,ほとんどのベンチマークにおいて対応学習の最先端化を図っている。
  論文  参考訳（メタデータ） (2021-12-13T18:59:30Z)
• Probabilistic Spatial Distribution Prior Based Attentional Keypoints Matching Network [19.708243062836104]
  キーポイントマッチングは、画像ステッチ、視覚的同時ローカライゼーション、マッピングなど、多くの画像関連アプリケーションにとって重要なコンポーネントである。 本稿では、IMU統合による動き推定を用いて、画像間のキーポイントの前の空間分布を推定できることを実証する。 本稿では,提案したキーポイントマッチングネットワークに対して,マッチングと未マッチングのキーポイント間のスムーズなエッジを与えるプロジェクションロスを提案する。
  論文  参考訳（メタデータ） (2021-11-17T09:52:03Z)
• High-Order Information Matters: Learning Relation and Topology for Occluded Person Re-Identification [84.43394420267794]
  本稿では,高次関係とトポロジ情報を識別的特徴とロバストなアライメントのために学習し,新しい枠組みを提案する。 我々のフレームワークはOccluded-Dukeデータセットで最先端の6.5%mAPスコアを大幅に上回っている。
  論文  参考訳（メタデータ） (2020-03-18T12:18:35Z)
• Depthwise Non-local Module for Fast Salient Object Detection Using a Single Thread [136.2224792151324]
  本稿では,高速な物体検出のための新しいディープラーニングアルゴリズムを提案する。 提案アルゴリズムは,1つのCPUスレッドと同時に,競合精度と高い推論効率を実現する。
  論文  参考訳（メタデータ） (2020-01-22T15:23:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。