論文の概要: Learning Second-Order Attentive Context for Efficient Correspondence Pruning

• arxiv url: http://arxiv.org/abs/2303.15761v1
• Date: Tue, 28 Mar 2023 06:40:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 16:12:57.153790
• Title: Learning Second-Order Attentive Context for Efficient Correspondence Pruning
• Title（参考訳）: 効率的な対応処理のための2次注意文脈の学習
• Authors: Xinyi Ye, Weiyue Zhao, Hao Lu, Zhiguo Cao
• Abstract要約: 対応プルーニングは、一貫した対応 (inliers) の集合から一貫した対応 (inliers) を探索することを目的としている。 そこで本稿では, 対応プルーニングを効果的かつ効率的に行う方法を提案する。
• 参考スコア（独自算出の注目度）: 22.100653202605965
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Correspondence pruning aims to search consistent correspondences (inliers) from a set of putative correspondences. It is challenging because of the disorganized spatial distribution of numerous outliers, especially when putative correspondences are largely dominated by outliers. It's more challenging to ensure effectiveness while maintaining efficiency. In this paper, we propose an effective and efficient method for correspondence pruning. Inspired by the success of attentive context in correspondence problems, we first extend the attentive context to the first-order attentive context and then introduce the idea of attention in attention (ANA) to model second-order attentive context for correspondence pruning. Compared with first-order attention that focuses on feature-consistent context, second-order attention dedicates to attention weights itself and provides an additional source to encode consistent context from the attention map. For efficiency, we derive two approximate formulations for the naive implementation of second-order attention to optimize the cubic complexity to linear complexity, such that second-order attention can be used with negligible computational overheads. We further implement our formulations in a second-order context layer and then incorporate the layer in an ANA block. Extensive experiments demonstrate that our method is effective and efficient in pruning outliers, especially in high-outlier-ratio cases. Compared with the state-of-the-art correspondence pruning approach LMCNet, our method runs 14 times faster while maintaining a competitive accuracy.
• Abstract（参考訳）: 対応プルーニングは、一貫した対応 (inliers) の集合から一貫した対応 (inliers) を探索することを目的としている。 多くの外れ値の分散した空間分布のため、特に配置対応が大半が外れ値に支配されている場合、それは困難である。 効率を保ちながら有効性を確保することはもっと難しい。 本稿では, 効果的かつ効率的な対応プルーニング手法を提案する。 対応問題における注意コンテキストの成功に触発されて,まず注意コンテキストを一階注意コンテキストに拡張し,次に注意コンテキストの概念(ana)を導入し,対応プラニングのための二階注意コンテキストをモデル化する。 特徴一貫性のある文脈に焦点をあてた一階の注意に比べ、二階の注意は注意重みそのものに注力し、注意マップから一貫したコンテキストをエンコードするための追加の情報源を提供する。 効率向上のために,2次注意の単純実装のための2つの近似式を導出し,2次注意を無視可能な計算オーバーヘッドで使用できるように,3次複雑さを線形複雑性に最適化する。 さらに,この定式化を2階のコンテキスト層に実装し,その層をanaブロックに組み込む。 広範囲にわたる実験により,本手法は,特に高出力比の場合において,外れ値の刈り出しにおいて効果的かつ効率的であることが証明された。 LMCNetと比較して,提案手法は競合精度を維持しつつ,14倍高速に動作可能である。

関連論文リスト

• Recycled Attention: Efficient inference for long-context language models [54.00118604124301]
  本稿では,入力トークンのサブセットに対して,フルコンテキストアテンションとアテンションを交互に切り替える推論時間手法であるRecycled Attentionを提案する。 部分的に注意を払っていると、全注意を払っている前のトークンの注意パターンをリサイクルし、最も出席しているトークンの上位Kにのみ出席する。 提案手法は,局所的な文脈や注目スコアの高いトークンにのみ参加する推論時加速度法と比較して,現在の復号ステップに関連するトークンを柔軟に選択する。
  論文  参考訳（メタデータ） (2024-11-08T18:57:07Z)
• Fusion Makes Perfection: An Efficient Multi-Grained Matching Approach for Zero-Shot Relation Extraction [9.657656957845987]
  そこで本研究では,仮想エンティティマッチングを用いて手作業によるアノテーションのコストを削減する手法を提案する。 実験結果から,本手法は従来の最先端技術(SOTA)法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-06-17T11:31:48Z)
• Unifying Feature and Cost Aggregation with Transformers for Semantic and Visual Correspondence [51.54175067684008]
  本稿では,高密度マッチングタスク用に設計されたTransformerベースの積分機能とコスト集約ネットワークを提案する。 まず, 特徴集約とコスト集約が異なる特徴を示し, 双方の集約プロセスの司法的利用から生じる実質的な利益の可能性を明らかにした。 本フレームワークは意味マッチングのための標準ベンチマークで評価され,また幾何マッチングにも適用された。
  論文  参考訳（メタデータ） (2024-03-17T07:02:55Z)
• Efficient Semantic Matching with Hypercolumn Correlation [58.92933923647451]
  HCCNetは効率的で効果的なセマンティックマッチング手法である。 マルチスケール相関写像の完全なポテンシャルを利用する。 4D相関マップ上では、高価なマッチング関係のマイニングに頼っている。
  論文  参考訳（メタデータ） (2023-11-07T20:40:07Z)
• ECO-TR: Efficient Correspondences Finding Via Coarse-to-Fine Refinement [80.94378602238432]
  粗大な処理で対応性を見出すことにより、ECO-TR(Correspondence Efficient Transformer)と呼ばれる効率的な構造を提案する。 これを実現するために、複数の変圧器ブロックは段階的に連結され、予測された座標を徐々に洗練する。 種々のスパースタスクと密マッチングタスクの実験は、既存の最先端技術に対する効率性と有効性の両方において、我々の手法の優位性を実証している。
  論文  参考訳（メタデータ） (2022-09-25T13:05:33Z)
• Towards Joint Intent Detection and Slot Filling via Higher-order Attention [47.78365472691051]
  Intent Detection (ID) と Slot fill (SF) は、音声言語理解(SLU)における2つの主要なタスクである。 本稿では,文脈的およびチャネル的両線的アテンション分布を利用したバイリニアアテンションブロックを提案する。 我々のアプローチは最先端のアプローチと比較して改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-09-18T09:50:23Z)
• Self-Point-Flow: Self-Supervised Scene Flow Estimation from Point Clouds with Optimal Transport and Random Walk [59.87525177207915]
  シーンフローを近似する2点雲間の対応性を確立するための自己教師型手法を開発した。 本手法は,自己教師付き学習手法の最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-18T03:12:42Z)
• ABCNet v2: Adaptive Bezier-Curve Network for Real-time End-to-end Text Spotting [108.93803186429017]
  エンドツーエンドのテキストスポッティングは、統一されたフレームワークで検出と認識を統合することを目指している。 本稿では、Adaptive Bezier Curve Network v2 (ABCNet v2) を提示することで、エンドツーエンドテキストスポッティングに取り組む。 1) 任意の形状のテキストをパラメータ化されたベジアー曲線で適応的に適合させ, セグメンテーション法と比較すると, 構造的な出力だけでなく, 制御可能な表現も提供できる。 様々なバイリンガル(英語と中国語)ベンチマークデータセットで実施された総合的な実験は、ABCNet v2が現状を達成することを実証している。
  論文  参考訳（メタデータ） (2021-05-08T07:46:55Z)
• S2DNet: Learning Accurate Correspondences for Sparse-to-Dense Feature Matching [36.48376198922595]
  S2DNetは、堅牢で正確な対応を確立するために設計、訓練された新しい特徴マッチングパイプラインである。 我々は,S2DNetがHPatchesベンチマークおよび複数の長期視覚的ローカライゼーションデータセットの最先端結果を達成することを示す。
  論文  参考訳（メタデータ） (2020-04-03T17:04:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。