論文の概要: Efficient LoFTR: Semi-Dense Local Feature Matching with Sparse-Like Speed

• arxiv url: http://arxiv.org/abs/2403.04765v1
• Date: Thu, 7 Mar 2024 18:58:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-08 12:58:29.817910
• Title: Efficient LoFTR: Semi-Dense Local Feature Matching with Sparse-Like Speed
• Title（参考訳）: 効率的なloftr: スパースライクなスピードでセミデンスなローカル機能マッチング
• Authors: Yifan Wang, Xingyi He, Sida Peng, Dongli Tan, Xiaowei Zhou
• Abstract要約: 従来は検出不要であったLoFTRは、大きな視点の変化とテクスチャ・ポーアのシナリオを扱う際、顕著な整合性を示した。 設計上の選択を再検討し、効率と精度の両面で複数の改善を導出する。 提案手法は,競争力のあるセミセンス・マーカと比較して高い精度を実現することができる。
• 参考スコア（独自算出の注目度）: 42.861344584752
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel method for efficiently producing semi-dense matches across images. Previous detector-free matcher LoFTR has shown remarkable matching capability in handling large-viewpoint change and texture-poor scenarios but suffers from low efficiency. We revisit its design choices and derive multiple improvements for both efficiency and accuracy. One key observation is that performing the transformer over the entire feature map is redundant due to shared local information, therefore we propose an aggregated attention mechanism with adaptive token selection for efficiency. Furthermore, we find spatial variance exists in LoFTR's fine correlation module, which is adverse to matching accuracy. A novel two-stage correlation layer is proposed to achieve accurate subpixel correspondences for accuracy improvement. Our efficiency optimized model is $\sim 2.5\times$ faster than LoFTR which can even surpass state-of-the-art efficient sparse matching pipeline SuperPoint + LightGlue. Moreover, extensive experiments show that our method can achieve higher accuracy compared with competitive semi-dense matchers, with considerable efficiency benefits. This opens up exciting prospects for large-scale or latency-sensitive applications such as image retrieval and 3D reconstruction. Project page: https://zju3dv.github.io/efficientloftr.
• Abstract（参考訳）: 本稿では,画像間のセミセンスマッチングを効率よく生成する手法を提案する。 従来の検出器フリーのマッチ装置loftrは、大きな視点変化やテクスチャパウアシナリオを扱う際、顕著なマッチング能力を示したが、効率は低かった。 設計上の選択を再検討し、効率と精度の両面で複数の改善を導出する。 特徴マップ全体にわたるトランスフォーマーの実行は共有局所情報による冗長であるため,効率のために適応トークン選択を用いた集中型アテンション機構を提案する。 さらに,LoFTRの微細相関モジュールには空間的ばらつきがあり,マッチング精度に悪影響を及ぼすことがわかった。 精度向上のための高精度サブピクセル対応を実現するために,新しい2段階相関層を提案する。 我々の効率最適化モデルは、LoFTRよりも$\sim 2.5\times$高速で、最先端の効率的なスパースマッチングパイプラインSuperPoint + LightGlueを超えます。 また, 提案手法は, 競争型セミデンスマッチングに比べて高い精度を実現でき, 高い効率性が期待できることを示した。 これにより、画像検索や3D再構成といった大規模または遅延に敏感なアプリケーションに、エキサイティングな展望が開ける。 プロジェクトページ: https://zju3dv.github.io/ efficientloftr。

関連論文リスト

• POPoS: Improving Efficient and Robust Facial Landmark Detection with Parallel Optimal Position Search [34.50794776762681]
  本稿では,高精度符号化・復号化フレームワークであるParallel Optimal Position Search (POPoS)を紹介する。 Pseudo-range multilateration は、ヒートマップエラーを補正し、ランドマークのローカライゼーションの精度を高めるために使用される。 1ステップ並列アルゴリズムを導入し、計算効率を大幅に向上し、処理時間を短縮する。
  論文  参考訳（メタデータ） (2024-10-12T16:28:40Z)
• LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
  最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。 本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。 LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
  論文  参考訳（メタデータ） (2024-07-13T16:09:45Z)
• Efficient Context Integration through Factorized Pyramidal Learning for Ultra-Lightweight Semantic Segmentation [1.0499611180329804]
  本稿では,FPL(Facterized Pyramidal Learning)モジュールを提案する。 空間ピラミッドを2つのステージに分解し,モジュール内での簡易かつ効率的な特徴融合により,悪名高いチェッカーボード効果を解決する。 FPLモジュールとFIRユニットをベースとしたFPLNetと呼ばれる超軽量リアルタイムネットワークを提案する。
  論文  参考訳（メタデータ） (2023-02-23T05:34:51Z)
• UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation [93.88170217725805]
  本稿では,高画質なセグメンテーションマスクと,パラメータ,計算コスト,推論速度の両面での効率性を提供するUNETR++という3次元医用画像セグメンテーション手法を提案する。 我々の設計の核となるのは、空間的およびチャネル的な識別的特徴を効率的に学習する、新しい効率的な対注意ブロック(EPA)の導入である。 Synapse, BTCV, ACDC, BRaTs, Decathlon-Lungの5つのベンチマークで評価した結果, 効率と精度の両面で, コントリビューションの有効性が示された。
  論文  参考訳（メタデータ） (2022-12-08T18:59:57Z)
• ECO-TR: Efficient Correspondences Finding Via Coarse-to-Fine Refinement [80.94378602238432]
  粗大な処理で対応性を見出すことにより、ECO-TR(Correspondence Efficient Transformer)と呼ばれる効率的な構造を提案する。 これを実現するために、複数の変圧器ブロックは段階的に連結され、予測された座標を徐々に洗練する。 種々のスパースタスクと密マッチングタスクの実験は、既存の最先端技術に対する効率性と有効性の両方において、我々の手法の優位性を実証している。
  論文  参考訳（メタデータ） (2022-09-25T13:05:33Z)
• Efficient Linear Attention for Fast and Accurate Keypoint Matching [0.9699586426043882]
  近年、トランスフォーマーはスパースマッチングにおける最先端の性能を提供し、高性能な3Dビジョンアプリケーションの実現に不可欠である。 しかし、これらの変換器は、注意機構の2次計算の複雑さのために効率を欠いている。 本稿では,グローバル情報とローカル情報の両方をスパースキーポイントから集約することで,高精度なアグリゲーションを実現する。
  論文  参考訳（メタデータ） (2022-04-16T06:17:36Z)
• HANT: Hardware-Aware Network Transformation [82.54824188745887]
  ハードウェア・アウェア・ネットワーク・トランスフォーメーション(HANT)を提案する。 HANTは、ニューラルネットワーク検索のようなアプローチを使用して、非効率な操作をより効率的な代替手段に置き換える。 EfficientNetファミリの高速化に関する我々の結果は、ImageNetデータセットのトップ1の精度で最大3.6倍、0.4%の低下でHANTがそれらを加速できることを示している。
  論文  参考訳（メタデータ） (2021-07-12T18:46:34Z)
• FasterPose: A Faster Simple Baseline for Human Pose Estimation [65.8413964785972]
  本稿では,高速ポーズ推定のためのLR表現を用いた費用対効果ネットワークの設計パラダイムであるFasterPoseを提案する。 我々は,FasterPoseのトレーニング挙動について検討し,収束を加速する新しい回帰クロスエントロピー(RCE)損失関数を定式化する。 従来のポーズ推定ネットワークと比較すると,FLOPの58%が減少し,精度が1.3%向上した。
  論文  参考訳（メタデータ） (2021-07-07T13:39:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。