論文の概要: LoFTR: Detector-Free Local Feature Matching with Transformers

• arxiv url: http://arxiv.org/abs/2104.00680v1
• Date: Thu, 1 Apr 2021 17:59:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-02 15:06:04.865089
• Title: LoFTR: Detector-Free Local Feature Matching with Transformers
• Title（参考訳）: LoFTR: 変圧器による検出不要な局所特徴マッチング
• Authors: Jiaming Sun, Zehong Shen, Yuang Wang, Hujun Bao, Xiaowei Zhou
• Abstract要約: 画像の特徴の検出,記述,マッチングを逐次行う代わりに,まず,粗いレベルで画素単位の密マッチングを確立することを提案する。 文の検索にコストボリュームを用いる高密度な手法とは対照的に,トランスフォーマーの自己と横断的な注意層を用いて,両画像に条件付けされた特徴記述子を得る。 屋内および屋外のデータセットの実験は、LoFTRが最先端の手法を大きなマージンで上回っていることを示しています。
• 参考スコア（独自算出の注目度）: 40.754990768677295
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel method for local image feature matching. Instead of performing image feature detection, description, and matching sequentially, we propose to first establish pixel-wise dense matches at a coarse level and later refine the good matches at a fine level. In contrast to dense methods that use a cost volume to search correspondences, we use self and cross attention layers in Transformer to obtain feature descriptors that are conditioned on both images. The global receptive field provided by Transformer enables our method to produce dense matches in low-texture areas, where feature detectors usually struggle to produce repeatable interest points. The experiments on indoor and outdoor datasets show that LoFTR outperforms state-of-the-art methods by a large margin. LoFTR also ranks first on two public benchmarks of visual localization among the published methods.
• Abstract（参考訳）: 局所画像特徴マッチングのための新しい手法を提案する。 画像の特徴の検出,記述,マッチングを逐次行う代わりに,まず,粗いレベルでピクセルワイドなマッチングを確立し,その後,良好なマッチングを細かなレベルで洗練することを提案する。 文の検索にコストボリュームを用いる高密度な手法とは対照的に,トランスフォーマーの自己と横断的な注意層を用いて,両画像に条件付き特徴記述子を得る。 Transformerによって提供されるグローバルな受容場は、通常、特徴検出器が繰り返し可能な関心点を生成するのに苦労する低テクスチャ領域で密マッチングを生成することができる。 屋内および屋外のデータセットに関する実験では、LoFTRは最先端の手法よりも大きなマージンで優れていることが示された。 LoFTRはまた、公表された方法の中で、視覚的ローカライゼーションの2つの公開ベンチマークで第1位である。

関連論文リスト

• Breaking the Frame: Visual Place Recognition by Overlap Prediction [53.17564423756082]
  本稿では,重なり合う予測に基づく新しい視覚的位置認識手法 VOP を提案する。 VOPは、Vision Transformerのバックボーンを使用してパッチレベルの埋め込みを取得することで、コビジュアブルなイメージセクションを進める。 提案手法では,データベース画像の重複点の評価に投票機構を用いる。
  論文  参考訳（メタデータ） (2024-06-23T20:00:20Z)
• Improving Transformer-based Image Matching by Cascaded Capturing Spatially Informative Keypoints [44.90917854990362]
  変換器を用いたカスケードマッチングモデル -- Cascade Feature Matching TRansformer (CasMTR) を提案する。 我々は、信頼性マップを通じてキーポイントをフィルタリングするために、単純で効果的な非最大抑圧(NMS)後処理を使用する。 CasMTRは、室内および屋外のポーズ推定および視覚的位置推定において最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-03-06T04:32:34Z)
• SuperGF: Unifying Local and Global Features for Visual Localization [13.869227429939423]
  SuperGFは、画像マッチング固有のローカル機能を直接操作するトランスフォーマーベースの集約モデルである。 我々は,高密度でスパースな学習ベースや手作りの記述子など,様々なローカル特徴を用いたSuperGFの実装を提供する。
  論文  参考訳（メタデータ） (2022-12-23T13:48:07Z)
• TruFor: Leveraging all-round clues for trustworthy image forgery detection and localization [17.270110456445806]
  TruForは、さまざまなイメージ操作方法に適用可能な、法医学的なフレームワークである。 変換器をベースとした融合アーキテクチャにより,高レベルのトレースと低レベルのトレースの両方を抽出する。 当社の手法は,安価なフェイクとディープフェイク操作の両方を確実に検出し,ローカライズすることができる。
  論文  参考訳（メタデータ） (2022-12-21T11:49:43Z)
• Towards Effective Image Manipulation Detection with Proposal Contrastive Learning [61.5469708038966]
  本稿では,効果的な画像操作検出のためのコントラスト学習(PCL)を提案する。 我々のPCLは、RGBとノイズビューから2種類のグローバル特徴を抽出し、2ストリームアーキテクチャで構成されている。 我々のPCLは、実際にラベル付けされていないデータに容易に適用でき、手作業によるラベル付けコストを削減し、より一般化可能な機能を促進することができる。
  論文  参考訳（メタデータ） (2022-10-16T13:30:13Z)
• ObjectFormer for Image Manipulation Detection and Localization [118.89882740099137]
  画像操作の検出とローカライズを行うObjectFormerを提案する。 画像の高周波特徴を抽出し,マルチモーダルパッチの埋め込みとしてRGB特徴と組み合わせる。 各種データセットについて広範な実験を行い,提案手法の有効性を検証した。
  論文  参考訳（メタデータ） (2022-03-28T12:27:34Z)
• Guide Local Feature Matching by Overlap Estimation [9.387323456222823]
  OETRというTRansformerを用いた画像ペア上でのオーバーラップ推定手法を提案する。 OETRは、特徴相関の2段階のプロセスで重なり推定を行い、次いで重なり回帰を行う。 実験の結果,OETRは局所的特徴マッチング性能を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T07:11:36Z)
• TBNet:Two-Stream Boundary-aware Network for Generic Image Manipulation Localization [49.521622399483846]
  汎用画像操作のローカライゼーションのための新しいエンド・ツー・エンド2ストリーム境界対応ネットワーク(TBNet)を提案する。 提案したTBNetは、MCCとF1の両方の観点から、最先端の汎用画像操作のローカライズ手法を大幅に上回ることができる。
  論文  参考訳（メタデータ） (2021-08-10T08:22:05Z)
• GLiT: Neural Architecture Search for Global and Local Image Transformer [114.8051035856023]
  画像認識のためのトランスフォーマーアーキテクチャを改良するために,最初のニューラルアーキテクチャサーチ(NAS)手法を提案する。 画像分類では,ResNetファミリーやベースラインのViTよりも,より差別的で効率的なトランスフォーマー変種を見つけることができる。
  論文  参考訳（メタデータ） (2021-07-07T00:48:09Z)
• Instance-level Image Retrieval using Reranking Transformers [18.304597755595697]
  インスタンスレベルの画像検索は、クエリイメージ内のオブジェクトに一致する画像の大規模なデータベースで検索するタスクです。 RRT(Reranking Transformers)を一般的なモデルとして提案し、ローカル機能とグローバル機能の両方を組み込んでマッチングイメージをランク付けします。 RRTは軽量であり、一組のトップマッチング結果の再ランク付けを単一のフォワードパスで行えるように容易に並列化できる。
  論文  参考訳（メタデータ） (2021-03-22T23:58:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。