論文の概要: Shared Coupling-bridge for Weakly Supervised Local Feature Learning
- arxiv url: http://arxiv.org/abs/2212.07047v1
- Date: Wed, 14 Dec 2022 05:47:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-15 15:03:34.059538
- Title: Shared Coupling-bridge for Weakly Supervised Local Feature Learning
- Title(参考訳): 弱教師付き局所特徴学習のための共有結合橋
- Authors: Jiayuan Sun, Jiewen Zhu, Luping Ji
- Abstract要約: 本稿では,現在普及しているカメラポーズ監視による局所的特徴学習の促進に焦点をあてる。
弱教師付き局所特徴学習において、4つの軽量かつ効果的な改善を施した共有結合ブリッジ方式を提案する。
古典的な画像マッチングと視覚的ローカライゼーションにおいて、最先端のパフォーマンスを得ることができた。
- 参考スコア(独自算出の注目度): 0.7366405857677226
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sparse local feature extraction is usually believed to be of important
significance in typical vision tasks such as simultaneous localization and
mapping, image matching and 3D reconstruction. At present, it still has some
deficiencies needing further improvement, mainly including the discrimination
power of extracted local descriptors, the localization accuracy of detected
keypoints, and the efficiency of local feature learning. This paper focuses on
promoting the currently popular sparse local feature learning with camera pose
supervision. Therefore, it pertinently proposes a Shared Coupling-bridge scheme
with four light-weight yet effective improvements for weakly-supervised local
feature (SCFeat) learning. It mainly contains: i) the
\emph{Feature-Fusion-ResUNet Backbone} (F2R-Backbone) for local descriptors
learning, ii) a shared coupling-bridge normalization to improve the decoupling
training of description network and detection network, iii) an improved
detection network with peakiness measurement to detect keypoints and iv) the
fundamental matrix error as a reward factor to further optimize feature
detection training. Extensive experiments prove that our SCFeat improvement is
effective. It could often obtain a state-of-the-art performance on classic
image matching and visual localization. In terms of 3D reconstruction, it could
still achieve competitive results. For sharing and communication, our source
codes are available at https://github.com/sunjiayuanro/SCFeat.git.
- Abstract(参考訳): 局所的特徴抽出は、通常、同時局所化やマッピング、画像マッチング、三次元再構成といった典型的な視覚タスクにおいて重要であると考えられている。
現在、抽出された局所記述子の識別能力、検出されたキーポイントの局所化精度、局所特徴学習の効率など、さらなる改善を必要とするいくつかの欠陥がある。
本稿では,カメラポーズ監視による局所的特徴学習の普及に焦点をあてる。
したがって、弱い教師付き局所特徴量(scfeat)学習のための4つの軽量かつ効果的な改善を含む共有結合橋スキームを提案する。
主に以下を含む。
一 ローカル記述子学習のためのemph{Feature-Fusion-ResUNet Backbone} (F2R-Backbone)
二 説明網及び検出網の疎結合訓練を改善するための共有結合橋の正規化
三 ピーク度測定によるキーポイント検出のための改良された検出ネットワーク
四 特徴検出訓練をさらに最適化するための報酬要因としての基本的な行列誤差
SCFeatの改善が有効であることを示す大規模な実験を行った。
古典的な画像マッチングと視覚的ローカライゼーションにおいて最先端のパフォーマンスを得ることができる。
3D再構築に関しては、競争力のある結果が得られるだろう。
ソースコードはhttps://github.com/sunjiayuanro/scfeat.gitで公開しています。
関連論文リスト
- Deep Homography Estimation for Visual Place Recognition [49.235432979736395]
本稿では,変換器を用いたディープホモグラフィー推定(DHE)ネットワークを提案する。
バックボーンネットワークによって抽出された濃密な特徴写像を入力とし、高速で学習可能な幾何的検証のためにホモグラフィーに適合する。
ベンチマークデータセットを用いた実験により,本手法はいくつかの最先端手法より優れていることが示された。
論文 参考訳(メタデータ) (2024-02-25T13:22:17Z) - TOPIQ: A Top-down Approach from Semantics to Distortions for Image
Quality Assessment [53.72721476803585]
画像品質評価(IQA)は、ディープニューラルネットワークによる顕著な進歩を目の当たりにしたコンピュータビジョンの基本課題である。
本稿では,高レベルの意味論を用いてIQAネットワークを誘導し,意味的に重要な局所歪み領域に注目するトップダウンアプローチを提案する。
提案手法の重要な要素は,低レベル特徴に対するアテンションマップを算出した,クロススケールアテンション機構である。
論文 参考訳(メタデータ) (2023-08-06T09:08:37Z) - DETR Doesn't Need Multi-Scale or Locality Design [69.56292005230185]
本稿では,"プレーン"特性を維持できる改良型DETR検出器を提案する。
特定の局所性制約を伴わずに、単一スケールの機能マップとグローバルなクロスアテンション計算を使用する。
マルチスケールな特徴マップと局所性制約の欠如を補うために,2つの単純な技術が平易な設計において驚くほど効果的であることを示す。
論文 参考訳(メタデータ) (2023-08-03T17:59:04Z) - Improving Transformer-based Image Matching by Cascaded Capturing
Spatially Informative Keypoints [44.90917854990362]
変換器を用いたカスケードマッチングモデル -- Cascade Feature Matching TRansformer (CasMTR) を提案する。
我々は、信頼性マップを通じてキーポイントをフィルタリングするために、単純で効果的な非最大抑圧(NMS)後処理を使用する。
CasMTRは、室内および屋外のポーズ推定および視覚的位置推定において最先端の性能を達成する。
論文 参考訳(メタデータ) (2023-03-06T04:32:34Z) - Unleash the Potential of Image Branch for Cross-modal 3D Object
Detection [67.94357336206136]
画像分岐のポテンシャルを2つの側面から解き放つことを目的として,新しい3Dオブジェクト検出器UPIDetを提案する。
まず、UPIDetは正規化された局所座標写像推定と呼ばれる新しい2次元補助タスクを導入する。
第2に,イメージブランチのトレーニング目標から逆転する勾配によって,ポイントクラウドバックボーンの表現能力を向上できることを見出した。
論文 参考訳(メタデータ) (2023-01-22T08:26:58Z) - DDM-NET: End-to-end learning of keypoint feature Detection, Description
and Matching for 3D localization [34.66510265193038]
本稿では,キーポイント検出,記述子表現,フレーム間マッチングを共同で学習するエンドツーエンドフレームワークを提案する。
我々は特徴検出とマッチングの両方のための自己教師付き画像ワープ対応損失を設計する。
また,不整合/不整合一致と不整合一致の両方を頑健に処理する新たな損失を提案する。
論文 参考訳(メタデータ) (2022-12-08T21:43:56Z) - Adaptive Local-Component-aware Graph Convolutional Network for One-shot
Skeleton-based Action Recognition [54.23513799338309]
骨格に基づく行動認識のための適応的局所成分認識グラフ畳み込みネットワークを提案する。
我々の手法はグローバルな埋め込みよりも強力な表現を提供し、我々のモデルが最先端に到達するのに役立ちます。
論文 参考訳(メタデータ) (2022-09-21T02:33:07Z) - Guide Local Feature Matching by Overlap Estimation [9.387323456222823]
OETRというTRansformerを用いた画像ペア上でのオーバーラップ推定手法を提案する。
OETRは、特徴相関の2段階のプロセスで重なり推定を行い、次いで重なり回帰を行う。
実験の結果,OETRは局所的特徴マッチング性能を大幅に向上させることができることがわかった。
論文 参考訳(メタデータ) (2022-02-18T07:11:36Z) - LoGG3D-Net: Locally Guided Global Descriptor Learning for 3D Place
Recognition [31.105598103211825]
追加のトレーニング信号(局所的整合性損失)が、リビジョン間で一貫性のある局所的特徴の学習にネットワークを導くことができることを示す。
私たちは、LoGG3D-Netと呼ばれるエンドツーエンドのトレーニング可能なアーキテクチャでアプローチを定式化します。
論文 参考訳(メタデータ) (2021-09-17T03:32:43Z) - PGL: Prior-Guided Local Self-supervised Learning for 3D Medical Image
Segmentation [87.50205728818601]
本稿では,潜在特徴空間における局所的一貫性を学習するPGL(PresideedGuided Local)自己教師モデルを提案する。
我々のPGLモデルは、局所領域の特異な表現を学習し、したがって構造情報を保持できる。
論文 参考訳(メタデータ) (2020-11-25T11:03:11Z) - ASLFeat: Learning Local Features of Accurate Shape and Localization [42.70030492742363]
ASLFeatを3つの軽量かつ効果的に修正し、上記の問題を緩和する。
まず、変形可能な畳み込みネットワークを用いて局所変換を密に推定、適用する。
第2に,空間分解能と低レベル細部を復元する特徴階層を利用して,正確なキーポイント位置推定を行う。
論文 参考訳(メタデータ) (2020-03-23T04:03:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。