論文の概要: Towards Seamless Adaptation of Pre-trained Models for Visual Place Recognition

• arxiv url: http://arxiv.org/abs/2402.14505v3
• Date: Wed, 3 Apr 2024 14:59:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 22:08:00.171651
• Title: Towards Seamless Adaptation of Pre-trained Models for Visual Place Recognition
• Title（参考訳）: 視覚的位置認識のための事前学習モデルのシームレス適応に向けて
• Authors: Feng Lu, Lijun Zhang, Xiangyuan Lan, Shuting Dong, Yaowei Wang, Chun Yuan,
• Abstract要約: 視覚的位置認識のための事前学習モデル(VPR)のシームレスな適応を実現する新しい手法を提案する。 具体的には、地域を識別するための有意義なランドマークに焦点を当てたグローバルな特徴とローカルな特徴の両方を得るために、ハイブリッド適応法を設計する。 実験結果から,本手法はトレーニングデータやトレーニング時間が少なく,最先端の手法よりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 72.35438297011176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies show that vision models pre-trained in generic visual learning tasks with large-scale data can provide useful feature representations for a wide range of visual perception problems. However, few attempts have been made to exploit pre-trained foundation models in visual place recognition (VPR). Due to the inherent difference in training objectives and data between the tasks of model pre-training and VPR, how to bridge the gap and fully unleash the capability of pre-trained models for VPR is still a key issue to address. To this end, we propose a novel method to realize seamless adaptation of pre-trained models for VPR. Specifically, to obtain both global and local features that focus on salient landmarks for discriminating places, we design a hybrid adaptation method to achieve both global and local adaptation efficiently, in which only lightweight adapters are tuned without adjusting the pre-trained model. Besides, to guide effective adaptation, we propose a mutual nearest neighbor local feature loss, which ensures proper dense local features are produced for local matching and avoids time-consuming spatial verification in re-ranking. Experimental results show that our method outperforms the state-of-the-art methods with less training data and training time, and uses about only 3% retrieval runtime of the two-stage VPR methods with RANSAC-based spatial verification. It ranks 1st on the MSLS challenge leaderboard (at the time of submission). The code is released at https://github.com/Lu-Feng/SelaVPR.
• Abstract（参考訳）: 近年の研究では、大規模データを用いた汎用的な視覚学習タスクで事前訓練された視覚モデルが、幅広い視覚知覚問題に有用な特徴表現を提供する可能性が示されている。 しかし、視覚的位置認識(VPR)において、事前訓練された基礎モデルを活用する試みはほとんど行われていない。 モデル事前学習とVPRのタスク間のトレーニング目標とデータに固有の違いがあるため、どのようにギャップを埋め、VPRのための事前訓練されたモデルの能力を完全に解き放つかは、依然として対処すべき重要な問題である。 そこで本研究では,VPRのための事前学習モデルのシームレスな適応を実現する新しい手法を提案する。 具体的には、地域を識別するための有意義なランドマークに焦点を当てたグローバル・ローカル両方の特徴を得るために、グローバル・ローカル両方の適応を効率的に実現するためのハイブリッド適応法を設計し、事前訓練されたモデルを調整することなく軽量アダプタのみをチューニングする。 また,有効適応の導出として,局所的マッチングに適切な局所的特徴が生成され,再ランク付けに要する時間的空間的検証を回避できる相互近接局所的特徴損失を提案する。 実験結果から,本手法は訓練データとトレーニング時間が少なくて最先端の手法より優れており,RANSACによる空間的検証を行う2段階VPR法では,約3%の検索実行時間しか利用できないことがわかった。 MSLSチャレンジリーダーボード(応募時点で)で1位にランクインしている。 コードはhttps://github.com/Lu-Feng/SelaVPRで公開されている。

関連論文リスト

• BoostAdapter: Improving Vision-Language Test-Time Adaptation via Regional Bootstrapping [64.8477128397529]
  本稿では,テスト時間適応フレームワークを提案する。 我々は、インスタンスに依存しない履歴サンプルとインスタンスを意識したブースティングサンプルから特徴を検索するための軽量なキー値メモリを維持している。 理論的には,本手法の背後にある合理性を正当化し,アウト・オブ・ディストリビューションとクロスドメイン・データセットの両方において,その有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2024-10-20T15:58:43Z)
• Data Adaptive Traceback for Vision-Language Foundation Models in Image Classification [34.37262622415682]
  我々はData Adaptive Tracebackと呼ばれる新しい適応フレームワークを提案する。 具体的には、ゼロショット法を用いて、事前学習データの最もダウンストリームなタスク関連サブセットを抽出する。 我々は、擬似ラベルに基づく半教師付き手法を採用し、事前学習画像の再利用と、半教師付き学習における確証バイアス問題に対処するための視覚言語コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-07-11T18:01:58Z)
• EffoVPR: Effective Foundation Model Utilization for Visual Place Recognition [6.996304653818122]
  本稿では,視覚的位置認識のための基盤モデルの可能性を活用するための,シンプルながら強力なアプローチを提案する。 まず、自己注意層から抽出した機能が、VPRの強力なリランカとして機能することを実証する。 次に、内部のViT層をプールに利用した単一ステージの手法が、最先端の結果をもたらすグローバルな特徴を生み出すことを実証した。
  論文  参考訳（メタデータ） (2024-05-28T11:24:41Z)
• Unsupervised Pre-training with Language-Vision Prompts for Low-Data Instance Segmentation [105.23631749213729]
  低データ体制における教師なし事前学習のための新しい手法を提案する。 最近成功したプロンプト技術に触発されて,言語ビジョンプロンプトを用いた教師なし事前学習法を導入した。 提案手法は,低データ方式のCNNモデルよりも高速に収束し,性能がよいことを示す。
  論文  参考訳（メタデータ） (2024-05-22T06:48:43Z)
• DST-Det: Simple Dynamic Self-Training for Open-Vocabulary Object Detection [72.25697820290502]
  この研究は、ゼロショット分類によって潜在的に新しいクラスを特定するための単純かつ効率的な戦略を導入する。 このアプローチは、アノテーションやデータセット、再学習を必要とせずに、新しいクラスのリコールと精度を高めるセルフトレーニング戦略として言及する。 LVIS、V3Det、COCOを含む3つのデータセットに対する実証的な評価は、ベースラインのパフォーマンスを大幅に改善したことを示している。
  論文  参考訳（メタデータ） (2023-10-02T17:52:24Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Domain-invariant Similarity Activation Map Contrastive Learning for Retrieval-based Long-term Visual Localization [30.203072945001136]
  本研究では,多領域画像変換による領域不変特徴抽出のために,確率論的に一般アーキテクチャを定式化する。 そして、より精密な局所化のために、新しい勾配重み付き類似性活性化写像損失(Grad-SAM)を組み込んだ。 CMUSeasonsデータセットにおける提案手法の有効性を検証するために大規模な実験が行われた。 我々の性能は、最先端のイメージベースのローカライゼーションベースラインを中あるいは高精度で上回るか、あるいは上回る。
  論文  参考訳（メタデータ） (2020-09-16T14:43:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。