論文の概要: EffoVPR: Effective Foundation Model Utilization for Visual Place Recognition

• arxiv url: http://arxiv.org/abs/2405.18065v2
• Date: Sun, 02 Feb 2025 22:46:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-04 16:07:23.057736
• Title: EffoVPR: Effective Foundation Model Utilization for Visual Place Recognition
• Title（参考訳）: EffoVPR:視覚的位置認識のための効果的な基礎モデル利用
• Authors: Issar Tzachor, Boaz Lerner, Matan Levy, Michael Green, Tal Berkovitz Shalev, Gavriel Habib, Dvir Samuel, Noam Korngut Zailer, Or Shimshi, Nir Darshan, Rami Ben-Ari,
• Abstract要約: 本稿では,視覚的位置認識のための基礎モデルの可能性を活用するための効果的なアプローチを提案する。 ゼロショット設定であっても,自己注意層から抽出した特徴がVPRの強力な再ランカとして機能することを示す。 また,本手法は高いロバスト性および一般化を実証し,新しい最先端性能の設定を行う。
• 参考スコア（独自算出の注目度）: 6.996304653818122
• License:
• Abstract: The task of Visual Place Recognition (VPR) is to predict the location of a query image from a database of geo-tagged images. Recent studies in VPR have highlighted the significant advantage of employing pre-trained foundation models like DINOv2 for the VPR task. However, these models are often deemed inadequate for VPR without further fine-tuning on VPR-specific data. In this paper, we present an effective approach to harness the potential of a foundation model for VPR. We show that features extracted from self-attention layers can act as a powerful re-ranker for VPR, even in a zero-shot setting. Our method not only outperforms previous zero-shot approaches but also introduces results competitive with several supervised methods. We then show that a single-stage approach utilizing internal ViT layers for pooling can produce global features that achieve state-of-the-art performance, with impressive feature compactness down to 128D. Moreover, integrating our local foundation features for re-ranking further widens this performance gap. Our method also demonstrates exceptional robustness and generalization, setting new state-of-the-art performance, while handling challenging conditions such as occlusion, day-night transitions, and seasonal variations.
• Abstract（参考訳）: 視覚的位置認識(VPR)の課題は、ジオタグ付き画像のデータベースからクエリ画像の位置を予測することである。 VPRにおける最近の研究は、VPRタスクにDINOv2のような事前訓練された基礎モデルを採用するという大きな利点を浮き彫りにした。 しかしながら、これらのモデルは、VPR固有のデータをさらに微調整することなく、VPRには不十分であるとみなされることが多い。 本稿では,VPRの基礎モデルの可能性を活用するための効果的なアプローチを提案する。 ゼロショット設定であっても,自己注意層から抽出した特徴がVPRの強力な再ランカとして機能することを示す。 提案手法は,従来のゼロショット手法よりも優れているだけでなく,複数の教師付き手法と競合する結果をもたらす。 次に、内部のViT層をプールに利用した単一ステージのアプローチにより、最先端の性能を実現するグローバルな特徴が得られ、128Dまで優れた特徴が得られていることを示す。 さらに、ローカルのファンデーション機能を統合することで、パフォーマンスのギャップをさらに広げることができます。 また,本手法は,非閉塞性,夜間遷移,季節変動といった課題に対処しつつ,新たな最先端性能の設定や,異常なロバスト性や一般化を実証する。

関連論文リスト

• DenseVLM: A Retrieval and Decoupled Alignment Framework for Open-Vocabulary Dense Prediction [80.67150791183126]
  DenseVLMは、非バイアスの領域言語アライメントを、強力な事前学習型VLM表現から学習するためのフレームワークである。 我々は、DenseVLMをオープン語彙オブジェクト検出と画像分割タスクにシームレスに統合できることを示し、顕著な性能改善を実現した。
  論文  参考訳（メタデータ） (2024-12-09T06:34:23Z)
• ACTRESS: Active Retraining for Semi-supervised Visual Grounding [52.08834188447851]
  前回の研究であるRefTeacherは、疑似自信と注意に基づく監督を提供するために教師学生の枠組みを採用することで、この課題に取り組むための最初の試みである。 このアプローチは、Transformerベースのパイプラインに従う現在の最先端のビジュアルグラウンドモデルと互換性がない。 本稿では, ACTRESS を略したセミスーパービジョン視覚グラウンドのためのアクティブ・リトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-03T16:33:31Z)
• Towards Seamless Adaptation of Pre-trained Models for Visual Place Recognition [72.35438297011176]
  視覚的位置認識のための事前学習モデル(VPR)のシームレスな適応を実現する新しい手法を提案する。 具体的には、地域を識別するための有意義なランドマークに焦点を当てたグローバルな特徴とローカルな特徴の両方を得るために、ハイブリッド適応法を設計する。 実験結果から,本手法はトレーニングデータやトレーニング時間が少なく,最先端の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-02-22T12:55:01Z)
• Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
  本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。 学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。 提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
  論文  参考訳（メタデータ） (2023-12-22T14:40:55Z)
• Towards Robust and Accurate Visual Prompting [11.918195429308035]
  本研究では,ロバストモデルから派生した視覚的プロンプトが,一般化性能の低下に悩まされながら,ロバスト性を継承できるかどうかを検討する。 本稿では,PBL(Prompt Boundary Loose)と呼ばれる新しい手法を提案する。 本研究は普遍的であり,提案手法の意義を実証するものである。
  論文  参考訳（メタデータ） (2023-11-18T07:00:56Z)
• AnyLoc: Towards Universal Visual Place Recognition [12.892386791383025]
  視覚的位置認識(VPR)は、ロボットのローカライゼーションに不可欠である。 ほとんどの性能の高いVPRアプローチは環境に特化しており、タスクに特化している。 私たちは、VPRの普遍的なソリューションを開発します -- 幅広い構造化された、非構造化された環境にわたって機能するテクニックです。
  論文  参考訳（メタデータ） (2023-08-01T17:45:13Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Deep SIMBAD: Active Landmark-based Self-localization Using Ranking -based Scene Descriptor [5.482532589225552]
  本稿では,アクティブオブザーバによるアクティブな自己ローカライゼーションタスクについて検討し,新しい強化学習(RL)に基づく次世代ベクター(NBV)プランナーを提案する。 パブリックNCLTデータセットを用いた実験により,提案手法の有効性が検証された。
  論文  参考訳（メタデータ） (2021-09-06T23:51:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。