論文の概要: EffoVPR: Effective Foundation Model Utilization for Visual Place Recognition

• arxiv url: http://arxiv.org/abs/2405.18065v1
• Date: Tue, 28 May 2024 11:24:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 18:58:39.239956
• Title: EffoVPR: Effective Foundation Model Utilization for Visual Place Recognition
• Title（参考訳）: EffoVPR:視覚的位置認識のための効果的な基礎モデル利用
• Authors: Issar Tzachor, Boaz Lerner, Matan Levy, Michael Green, Tal Berkovitz Shalev, Gavriel Habib, Dvir Samuel, Noam Korngut Zailer, Or Shimshi, Nir Darshan, Rami Ben-Ari,
• Abstract要約: 本稿では,視覚的位置認識のための基盤モデルの可能性を活用するための,シンプルながら強力なアプローチを提案する。 まず、自己注意層から抽出した機能が、VPRの強力なリランカとして機能することを実証する。 次に、内部のViT層をプールに利用した単一ステージの手法が、最先端の結果をもたらすグローバルな特徴を生み出すことを実証した。
• 参考スコア（独自算出の注目度）: 6.996304653818122
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The task of Visual Place Recognition (VPR) is to predict the location of a query image from a database of geo-tagged images. Recent studies in VPR have highlighted the significant advantage of employing pre-trained foundation models like DINOv2 for the VPR task. However, these models are often deemed inadequate for VPR without further fine-tuning on task-specific data. In this paper, we propose a simple yet powerful approach to better exploit the potential of a foundation model for VPR. We first demonstrate that features extracted from self-attention layers can serve as a powerful re-ranker for VPR. Utilizing these features in a zero-shot manner, our method surpasses previous zero-shot methods and achieves competitive results compared to supervised methods across multiple datasets. Subsequently, we demonstrate that a single-stage method leveraging internal ViT layers for pooling can generate global features that achieve state-of-the-art results, even when reduced to a dimensionality as low as 128D. Nevertheless, incorporating our local foundation features for re-ranking, expands this gap. Our approach further demonstrates remarkable robustness and generalization, achieving state-of-the-art results, with a significant gap, in challenging scenarios, involving occlusion, day-night variations, and seasonal changes.
• Abstract（参考訳）: 視覚的位置認識(VPR)の課題は、ジオタグ付き画像のデータベースからクエリ画像の位置を予測することである。 VPRにおける最近の研究は、VPRタスクにDINOv2のような事前訓練された基礎モデルを採用するという大きな利点を浮き彫りにした。 しかしながら、これらのモデルは、タスク固有のデータをさらに微調整することなく、VPRには不十分であるとみなされることが多い。 本稿では,VPRの基礎モデルの可能性をよりよく活用するための,シンプルながら強力なアプローチを提案する。 まず、自己注意層から抽出した機能が、VPRの強力なリランカとして機能することを実証する。 これらの特徴をゼロショット方式で利用することにより、従来のゼロショット方式を超越し、複数のデータセットにまたがる教師付き手法と比較して競合的な結果が得られる。 その後, 内部 ViT 層をプールに利用した単一段法は, 128D 以下の次元に縮められた場合においても, 最先端の成果をもたらすグローバルな特徴を生み出すことができることを示した。 それでも、当社のローカルファンデーション機能を再ランクに取り入れることで、このギャップを拡大します。 提案手法は, 閉塞, 昼夜の変動, 季節変化を含む, 挑戦的なシナリオにおいて, 最先端の成果を達成し, 顕著なギャップを伴う, 顕著な堅牢性と一般化を示すものである。

関連論文リスト

• ACTRESS: Active Retraining for Semi-supervised Visual Grounding [52.08834188447851]
  前回の研究であるRefTeacherは、疑似自信と注意に基づく監督を提供するために教師学生の枠組みを採用することで、この課題に取り組むための最初の試みである。 このアプローチは、Transformerベースのパイプラインに従う現在の最先端のビジュアルグラウンドモデルと互換性がない。 本稿では, ACTRESS を略したセミスーパービジョン視覚グラウンドのためのアクティブ・リトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-03T16:33:31Z)
• Towards Seamless Adaptation of Pre-trained Models for Visual Place Recognition [72.35438297011176]
  視覚的位置認識のための事前学習モデル(VPR)のシームレスな適応を実現する新しい手法を提案する。 具体的には、地域を識別するための有意義なランドマークに焦点を当てたグローバルな特徴とローカルな特徴の両方を得るために、ハイブリッド適応法を設計する。 実験結果から,本手法はトレーニングデータやトレーニング時間が少なく,最先端の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-02-22T12:55:01Z)
• Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
  本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。 学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。 提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
  論文  参考訳（メタデータ） (2023-12-22T14:40:55Z)
• Towards Robust and Accurate Visual Prompting [11.918195429308035]
  本研究では,ロバストモデルから派生した視覚的プロンプトが,一般化性能の低下に悩まされながら,ロバスト性を継承できるかどうかを検討する。 本稿では,PBL(Prompt Boundary Loose)と呼ばれる新しい手法を提案する。 本研究は普遍的であり,提案手法の意義を実証するものである。
  論文  参考訳（メタデータ） (2023-11-18T07:00:56Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• DATa: Domain Adaptation-Aided Deep Table Detection Using Visual-Lexical Representations [2.542864854772221]
  DATaと呼ばれる新しいドメイン適応型ディープテーブル検出手法を提案する。 信頼できるラベルがほとんどない特定のターゲットドメインで十分なパフォーマンスを保証します。 実験の結果,DATaは対象領域における視覚的表現のみを利用する競合手法よりもかなり優れていた。
  論文  参考訳（メタデータ） (2022-11-12T12:14:16Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Deep SIMBAD: Active Landmark-based Self-localization Using Ranking -based Scene Descriptor [5.482532589225552]
  本稿では,アクティブオブザーバによるアクティブな自己ローカライゼーションタスクについて検討し,新しい強化学習(RL)に基づく次世代ベクター(NBV)プランナーを提案する。 パブリックNCLTデータセットを用いた実験により,提案手法の有効性が検証された。
  論文  参考訳（メタデータ） (2021-09-06T23:51:27Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。