論文の概要: EDTformer: An Efficient Decoder Transformer for Visual Place Recognition

• arxiv url: http://arxiv.org/abs/2412.00784v1
• Date: Sun, 01 Dec 2024 12:14:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:45:40.790520
• Title: EDTformer: An Efficient Decoder Transformer for Visual Place Recognition
• Title（参考訳）: EDTformer: 視覚的位置認識のための効率的なデコーダ変換器
• Authors: Tong Jin, Feng Lu, Shuyu Hu, Chun Yuan, Yunpeng Liu,
• Abstract要約: 視覚的位置認識(VPR)は、クエリ画像の一般的な地理的位置を決定することを目的としている。 特徴集約のための効率的なデコーダ変換器(EDTformer)を提案する。 EDTformerは、VPRのための堅牢で非ネイティブなグローバル表現を生成する。
• 参考スコア（独自算出の注目度）: 34.875097011568336
• License:
• Abstract: Visual place recognition (VPR) aims to determine the general geographical location of a query image by retrieving visually similar images from a large geo-tagged database. To obtain a global representation for each place image, most approaches typically focus on the aggregation of deep features extracted from a backbone through using current prominent architectures (e.g., CNNs, MLPs, pooling layer and transformer encoder), giving little attention to the transformer decoder. However, we argue that its strong capability in capturing contextual dependencies and generating accurate features holds considerable potential for the VPR task. To this end, we propose an Efficient Decoder Transformer (EDTformer) for feature aggregation, which consists of several stacked simplified decoder blocks followed by two linear layers to directly generate robust and discriminative global representations for VPR. Specifically, we do this by formulating deep features as the keys and values, as well as a set of independent learnable parameters as the queries. EDTformer can fully utilize the contextual information within deep features, then gradually decode and aggregate the effective features into the learnable queries to form the final global representations. Moreover, to provide powerful deep features for EDTformer and further facilitate the robustness, we use the foundation model DINOv2 as the backbone and propose a Low-Rank Parallel Adaptation (LoPA) method to enhance it, which can refine the intermediate features of the backbone progressively in a memory- and parameter-efficient way. As a result, our method not only outperforms single-stage VPR methods on multiple benchmark datasets, but also outperforms two-stage VPR methods which add a re-ranking with considerable cost. Code will be available at https://github.com/Tong-Jin01/EDTformer.
• Abstract（参考訳）: 視覚的位置認識(VPR)は、大きなジオタグ付きデータベースから視覚的に類似した画像を検索することで、クエリ画像の一般的な地理的位置を決定することを目的としている。 各場所画像のグローバル表現を得るために、ほとんどのアプローチは、現在の著名なアーキテクチャ(例えば、CNN、MLP、プーリング層、トランスバータエンコーダ)を使用して、バックボーンから抽出された深い特徴の集約に焦点を当て、トランスフォーマーデコーダにはほとんど注意を払わない。 しかし、コンテキスト依存を捕捉し、正確な特徴を生成するという強力な能力は、VPRタスクにかなりの可能性を秘めていると論じる。 そこで本研究では,複数の単純化されたデコーダブロックと2つの線形層からなる特徴集約のための効率的なデコーダ変換器(EDTformer)を提案する。 具体的には、キーと値として深い特徴を定式化し、クエリとして独立した学習可能なパラメータのセットを作成します。 EDTformerは、深い機能内でコンテキスト情報を十分に活用し、徐々に有効な機能を学習可能なクエリにデコードして集約し、最終的なグローバル表現を形成する。 さらに,EDTformerの強力な深い機能を提供し,ロバスト性をさらに促進するために,基礎モデルであるDINOv2をバックボーンとして使用し,ローランド並列適応(LoPA)法を提案し,メモリとパラメータの効率のよい方法でバックボーンの中間機能を徐々に洗練させる。 その結果、本手法は、複数のベンチマークデータセット上で単段VPR法より優れているだけでなく、2段VPR法より優れており、大幅なコストがかかる。 コードはhttps://github.com/Tong-Jin01/EDTformer.comから入手できる。

関連論文リスト

• A Refreshed Similarity-based Upsampler for Direct High-Ratio Feature Upsampling [54.05517338122698]
  本稿では,セマンティック・アウェアとディテール・アウェアの両方の観点から,明示的に制御可能なクエリキー機能アライメントを提案する。 また,モーザイクアーティファクトを緩和するのには単純だが有効であるHR特徴量に対して,きめ細かな近傍選択戦略を開発した。 提案するReSFUフレームワークは,異なるセグメンテーションアプリケーション上での良好な性能を一貫して達成する。
  論文  参考訳（メタデータ） (2024-07-02T14:12:21Z)
• Efficient Point Transformer with Dynamic Token Aggregating for Point Cloud Processing [19.73918716354272]
  ポイントクラウド表現と処理のための動的トークン集約(DTA-Former)を用いた効率的なポイントトランスフォーマーを提案する。 ModelNet40、ShapeNet、航空機搭載MultiSpectral LiDAR(MS-LiDAR)データセット上の前点変換器よりも最大30$times$高速でSOTAパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-05-23T20:50:50Z)
• FMRT: Learning Accurate Feature Matching with Reconciliatory Transformer [29.95553680263075]
  本稿では,複数の受容場と異なる特徴を適応的に整合する検出不要な手法であるFMRTを提案する。 FMRTは、ポーズ推定、視覚的ローカライゼーション、ホモグラフィー推定、画像マッチングなど、複数のベンチマークで素晴らしいパフォーマンスを得る。
  論文  参考訳（メタデータ） (2023-10-20T15:54:18Z)
• ClusVPR: Efficient Visual Place Recognition with Clustering-based Weighted Transformer [13.0858576267115]
  ClusVPRは重複する領域における冗長な情報の特定の問題と、小さなオブジェクトの表現に対処する新しいアプローチである。 ClusVPRはClustering-based weighted Transformer Network (CWTNet)と呼ばれるユニークなパラダイムを導入した また,パラメータ数を大幅に削減し,モデル効率を向上させる最適化VLAD層を導入する。
  論文  参考訳（メタデータ） (2023-10-06T09:01:15Z)
• Transformer-based Context Condensation for Boosting Feature Pyramids in Object Detection [77.50110439560152]
  現在の物体検出器は、通常マルチレベル特徴融合(MFF)のための特徴ピラミッド(FP)モジュールを持つ。 我々は,既存のFPがより優れたMFF結果を提供するのに役立つ,新しい,効率的なコンテキストモデリング機構を提案する。 特に,包括的文脈を2種類の表現に分解・凝縮して高効率化を図っている。
  論文  参考訳（メタデータ） (2022-07-14T01:45:03Z)
• Remote Sensing Cross-Modal Text-Image Retrieval Based on Global and Local Information [15.32353270625554]
  リモートセンシング(RS)画像の高速かつ柔軟な情報抽出を可能にするため,クロスモーダルリモートセンシングテキスト画像検索(RSCTIR)は近年,緊急な研究ホットスポットとなっている。 まず,グローバル・ローカル情報(GaLR)に基づく新しいRSCTIRフレームワークを提案し,多レベル情報ダイナミックフュージョン(MIDF)モジュールを設計し,異なるレベルの機能を効果的に統合する。 公開データセットの実験は、RSCTIRタスク上でのGaLR法の最先端性能を強く実証している。
  論文  参考訳（メタデータ） (2022-04-21T03:18:09Z)
• Reuse your features: unifying retrieval and feature-metric alignment [3.845387441054033]
  DRANは視覚的ローカライゼーションの3段階の機能を生成できる最初のネットワークである。 公開ベンチマークの挑戦的な条件下では、堅牢性と正確性の観点から競争性能を達成する。
  論文  参考訳（メタデータ） (2022-04-13T10:42:00Z)
• Unifying Global-Local Representations in Salient Object Detection with Transformer [55.23033277636774]
  我々は、視覚変換器という新しいアテンションベースのエンコーダを有能な物体検出に導入する。 非常に浅い層でのグローバルビューでは、トランスフォーマーエンコーダはより局所的な表現を保持する。 提案手法は,5つのベンチマークにおいて,他のFCN法およびトランスフォーマー法よりも優れていた。
  論文  参考訳（メタデータ） (2021-08-05T17:51:32Z)
• Improving Video Instance Segmentation via Temporal Pyramid Routing [61.10753640148878]
  Video Instance(VIS)は、ビデオシーケンス内の各インスタンスを検出し、セグメンテーションし、追跡することを目的とした、新しい、本質的にはマルチタスク問題である。 隣接する2つのフレームからなる特徴ピラミッド対から画素レベルのアグリゲーションを条件付きで調整し,実行するための時間ピラミッドルーティング(TPR)戦略を提案する。 我々のアプローチはプラグイン・アンド・プレイモジュールであり、既存のインスタンス・セグメンテーション・メソッドにも容易に適用できます。
  論文  参考訳（メタデータ） (2021-07-28T03:57:12Z)
• HAT: Hierarchical Aggregation Transformers for Person Re-identification [87.02828084991062]
  我々は,CNNとトランスフォーマーの両方の利点を,高性能な画像ベース人物Re-IDに適用する。 作業は、画像ベースのRe-IDのためのCNNとTransformerの両方の利点を初めて活用する。
  論文  参考訳（メタデータ） (2021-07-13T09:34:54Z)
• A Holistically-Guided Decoder for Deep Representation Learning with Applications to Semantic Segmentation and Object Detection [74.88284082187462]
  一般的な戦略の1つは、バックボーンネットワークに拡張畳み込みを採用し、高解像度のフィーチャーマップを抽出することです。 本稿では,高分解能なセマンティクスリッチな特徴マップを得るために紹介される,新たなホリスティック誘導デコーダを提案する。
  論文  参考訳（メタデータ） (2020-12-18T10:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。