論文の概要: Faster or Stronger: Towards Flexible Visual Place Recognition via Weighted Aggregation and Token Pruning
- arxiv url: http://arxiv.org/abs/2605.20551v1
- Date: Tue, 19 May 2026 23:01:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-21 19:19:56.407578
- Title: Faster or Stronger: Towards Flexible Visual Place Recognition via Weighted Aggregation and Token Pruning
- Title(参考訳): より速いか強いか:重み付けされた集合とToken Pruningによるフレキシブルな視覚的位置認識を目指して
- Authors: Zichao Zeng, June Moh Goo, Junwei Zheng, Weijia Fan, Jiaming Zhang, Rainer Stiefelhagen, Jan Boehm,
- Abstract要約: ビジュアルプレース認識(VPR)は、大規模データベース内の同じ場所の参照画像とクエリイメージをマッチングすることを目的としている。
自己蒸留による特徴抽出コストを削減するVPR指向のトークンプルーニングフレームワークであるWeiToPを紹介する。
WeiToPは、推論時にプラグアンドプレイトークンのプルーニングを可能にし、追加のトレーニングなしで正確性と効率のトレードオフを柔軟かつオンデマンドに制御できる。
- 参考スコア(独自算出の注目度): 27.4981354426677
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Visual Place Recognition (VPR) aims to match a query image to reference images of the same place in a large-scale database. Recent state-of-the-art methods employ Vision Transformers (ViTs) as backbone foundation models to extract patch-level features that are robust to viewpoint, illumination, and seasonal variations, which are then aggregated into a compact global descriptor for retrieval. Most existing aggregation methods uniformly pool patch tokens into learned clusters, despite the fact that different clusters often encode distinct spatial or semantic patterns and contribute unequally to VPR performance. To address this limitation, we propose Weighted Aggregated Descriptor (WeiAD), which assigns weights to clusters during aggregation, producing more discriminative global representations. Beyond accuracy, retrieval latency is a critical concern for large-scale deployments and resource-constrained edge devices. Prior work mainly reduces latency by compressing global descriptors, while overlooking the cost of feature extraction, an issue exacerbated by ViT-based backbones. We therefore introduce WeiToP, a VPR-oriented token pruning framework that reduces feature extraction cost via self-distillation, where aggregation-induced token importance supervises a lightweight pruning module attached to an early transformer layer, enabling inference-time token pruning. After a single joint training phase, WeiToP enables plug-and-play token pruning at inference time, allowing flexible and on-demand control over the accuracy-efficiency trade-off without additional training. Moreover, WeiToP outperforms existing token pruning methods adapted from general vision tasks.
- Abstract(参考訳): ビジュアルプレース認識(VPR)は、大規模データベース内の同じ場所の参照画像とクエリイメージをマッチングすることを目的としている。
近年の最先端の手法では、視覚変換器(ViT)をバックボーン基盤モデルとして、視点、照明、季節変動に頑健なパッチレベルの特徴を抽出し、その結果をコンパクトなグローバルディスクリプタに集約する。
既存のアグリゲーションメソッドの多くは、異なるクラスタがしばしば異なる空間的または意味的なパターンを符号化し、VPRのパフォーマンスに不平等に寄与するという事実にもかかわらず、トークンを学習クラスタに均一にプールする。
この制限に対処するため,重み付けを行うWeighted Aggregated Descriptor (WeiAD)を提案する。
正確性以外にも、検索レイテンシは大規模デプロイメントとリソース制限されたエッジデバイスにとって重要な懸念事項である。
それまでの作業では,グローバルディスクリプタの圧縮によるレイテンシの削減が中心だったが,機能抽出のコストを見越して,ViTベースのバックボーンによってさらに悪化する問題があった。
そこで我々は,自己蒸留による特徴抽出コストを削減するVPR指向のトークンプルーニングフレームワークWeiToPを導入し,アグリゲーションによるトークンの重要度を初期変圧器層に付加した軽量なプルーニングモジュールを監督し,推論時トークンプルーニングを可能にする。
単一のジョイントトレーニングフェーズの後、WeiToPは推論時にプラグアンドプレイトークンのプルーニングを可能にし、追加トレーニングなしで精度効率トレードオフを柔軟かつオンデマンドに制御できる。
さらに、WeiToPは、一般的な視覚タスクから適応した既存のトークンプルーニング手法よりも優れている。
関連論文リスト
- RCP: Representation Consistency Pruner for Mitigating Distribution Shift in Large Vision-Language Models [24.3914653184824]
LVLM(Large Vision-Language Models)は、言語デコーダによって処理される膨大な数の視覚トークンによって、推論の禁止コストに悩まされる。
既存のプルーニング法は、視覚トークンの可逆的な除去が、事前訓練されたフルトケン状態から逸脱した隠れ状態の分布シフトを引き起こすため、大きな性能劣化を引き起こすことが多い。
本稿では,累積的視覚トークンプルーニングと遅延修復機構を統合した一貫性表現プルーナを提案する。
論文 参考訳(メタデータ) (2026-04-04T13:31:45Z) - FedBPrompt: Federated Domain Generalization Person Re-Identification via Body Distribution Aware Visual Prompts [48.952949805624904]
視覚変換器(ViT)は広く採用されているが、その世界的な注目は、歩行者を高い類似点や多様な視点から区別することができないことが多い。
これを解決するために,FedBPrompt (FedBPrompt) を意識したFederated Body Distributionを提案する。
FedBPromptは、トランスフォーマーの注意を歩行者中心の地域へと導くための学習可能な視覚的プロンプトを導入した。
論文 参考訳(メタデータ) (2026-03-13T11:29:36Z) - Saccadic Vision for Fine-Grained Visual Classification [10.681604440788854]
きめ細かい視覚分類(FGVC)は、微妙で局所的な特徴によって視覚的に類似したカテゴリーを区別する必要がある。
既存のパートベースの手法は、ピクセルからサンプル空間へのマッピングを学習する複雑なローカライゼーションネットワークに依存している。
本稿では,まず周辺特徴を抽出し,サンプルマップを生成する2段階プロセスを提案する。
我々は、周辺と焦点の表現を融合する前に、各固定パッチの影響を定量的に評価するために、文脈選択的注意を用いる。
論文 参考訳(メタデータ) (2025-09-19T07:03:37Z) - Task-Oriented Feature Compression for Multimodal Understanding via Device-Edge Co-Inference [54.53508601749513]
本稿では,マルチモーダル理解のためのタスク指向特徴圧縮(TOFC)手法を提案する。
圧縮効率を向上させるために、視覚特徴の特性に基づいて複数のエントロピーモデルを適応的に選択する。
その結果,TOFCはデータ転送オーバーヘッドを最大52%削減し,システム遅延を最大63%削減できることがわかった。
論文 参考訳(メタデータ) (2025-03-17T08:37:22Z) - FASTer: Focal Token Acquiring-and-Scaling Transformer for Long-term 3D Object Detection [9.291995455336929]
我々はFAST(Focal Token Acquring-and-Scaling Transformer)を提案する。
FASTerは、適応的で軽量な方法でトークンシーケンスを凝縮する。
性能と効率の両方で、他の最先端の検出器よりも大幅に優れています。
論文 参考訳(メタデータ) (2025-02-28T03:15:33Z) - HiRes-LLaVA: Restoring Fragmentation Input in High-Resolution Large Vision-Language Models [96.76995840807615]
HiRes-LLaVAは、元の文脈情報や幾何学的情報を変更することなく、高解像度入力のサイズを処理するように設計された新しいフレームワークである。
HiRes-LLaVAは、2つの革新的なコンポーネントで構成されている: (i)スライスしたパッチを元の形式に再構築し、ダウンアップサンプリング層と畳み込み層を通じてグローバルとローカルの両方の特徴を効率的に抽出するSliceRestoreアダプタ、(ii)自分自身に基づいてビジョントークンを圧縮するセルフマイニングサンプリング。
論文 参考訳(メタデータ) (2024-07-11T17:42:17Z) - Semi-Supervised Coupled Thin-Plate Spline Model for Rotation Correction and Beyond [84.56978780892783]
制御点が限られている複数のTPSを、より柔軟で強力な変換に繰り返し結合するCoupledTPSを提案する。
注記コストを考慮に入れた半教師付き学習手法を開発し、ラベルのないデータを活用することにより、ワープ品質を向上させる。
実験は、回転補正のための既存の最先端解よりもCoupledTPSの優位性と普遍性を示す。
論文 参考訳(メタデータ) (2024-01-24T13:03:28Z) - Optimal Transport Aggregation for Visual Place Recognition [9.192660643226372]
SALADは,NetVLADの局所的特徴のソフトアサインを最適な輸送問題としてクラスタに再配置する。
SALADでは,機能間クラスタ関係とクラスタ間クラスタ関係の両方を考慮するとともに,非形式的と考えられる特徴を選択的に破棄する'ダストビン'クラスタも導入する。
我々のシングルステージ手法は、パブリックなVPRデータセットの単一ステージベースラインを超えるだけでなく、2段階の手法を超越し、コストを大幅に高めに再ランク付けする。
論文 参考訳(メタデータ) (2023-11-27T15:46:19Z) - PnP-DETR: Towards Efficient Visual Analysis with Transformers [146.55679348493587]
近年、DeTRはトランスフォーマーを用いたソリューションビジョンタスクの先駆者であり、画像特徴マップを直接オブジェクト結果に変換する。
最近の変圧器を用いた画像認識モデルとTTは、一貫した効率向上を示す。
論文 参考訳(メタデータ) (2021-09-15T01:10:30Z) - Adversarial Feature Augmentation and Normalization for Visual
Recognition [109.6834687220478]
最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。
本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。
代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
論文 参考訳(メタデータ) (2021-03-22T20:36:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。