論文の概要: Region-Aware CLS Token Augmentation for Fine-Grained Image Retrieval

• arxiv url: http://arxiv.org/abs/2610.10991v1
• Date: Wed, 07 Oct 2026 23:24:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.699632
• Title: Region-Aware CLS Token Augmentation for Fine-Grained Image Retrieval
• Title（参考訳）: 微細画像検索のための領域認識型CLSトークン拡張
• Abstract要約: 画像のセマンティック情報を1つのディスクリプタに絞ろうとすると、下流の検索性能が損なわれる。 我々は、新しい視覚変換器、グローバル(空間)トークン、および4つのレジスタトークンのセマンティックトークンを拡大する。 当社のアプローチでは,外部境界ボックスやサリエンシモジュールを使わずに,重要な領域を自動的にキャプチャする。
• 参考スコア（独自算出の注目度）: 10.259144154569947
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image retrieval methods often rely on a single global semantic descriptor extracted from an image, e.g., the [CLS] token in vision transformers. However, trying to squeeze all the semantic information of an image into a single descriptor can hurt downstream retrieval performance, especially for fine-grained retrieval tasks. In this work, we augment the semantic tokens in the newer visual transformers, the global [CLS] token and the four register tokens, with a carefully selected collection of spatial tokens, aiming to capture the spatial region representation that characterizes the contents captured in each of the semantic tokens. We leverage the DINOv2-reg model, which includes register tokens that emergently learn object and part-based representations. For each "cue" token ([CLS] and each register token), we find a "buddy" image patch token and extract an N x N patch region to produce a set of localized ROI tokens. Our approach automatically captures important regions of interest without any external bounding boxes or saliency modules, purely by matching semantic tokens with their spatial representation regions. Furthermore, we incorporate these tokens into a multi-vector retrieval framework inspired by ColBERT, enabling fine-grained matching via a per-token alignment mechanism while avoiding the large storage cost of keeping all patch embeddings. Through extensive experiments, we find that (1) register tokens encode useful fine-grained details that can complement the [CLS] token; (2) automatically pooled ROI tokens further improve fine-grained discrimination; and (3) multi-vector retrieval with a small set of tokens improves over a DINOv2-reg single-vector baseline while remaining tractable for large-scale search. The code is available at https://github.com/IdhcbIan/Augmenting_CLS_with_ROI_tokens.
• Abstract（参考訳）: 画像検索手法は、画像から抽出された単一のグローバルな意味記述子、例えば視覚変換器の[CLS]トークンに依存することが多い。 しかし、画像のセマンティック情報を1つのディスクリプタに絞ろうとすると、特にきめ細かい検索タスクにおいて、下流の検索性能が損なわれる可能性がある。 本研究では,新しい視覚変換器,グローバル(CLS)トークン,および4つのレジスタトークンのセマンティックトークンを,慎重に選択された空間トークンの集合で拡張し,各セマンティックトークンでキャプチャされた内容を特徴付ける空間領域表現を捉えることを目的とする。 我々はDINOv2-regモデルを活用し、オブジェクトと部分ベースの表現を即時に学習するレジスタトークンを含む。 それぞれの"cue"トークン([CLS]と各レジスタトークン)に対して、"buddy"イメージパッチトークンを見つけ、NxNパッチ領域を抽出して、ローカライズされたROIトークンのセットを生成する。 提案手法は,外部境界ボックスやサリエンシモジュールを使わずに,意味トークンと空間表現領域をマッチングすることによって,重要な領域を自動的にキャプチャする。 さらに、これらのトークンをColBERTにインスパイアされたマルチベクター検索フレームワークに組み込むことにより、パッチの埋め込みを全て保持する大きなストレージコストを回避しつつ、トークンごとのアライメント機構を介してきめ細かなマッチングを可能にする。 広範にわたる実験により,(1)CLSトークンを補完する有用な細粒度の詳細を符号化するレジスタトークン,(2)ROIトークンの自動プールによりさらに細粒度識別が向上すること,(3)DINOv2-reg単一ベクトルベースラインよりも少ない数のトークンによるマルチベクタ検索が向上すること,などが確認された。 コードはhttps://github.com/IdhcbIan/Augmenting_CLS_with_ROI_tokensで公開されている。

関連論文リスト

• FIRM: Fine-Grained Intra-Token Representation of Masks for Remote Sensing Reasoning Segmentation [27.47065769615997]
  セグメンテーションでは、暗黙的な命令をピクセルレベルのマスクに変換するために、MLLM(Multimodal large language model)が必要となる。 リモートセンシング画像では、小さなターゲット、細い構造、隣接するインスタンスが同じ視覚トークンの異なる部分を占有することができる。 マスクの微細粒内表現であるFIRMを紹介する。
  論文  参考訳（メタデータ） (2026-08-14T05:40:36Z)
• Towards Implicit Aggregation: Robust Image Representation for Place Recognition in the Transformer Era [60.09990228573728]
  いくつかの学習可能なアグリゲーショントークンを導入し、特定のトランスフォーマーブロックの前にパッチトークンにプリコンパイルする。 これらのトークンはすべて、固有の自己認識機構を通じて、共同で処理され、世界規模で相互作用する。 提案手法は,複数のVPRデータセットにおける最先端の手法よりも効率が高く,MSLSチャレンジリーダーボードで1位にランクインする。
  論文  参考訳（メタデータ） (2025-11-08T14:35:11Z)
• Hita: Holistic Tokenizer for Autoregressive Image Generation [56.81871174745175]
  自己回帰(AR)画像生成のための新しい画像トークンであるtextitHita を紹介する。 学習可能な全体的クエリとローカルパッチトークンを備えた、全体論的から局所的なトークン化スキームを導入している。
  論文  参考訳（メタデータ） (2025-07-03T06:44:26Z)
• Images are Worth Variable Length of Representations [13.136831256070343]
  ほとんどの視覚エンコーダは、画像を固定長のトークン列にマッピングし、異なる画像が様々な量の情報を含んでいるという事実を見渡す。 本稿では,動的視覚エンコーダであるDOVEを提案する。 その結果,DOVEは高い復元品質を維持しつつ,平均トークン数を大幅に削減できることがわかった。
  論文  参考訳（メタデータ） (2025-06-04T07:40:33Z)
• LeMeViT: Efficient Vision Transformer with Learnable Meta Tokens for Remote Sensing Image Interpretation [37.72775203647514]
  本稿では,学習可能なメタトークンを用いてスパーストークンを定式化し,キー情報を効果的に学習し,推論速度を向上させることを提案する。 視覚トークンが密集した早期にデュアル・クロス・アテンション(DCA)を用いることで,様々な大きさの階層型アーキテクチャLeMeViTが得られる。 分類と密接な予測タスクの実験結果は、LeMeViTがベースラインモデルと比較して1.7倍のスピードアップ、少ないパラメータ、競争性能を持っていることを示している。
  論文  参考訳（メタデータ） (2024-05-16T03:26:06Z)
• Tokenize Anything via Prompting [65.93061853439512]
  我々は,任意のものを同時にセグメンテーションし,認識し,キャプションすることができる統一的,迅速なモデルを提案する。 我々は、50億のパラメータを持つ事前学習されたCLIPモデルから、巨大なセグメンテーションマスク、eg、SA-1Bマスク、セマンティックプリミティブを持つ一般化可能なモデルをトレーニングする。 我々は,このモデルが汎用領域コンテキストを符号化できる汎用領域レベルの画像トークン化器であると考えている。
  論文  参考訳（メタデータ） (2023-12-14T17:01:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。