論文の概要: MINER: Multi-crop INference-time Enhancement for Rare-Object Retrieval with Frozen Dual Encoders
- arxiv url: http://arxiv.org/abs/2609.27142v1
- Date: Tue, 22 Sep 2026 23:06:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.799106
- Title: MINER: Multi-crop INference-time Enhancement for Rare-Object Retrieval with Frozen Dual Encoders
- Title(参考訳): MINER:冷凍デュアルエンコーダを用いた希少物体検索のためのマルチクロップ推論時間向上
- Abstract要約: 凍結されたデュアルエンコーダによるテキスト・ツー・イメージ検索は、乱れたシーンにおいて、クエリが小さく、視覚的に従属するオブジェクトを名付けると劣化する。
我々は,凍ったデュアルエンコーダのグローバルなイメージ埋め込みを,地域レベルの埋め込みの小さなバンクに拡張する,トレーニング不要な推論フレームワークMINERを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-to-image retrieval with frozen dual encoders degrades when the query names a small, visually subordinate object in a cluttered scene: a single global image embedding underrepresents the localized visual evidence. We present MINER, a training-free inference framework that augments a frozen dual encoder's global image embedding with a small bank of region-level embeddings and a hubness-correcting similarity rescoring, recovering visual evidence that global pooling underweights. To evaluate this setting, we introduce ROCS, a benchmark built from high-clutter subsets of Flickr30K and MS COCO whose images are re-captioned to name a single low-salience object. Experiments on CLIP, SigLIP, and SigLIP 2 show that MINER improves retrieval on every backbone, on ROCS and on the standard splits. Analyses show that these gains come primarily from broader spatial coverage rather than precise crop placement, revealing a simple and general way to recover localized evidence from frozen representations. Code: https://github.com/aalquwayfili/MINER. Dataset: https://huggingface.co/datasets/aalquwayfili/ROCS.
- Abstract(参考訳): 凍結されたデュアルエンコーダによるテキスト・ツー・イメージの検索は、クエリが散らかったシーンで小さな視覚的に従属するオブジェクトを名付けると劣化する。
我々は,凍結したデュアルエンコーダのグローバルイメージを,地域レベルの埋め込みの小さなバンクに埋め込んだトレーニングフリーな推論フレームワークMINERと,大域的なプール過多の視覚的証拠を復元する親和性補正類似性を再現するMINERを提案する。
この設定を評価するために,Flickr30K と MS COCO の高画質サブセットから構築されたベンチマーク ROCS を紹介した。
CLIP、SigLIP、SigLIP 2の実験では、MINERはすべてのバックボーン、ROCSおよび標準分割における検索を改善している。
分析によれば、これらの利益は主に正確な作物の配置よりも広い空間範囲から得られており、凍結した表現から局所的な証拠を回収するための単純で一般的な方法が明らかにされている。
コード:https://github.com/aalquwayfili/MINER。
データセット:https://huggingface.co/datasets/aalquwayfili/ROCS。
関連論文リスト
- From 2D Grids to 1D Tokens: Reforming Shared Representations for Multimodal Image Fusion [16.593435991566828]
マルチモーダル画像融合は、異なるモーダルからの相補的な情報を融合画像に統合することを目的としている。
非局所的な外見/ベース要素をモデル化するための凍結事前訓練画像トークン化器に基づくコンパクトな1Dトークンインタフェースを提案する。
提案手法は,グローバルコヒーレンスと局所忠実度の両方において,一貫したマルチメトリック改良を施し,全体的な性能を向上する。
論文 参考訳(メタデータ) (2026-06-10T16:40:18Z) - Dual-Prompt CLIP with Hybrid Visual Encoders for Occluded Person Re-Identification [9.153700778053691]
本稿では,隠蔽者を対象としたDPL-ReID(Dual Prompt Learning ReID)モデルを提案する。
デュアル・プロンプト・ラーニング(Dual Prompt Learning、Dual-PL)戦略が組み込まれている。
また,企業LSNetがグローバル情報を捕捉し,機能拡張機構として機能する,重み付きGated Feature Fusion (WGFF) 法を設計する。
論文 参考訳(メタデータ) (2026-05-19T08:29:01Z) - What matters for Representation Alignment: Global Information or Spatial Structure? [64.67092609921816]
表現アライメント(REPA)は、強い事前訓練された視覚エンコーダから中間拡散特徴への表現を蒸留することにより、生成訓練を導く。
本稿では,対象表現のどの側面が生成に重要であるか,そのテクスト・グロバル・リビジョン・セマンティック・情報について検討する。
我々はREPAの標準射影層を単純な畳み込み層に置き換え、外部表現のための空間正規化層を導入する。
論文 参考訳(メタデータ) (2025-12-11T16:39:53Z) - SETR: A Two-Stage Semantic-Enhanced Framework for Zero-Shot Composed Image Retrieval [4.230223288110963]
Zero-shot Composed Image Retrieval (ZS-CIR)は、トリプルトアノテーションに頼ることなく、参照画像と相対テキストが与えられたターゲット画像を取得することを目的としている。
既存のCLIPベースの手法では、(1)組合ベースの特徴融合は、意図した変更を希釈する無関係な背景の詳細を担いながら、すべての視覚的手がかりを無差別に集約し、(2)CLIP埋め込みからのグローバルなコサイン類似性は、きめ細かいセマンティックな関係を解く能力に欠ける。
論文 参考訳(メタデータ) (2025-09-30T09:41:52Z) - CLAIR: CLIP-Aided Weakly Supervised Zero-Shot Cross-Domain Image Retrieval [51.45839347847945]
本稿では,CLIPテキストと画像特徴との類似性から,ノイズの多い擬似ラベルを信頼性スコアで洗練するCLAIRを提案する。
また,CLIPテキスト埋め込みのみを用いて,新しいクロスドメインマッピング関数をクローズド形式で学習する。
私たちのCLAIRは、既存の最先端の手法と比較して、一貫して優れたパフォーマンスを示しています。
論文 参考訳(メタデータ) (2025-08-17T08:43:45Z) - Controllable Reference Guided Diffusion with Local Global Fusion for Real World Remote Sensing Image Super Resolution [9.658727475375565]
超解像技術は、リモートセンシング画像の空間分解能を高め、より効率的な大規模な地球観測アプリケーションを可能にする。
既存のRefSR手法は、クロスセンサーの解像度ギャップや重要な土地被覆の変化など、現実世界の複雑さに苦しむ。
実世界リモートセンシング画像SRのための新しい制御可能な参照誘導拡散モデルであるCRefDiffを提案する。
論文 参考訳(メタデータ) (2025-06-30T12:45:28Z) - $R^{2}$Former: Unified $R$etrieval and $R$eranking Transformer for Place
Recognition [92.56937383283397]
検索と再ランクの両方を扱う統合された場所認識フレームワークを提案する。
提案モジュールは特徴相関,注目値,xy座標を考慮に入れている。
R2$Formerは、主要なVPRデータセットの最先端メソッドを著しく上回る。
論文 参考訳(メタデータ) (2023-04-06T23:19:32Z) - Remote Sensing Cross-Modal Text-Image Retrieval Based on Global and
Local Information [15.32353270625554]
リモートセンシング(RS)画像の高速かつ柔軟な情報抽出を可能にするため,クロスモーダルリモートセンシングテキスト画像検索(RSCTIR)は近年,緊急な研究ホットスポットとなっている。
まず,グローバル・ローカル情報(GaLR)に基づく新しいRSCTIRフレームワークを提案し,多レベル情報ダイナミックフュージョン(MIDF)モジュールを設計し,異なるレベルの機能を効果的に統合する。
公開データセットの実験は、RSCTIRタスク上でのGaLR法の最先端性能を強く実証している。
論文 参考訳(メタデータ) (2022-04-21T03:18:09Z) - Over-and-Under Complete Convolutional RNN for MRI Reconstruction [57.95363471940937]
MR画像再構成のための最近のディープラーニングに基づく手法は、通常、汎用的なオートエンコーダアーキテクチャを利用する。
OUCR(Over-and-Under Complete Convolu?tional Recurrent Neural Network)を提案する。
提案手法は, トレーニング可能なパラメータの少ない圧縮されたセンシングと, 一般的なディープラーニングに基づく手法に対して, 大幅な改善を実現する。
論文 参考訳(メタデータ) (2021-06-16T15:56:34Z) - DetCo: Unsupervised Contrastive Learning for Object Detection [64.22416613061888]
教師なしのコントラスト学習は,CNNを用いた画像表現学習において大きな成功を収めている。
我々は,グローバルイメージとローカルイメージパッチのコントラストをフルに検討する,DetCoという新しいコントラスト学習手法を提案する。
DetCoは1倍のスケジュールでMask RCNN-C4/FPN/RetinaNet上で1.6/1.2/1.0 APで教師付き手法を一貫して上回っている。
論文 参考訳(メタデータ) (2021-02-09T12:47:20Z) - High-Order Information Matters: Learning Relation and Topology for
Occluded Person Re-Identification [84.43394420267794]
本稿では,高次関係とトポロジ情報を識別的特徴とロバストなアライメントのために学習し,新しい枠組みを提案する。
我々のフレームワークはOccluded-Dukeデータセットで最先端の6.5%mAPスコアを大幅に上回っている。
論文 参考訳(メタデータ) (2020-03-18T12:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。