論文の概要: Efficient Remote Sensing Image-Text Retrieval via Interaction-Free Recall and Text-Guided Reranking
- arxiv url: http://arxiv.org/abs/2610.36756v1
- Date: Tue, 27 Oct 2026 07:12:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.533479
- Title: Efficient Remote Sensing Image-Text Retrieval via Interaction-Free Recall and Text-Guided Reranking
- Title(参考訳): インタラクションフリーリコールとテキストガイドによる効率的なリモートセンシング画像検索
- Abstract要約: リモートセンシング(RS)画像テキスト検索は、大規模なRS画像を理解する上で重要な役割を果たす。
既存の手法は、検索効率の低下につながる複雑なクロスモーダル相互作用に依存するか、大規模な視覚言語適応に依存する。
我々は,インタラクションフリーなマルチグラニュラーリコールとパラメータフリーなテキスト誘導型クロスモーダルリグレードを中心に,FTF(fast-then-fine)検索フレームワークを開発した。
- 参考スコア(独自算出の注目度): 13.181195595944601
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Remote sensing (RS) image-text retrieval plays a critical role in understanding massive RS imagery. However, the dense multi-object distribution and complex backgrounds in RS imagery make it difficult to simultaneously achieve fine-grained cross-modal alignment and efficient retrieval. Existing methods either rely on complex cross-modal interactions that lead to low retrieval efficiency, or depend on large-scale vision-language adaptation, which requires massive data and computational resources. To address these issues, we develop a fast-then-fine (FTF) retrieval framework centered on interaction-free multi-granular recall and parameter-free text-guided cross-modal reranking with the Balanced Text-guided Interaction Block (BTIB). Specifically, interaction-free multi-granular recall pre-computes gallery embeddings and matches them with the corresponding query embedding without full-gallery token-level text-image interaction, while text-guided cross-modal reranking with BTIB refines local semantic correspondence within the top-K candidate set. Furthermore, an inter- and intra-modal loss is designed to jointly optimize cross-modal alignment across multi-granular representations. Extensive experiments on public benchmarks demonstrate that the FTF achieves competitive retrieval accuracy while significantly improving retrieval efficiency compared with existing methods.
- Abstract(参考訳): リモートセンシング(RS)画像テキスト検索は、大規模なRS画像を理解する上で重要な役割を果たす。
しかし、RS画像の多対象密度分布と複雑な背景により、細粒度のクロスモーダルアライメントと効率的な検索を同時に達成することは困難である。
既存の手法は、検索効率の低下につながる複雑なクロスモーダルな相互作用に依存するか、あるいは大量のデータと計算資源を必要とする大規模な視覚言語適応に依存している。
これらの問題に対処するため,インタラクションフリーなマルチグラニュラーリコールとパラメータフリーなテキスト誘導型クロスモーダルリグレードに基づくFTF(fast-then-fine)検索フレームワークを,BTIB(Ba balanced Text-guided Interaction Block)と組み合わせて開発した。
具体的には、相互作用のないマルチグラニュラーリコールはギャラリー埋め込みを前処理し、それに対応するクエリ埋め込みと、フルガリートークンレベルのテキスト-イメージインタラクションを使わずにマッチングする。
さらに,マルチグラニュラ表現間のクロスモーダルアライメントを協調的に最適化するために,モーダル間損失とモーダル内損失を設計する。
公開ベンチマーク実験により、FTFは既存の手法と比較して、検索効率を著しく向上させながら、競争力のある検索精度を達成できることが示されている。
関連論文リスト
- Chaos in the Text: Revealing the Modality Preference in Mixed-Modality Retrievers [51.19177300042174]
その結果,レトリバーの性能はモダリティの構成に非常に敏感であることがわかった。
本稿では,各文書のテキスト,画像,融合されたテキストイメージビューを同値な肯定値として構成するTridentを紹介する。
実験により, TridentはCLIPおよびVLMアーキテクチャの混合モダリティ検索を改善することが示された。
論文 参考訳(メタデータ) (2026-10-08T12:21:08Z) - Deeply Interleaved Text-Image Contexts for Multimodal LLMs Assessment [57.41731607488101]
TIC-Benchは、テキストイメージの手がかりを統合し、深くインターリーブされたコンテキストの中で真実の事実を復元するモデルの能力を評価するように設計されている。
また,10種類のMLLMを評価し,人的専門家と比較してかなりの性能差が認められた。
論文 参考訳(メタデータ) (2026-09-02T13:19:51Z) - Fast-then-Fine: A Two-Stage Framework with Multi-Granular Representation for Cross-Modal Retrieval in Remote Sensing [13.181195595944603]
リモートセンシング(RS)画像テキスト検索は、大規模なRS画像を理解する上で重要な役割を果たす。
既存の手法は、検索効率の低下につながる複雑なクロスモーダル相互作用に依存するか、大規模な視覚言語モデルの事前学習に依存する。
本稿では,検索をテキストに依存しないリコールステージと,微粒なアライメントのためのテキスト誘導リランクステージに分解するFTF(Fast-then-fine)2段階検索フレームワークを提案する。
論文 参考訳(メタデータ) (2026-04-22T10:50:38Z) - When Vision Meets Texts in Listwise Reranking [1.2691047660244335]
Rank-Nexusは、画像とテキストの両方を組み込んだ検索リスト上で、リストワイズで定性的な再ランクを行うマルチモーダルな画像テキスト文書再ランカである。
私たちはまず、大量のテキストを再ランク付けしたデータを活用して、知識をテキストブランチに抽出する、という、モダリティを個別にトレーニングします。
データが少ない画像に対しては,画像検索ベンチマーク上で,マルチモーダル大言語モデル(MLLM)キャプションから蒸留ペアを構築する。
論文 参考訳(メタデータ) (2026-01-28T13:57:14Z) - PMPGuard: Catching Pseudo-Matched Pairs in Remote Sensing Image-Text Retrieval [17.251288844354914]
PMP(Pseudo-Matched Pairs)の存在によるリモートセンシング(RS)画像テキスト検索の課題
本稿では,クロスモーダル・ゲーティング・アテンションとポジティブ・ネガティブ・アテンション・メカニズムを活用する新しい検索フレームワークを提案する。
提案手法は,RS画像テキスト検索タスクにおける実世界のミスマッチやPMPの処理における頑健さと有効性を強調し,常に最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2025-12-21T09:16:11Z) - Human-centered Interactive Learning via MLLMs for Text-to-Image Person Re-identification [26.689580621314576]
外部マルチモーダル知識によるテキストクエリの識別性を高めるための対話型クロスモーダル学習フレームワーク(ICL)を提案する。
そこで本研究では,THI(Test-time Humane-centered Interaction)モジュールを提案する。
THIはマルチモーダル大言語モデル(MLLM)に基づいてユーザクエリを洗練し、最高のマッチング画像とのギャップを減らす。
論文 参考訳(メタデータ) (2025-05-21T02:26:17Z) - Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。
従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。
本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
論文 参考訳(メタデータ) (2023-12-19T08:14:14Z) - Plug-and-Play Regulators for Image-Text Matching [76.28522712930668]
微細な対応と視覚的セマンティックなアライメントの爆発は、画像とテキストのマッチングにおいて大きな可能性を秘めている。
我々は、メッセージ出力を効率的にエンコードして、コンテキストを自動生成し、モーダル表現を集約する、シンプルだが非常に効果的な2つのレギュレータを開発した。
MSCOCOとFlickr30Kデータセットの実験は、複数のモデルで印象的で一貫したR@1ゲインをもたらすことができることを実証している。
論文 参考訳(メタデータ) (2023-03-23T15:42:05Z) - Exploring a Fine-Grained Multiscale Method for Cross-Modal Remote
Sensing Image Retrieval [21.05804942940532]
クロスモーダルなテキスト画像検索は、フレキシブルな入力と効率的なクエリの利点により、広く注目を集めている。
RSマルチモーダル検索タスクにおけるマルチスケール不足とターゲット冗長性の問題に対処するため、新しい非対称マルチモーダル特徴マッチングネットワーク(AMFMN)を考案した。
本モデルは,マルチスケールな特徴入力に適応し,マルチソース検索手法を好んで,冗長な特徴を動的にフィルタすることができる。
論文 参考訳(メタデータ) (2022-04-21T03:53:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。