論文の概要: Turning Generators into Retrievers: Unlocking MLLMs for Natural Language-Guided Geo-Localization

• arxiv url: http://arxiv.org/abs/2604.10721v1
• Date: Sun, 12 Apr 2026 16:40:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.188689
• Title: Turning Generators into Retrievers: Unlocking MLLMs for Natural Language-Guided Geo-Localization
• Title（参考訳）: 発電機をリトリーバーに変える:自然言語誘導ジオローカライゼーションのためのMLLMのアンロック
• Authors: Yuqi Chen, Xiaohan Zhang, Ahmad Arrabi, Waqas Sultani, Chen Chen, Safwan Wshah,
• Abstract要約: 自然言語ガイド クロスビュー ジオローカライゼーション (NGCG) は、テキスト記述を用いてジオタグ付き衛星画像を取得することを目的としている。 本稿では,パラメータ効率の良い微調整により,マルチモーダル言語モデル(MLLM)をNGCGに適用するフレームワークを提案する。 本手法はGeoText-1652のSOTAを12.2%改善し,CVG-Textの12サブタスク中5サブタスクでトップパフォーマンスを確保する。
• 参考スコア（独自算出の注目度）: 12.890087894107396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural-language Guided Cross-view Geo-localization (NGCG) aims to retrieve geo-tagged satellite imagery using textual descriptions of ground scenes. While recent NGCG methods commonly rely on CLIP-style dual-encoder architectures, they often suffer from weak cross-modal generalization and require complex architectural designs. In contrast, Multimodal Large Language Models (MLLMs) offer powerful semantic reasoning capabilities but are not directly optimized for retrieval tasks. In this work, we present a simple yet effective framework to adapt MLLMs for NGCG via parameter-efficient finetuning. Our approach optimizes latent representations within the MLLM while preserving its pretrained multimodal knowledge, enabling strong cross-modal alignment without redesigning model architectures. Through systematic analysis of diverse variables, from model backbone to feature aggregation, we provide practical and generalizable insights for leveraging MLLMs in NGCG. Our method achieves SOTA on GeoText-1652 with a 12.2% improvement in Text-to-Image Recall@1 and secures top performance in 5 out of 12 subtasks on CVG-Text, all while surpassing baselines with far fewer trainable parameters. These results position MLLMs as a robust foundation for semantic cross-view retrieval and pave the way for MLLM-based NGCG to be adopted as a scalable, powerful alternative to traditional dual-encoder designs. Project page and code are available at https://yuqichen888.github.io/NGCG-MLLMs-web/.
• Abstract（参考訳）: 自然言語ガイド クロスビュー ジオローカライゼーション (NGCG) は、地上のシーンのテキスト記述を用いて、ジオタグ付き衛星画像を取得することを目的としている。 最近のNGCG法は一般的にCLIPスタイルのデュアルエンコーダアーキテクチャに依存しているが、しばしばクロスモーダルな一般化に悩まされ、複雑なアーキテクチャ設計を必要とする。 対照的に、MLLM(Multimodal Large Language Models)は強力なセマンティック推論機能を提供するが、検索タスクに直接最適化されていない。 本研究では,パラメータ効率の微調整により,NGCGにMLLMを適用するための簡易かつ効果的なフレームワークを提案する。 提案手法は,MLLM内の潜在表現を最適化し,事前訓練したマルチモーダル知識を保ちながら,モデルアーキテクチャを再設計することなく強力なクロスモーダルアライメントを実現する。 モデルバックボーンから特徴集約までの多様な変数の体系的解析を通じて、NGCGにおけるMLLMの活用のための実用的で一般化可能な洞察を提供する。 本手法はGeoText-1652のSOTAを12.2%改善し,CVG-Textの12サブタスク中5サブタスクでトップパフォーマンスを確保する。 これらの結果はMLLMをセマンティック・クロスビュー検索の堅牢な基盤として位置づけ、従来のデュアルエンコーダ設計に代わるスケーラブルで強力な代替手段としてMLLMベースのNGCGを採用するための道を開いた。 プロジェクトページとコードはhttps://yuqichen888.github.io/NGCG-MLLMs-web/で公開されている。

関連論文リスト

• Learning Trajectory-Aware Multimodal Large Language Models for Video Reasoning Segmentation [55.743701532984126]
  我々はTrajSegを提案する。TrajSegはマルチモーダル大規模言語モデル上に構築されたシンプルで統一されたフレームワークである。 本研究では,MLLMが接頭辞(テキスト・トゥ・トラジェクティブ)と接頭辞(テキスト・トゥ・テキスト)の指示を受理する双方向テキスト・トラジェクティブアライメントを提案する。 このようにして、MLLMは、ビデオの対応性の向上と、より知覚的なオブジェクトの軌跡の恩恵を受けることができる。
  論文  参考訳（メタデータ） (2026-03-23T02:25:51Z)
• Towards Pixel-Level VLM Perception via Simple Points Prediction [27.271487302305726]
  マルチモーダル大規模言語モデル(MLLM)をネイティブなピクセルレベルの知覚で実現するための,極めて単純かつ高効率なアプローチであるSimpleSegを提案する。 提案手法は分割を単純なシーケンス生成問題として再設定し,そのモデルがポイントのシーケンスを直接予測する。 標準のMLLMアーキテクチャは、特別なアーキテクチャを使わずにアンロックできるような、低レベルの知覚に強く固有の能力を持っていることが判明した。
  論文  参考訳（メタデータ） (2026-01-27T05:50:40Z)
• From One-to-One to Many-to-Many: Dynamic Cross-Layer Injection for Deep Vision-Language Fusion [91.35078719566472]
  VLM(Vision-Language Models)は、粗い非対称接続を使用することで、深刻な視覚的特徴のボトルネックを生み出す。 CLI(Cross-Layer Injection)は,2つのモダリティの間に動的に多対多の橋を架ける,斬新で軽量なフレームワークである。
  論文  参考訳（メタデータ） (2026-01-15T18:59:10Z)
• Thinking With Bounding Boxes: Enhancing Spatio-Temporal Video Grounding via Reinforcement Fine-Tuning [41.30900315121155]
  マルチモーダル大言語モデル(LM)は、トレーニング目的のミスアライメントと、標準のビジュアルエンコーダにおける微粒な微粒化アライメントの弱さにより、STVGでは性能が劣る。 本稿では,STVG-o1を提案する。STVG-o1は,市販のMLLMがアーキテクチャ変更なしにリアルタイムのSTVG性能を実現するための最初のフレームワークである。
  論文  参考訳（メタデータ） (2025-11-26T13:21:15Z)
• Spatial Preference Rewarding for MLLMs Spatial Understanding [92.25703021388142]
  マルチモーダル大言語モデル (MLLM) は, 有望な空間理解能力を示した。 彼らの成功にもかかわらず、MLLMは依然として微粒な空間知覚能力に不足している。 本稿では,MLLMの空間能力を高めるSPR(Spatial Preference Rewarding)アプローチを提案する。
  論文  参考訳（メタデータ） (2025-10-16T07:16:18Z)
• New Dataset and Methods for Fine-Grained Compositional Referring Expression Comprehension via Specialist-MLLM Collaboration [49.180693704510006]
  Referring Expression (REC) は、言語理解、画像理解、言語と画像の接点の相互作用を評価するためのクロスモーダルなタスクである。 MLLM(Multimodal Large Language Models)の試験場として機能する。
  論文  参考訳（メタデータ） (2025-02-27T13:58:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。