論文の概要: What Words Keep of a Place: Zero-Shot Language Reasoning for Cross-View Geo-Localization
- arxiv url: http://arxiv.org/abs/2610.07269v1
- Date: Mon, 05 Oct 2026 19:11:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.610006
- Title: What Words Keep of a Place: Zero-Shot Language Reasoning for Cross-View Geo-Localization
- Title(参考訳): 場所の単語: クロスビューなジオローカライゼーションのためのゼロショット言語推論
- Abstract要約: 地上レベルの画像と衛星タイルのデータベースとをマッチングし、画像検索問題としてクロスビュージオローカライゼーションが一般的に解決される。
我々は,各地上パノラマと衛星タイルを構造化テキストとして記述するためにMLLM(Multimodal large language model)を推進し,これらの記述を比較してローカライズする。
我々は、米国4都市から9,826台のVIGORペアを3つの設定で評価した。
- 参考スコア(独自算出の注目度): 2.3284243982999615
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cross-view geo-localization is commonly solved as an image retrieval problem, matching a ground-level image against a database of satellite tiles through a jointly trained embedding. Such models are accurate, but they need large paired supervision and cannot show what evidence supports a match. In this paper, we study a different question: how much of this task can be solved through language alone? We prompt a multimodal large language model (MLLM) to describe each ground panorama and each satellite tile as structured text, and localize by comparing these descriptions. No component is trained. We evaluate on 9,826 VIGOR pairs from four U.S. cities, in three settings. First, the descriptions are faithful but not discriminative. They agree closely across the two views, yet ranking the full pool by description similarity almost never returns the correct tile (0.39% Recall@1). Second, we narrow the pool to ten neighboring tiles, as a coarse prior would do. The same descriptions now become useful: an MLLM judge that scores structural consistency doubles random ranking and matches a strong lexical baseline. It also states which fields of the two descriptions agree and which conflict, which an embedding distance cannot do, and which we see as a step toward interpretable localization. Third, we place the judge on a trained visual retriever. On the queries it ranks wrongly, reranking from images works, while reranking from our descriptions does not (23.5% against 10.7% Recall@1). Scene structure survives the conversion into language, while the fine appearance detail needed to separate nearby places does not. Code and prompts are publicly available at https://github.com/AyeshAbuLehyeh/GeoLingual.
- Abstract(参考訳): クロスビューなジオローカライゼーションは画像検索問題として一般的に解決されており、地上レベルの画像と衛星タイルのデータベースとのマッチングは共同で訓練された埋め込みによって行われる。
このようなモデルは正確であるが、大きなペアの監督が必要であり、どのエビデンスが一致を支持するかを示すことはできない。
本稿では,この課題のどれ程を言語単独で解決できるかという,別の問いについて検討する。
我々は,各地上パノラマと衛星タイルを構造化テキストとして記述するためにMLLM(Multimodal large language model)を推進し,これらの記述を比較してローカライズする。
コンポーネントはトレーニングされない。
我々は、米国4都市から9,826台のVIGORペアを3つの設定で評価した。
第一に、記述は忠実だが差別的ではない。
両者は2つの見解に密接に同意するが、説明の類似性によってフルプールのランク付けは、ほぼ決して正しいタイルを返すことはない(0.39%のRecall@1)。
第二に、プールを粗い前にしたように、隣のタイル10個に絞ります。
構造整合性を評価するMLLMジャッジはランダムランキングを2倍にし、強い語彙ベースラインと一致させる。
また、この2つの記述のどの分野が一致するか、どの衝突、どの埋め込み距離ができないか、そしてそれを解釈可能なローカライゼーションへのステップと見なす。
第3に、審査員を訓練されたビジュアルレトリバーに配置する。
クェリでは、誤ってランク付けされ、イメージからランク付けされるが、私たちの説明からランク付けされることはない(23.5%と10.7%のRecall@1に対して)。
シーン構造は言語への変換を生き残るが、近くの場所を分けるのに必要な細かい外観の細部はそうではない。
コードとプロンプトはhttps://github.com/AyeshAbuLehyeh/GeoLingual.comで公開されている。
関連論文リスト
- CoRef-GS: Cooperative Referring Gaussian Splatting for Multi-Agent Scene Understanding [61.37726020220854]
CoRef-GSはガウシアンスプレイティングフレームワークを参考にしている。
CoQuad-Refは、現実世界とシミュレーションされた屋内シーンの両方にまたがるベンチマークである。
論文 参考訳(メタデータ) (2026-09-17T15:39:25Z) - GeoContext: One Context Ladder, Two Failure Modes in Vision-Language Geolocation: Flat Reliance on User-Provided Location Context and False Confirmation of Location Claims [11.956914785193709]
GeoHintとGeoVerifyは、画像が主張された場所から150m以内で撮影されたかどうかのバイナリ検証である。
GeoContextは、距離と参照可能性に応じて近くの参照ポイントを階層化することでコンテキストはしごを構築する。
ベンチマークは30都市の109のサイトをカバーし、21,933のGeoHintレスポンスと6,270のGeoVerifyレスポンスを使用して5つのビジョン言語モデルを評価する。
論文 参考訳(メタデータ) (2026-09-04T22:52:31Z) - UniGeo: A Multi-modal Large Language Model for Text-Guided Cross-View Geo-Localization [32.10571115517362]
テキスト誘導型ドローンジオローカライゼーションは、自然言語による説明から、大規模画像ギャラリーでターゲット領域を特定することを目的としている。
テキスト誘導型ドローンジオローカライズのための統合マルチモーダル大言語モデル(MLLM)であるUniGeoを提案する。
論文 参考訳(メタデータ) (2026-08-27T07:13:35Z) - Vision-Language Grounding as Bidirectional Concept Correspondence [84.8022126995569]
視覚言語接地は、言語を視覚コンテンツに結びつける。
我々は、画像とテキストのペア上で、$textitbidirectional の概念対応としてグラウンドを定式化します。
我々は、事前訓練された視覚言語モデルの上に構築されたグラウンドモデルであるtextbfConCor-1$を紹介した。
論文 参考訳(メタデータ) (2026-08-08T03:26:38Z) - TOL: Textual Localization with OpenStreetMap [22.592886321477554]
OpenStreetMap (OSM)は、リッチな意味と構造情報をエンコードするコンパクトで自由なマップ表現を提供する。
都市環境における2自由度(DoF)の正確な位置推定を目的としたT2Oグローバルローカライゼーションタスクを定式化する。
提案課題を支援するため,複数の大陸と多様な都市環境にまたがる大規模ベンチマークTOLを紹介する。
論文 参考訳(メタデータ) (2026-04-02T05:43:07Z) - VLM2GeoVec: Toward Universal Multimodal Embeddings for Remote Sensing [59.73939718087177]
シングルエンコーダの視覚言語モデルは、統合ベクトル空間にインターリーブされた入力を埋め込むために対照的に訓練された。
VLM2GeoVecは、領域レベルの空間推論とスケーラブルな検索を統合し、リモートセンシングにおける凝集性多モード解析を可能にする。
論文 参考訳(メタデータ) (2025-12-12T11:39:35Z) - GLEAM: Learning to Match and Explain in Cross-View Geo-Localization [66.11208984986813]
CVGL(Cross-View Geo-Localization)は、同じ地理的位置の異なる視点から撮影された画像間の対応を識別することに焦点を当てている。
GLEAM-Cは、UAV画像、ストリートマップ、パノラマ画像、地上写真を含む複数のビューとモダリティを衛星画像のみに合わせる基本CVGLモデルである。
従来のCVGL手法では解釈可能性の欠如に対処するため,クロスビュー対応予測と説明可能な推論を組み合わせたGLEAM-Xを提案する。
論文 参考訳(メタデータ) (2025-09-09T07:14:31Z) - Where am I? Cross-View Geo-localization with Natural Language Descriptions [19.041103952139178]
クロスビュージオローカライゼーションは、ジオタグ付き衛星画像やOSMとマッチングすることで、ストリートビュー画像の位置を特定する。
本稿では,シーンテキスト記述に基づいて,対応する衛星画像やOSMデータベースを検索することを目的とした,自然言語記述を用いたクロスビュージオローカライズのための新しいタスクを提案する。
論文 参考訳(メタデータ) (2024-12-22T13:13:10Z) - Where We Are and What We're Looking At: Query Based Worldwide Image
Geo-localization Using Hierarchies and Scenes [53.53712888703834]
地理的レベルの異なる関係を利用して、エンドツーエンドのトランスフォーマーベースのアーキテクチャを導入する。
4つの標準ジオローカライゼーションデータセット上で,アートストリートレベルの精度を実現する。
論文 参考訳(メタデータ) (2023-03-07T21:47:58Z) - Map-free Visual Relocalization: Metric Pose Relative to a Single Image [21.28513803531557]
本研究では,シーンの1枚の写真のみを用いて,地図のない再ローカライズを提案し,即時でスケールした再ローカライズを実現する。
既存のデータセットは、大きなシーンや限られた変数に焦点を当てているため、マップのない再ローカライゼーションのベンチマークには適していない。
我々は,世界規模で収集された彫刻,壁画,噴水など,655箇所の小さな関心事のデータセットを構築した。
論文 参考訳(メタデータ) (2022-10-11T14:49:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。