論文の概要: Geo-Embed: Towards Unified Multimodal Embeddings for Urban Understanding
- arxiv url: http://arxiv.org/abs/2608.03826v1
- Date: Tue, 04 Aug 2026 15:36:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:23.269341
- Title: Geo-Embed: Towards Unified Multimodal Embeddings for Urban Understanding
- Title（参考訳）: ジオ埋め込み:都市理解のための統一型マルチモーダル埋め込みを目指して
- Abstract要約: 大規模なマルチモーダル埋め込みベンチマークであるGeoMEBを紹介する。
提案するGeo-Embedは、共通ビジョン言語バックボーンを命令条件付きクエリターゲットマッチングに適応させる統合埋め込みモデルである。
結果は,明示的なクエリターゲット関係に関するトレーニングと評価を組織する将来的な地理空間埋め込みを動機付けている。
- 参考スコア（独自算出の注目度）: 18.530343758279493
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Geospatial and urban applications increasingly require models to compare heterogeneous evidence across street-view imagery, remote-sensing observations, text descriptions, region proposals, and temporal change cues. However, existing multimodal embedding models and benchmarks are still largely designed and evaluated around general-purpose image-text matching, leaving unclear whether unified embedding space can support heterogeneous geospatial tasks involving spatial relationships, fine-grained semantics, and temporal changes. To address this gap, we make three key contributions. First, we introduce GeoMEB, a large-scale multimodal embedding benchmark that standardizes 45 urban evaluation tasks across retrieval, visual question answering, change detection, classification, and visual grounding, together with training collections comprising 1.32M examples and 286K evaluation queries. Second, we present Geo-Embed, a unified embedding model that adapts a shared vision-language backbone to instruction-conditioned query-target matching over heterogeneous geospatial inputs, including single images, multiple images, text, regions, and masks. On GeoMEB, Geo-Embed achieves the strongest overall performance among representative multimodal embedders, with a 15.3% relative improvement over the strongest baseline. These results motivate future geospatial embedders that organize training and evaluation around explicit query-target relations, including semantic, cross-view, region-level, and temporal correspondence.
- Abstract（参考訳）: 地理空間的および都市的応用は、ストリートビュー画像、リモートセンシング観測、テキスト記述、地域提案、時間的変化の手がかりを含む異質な証拠を比較するモデルを必要としている。
しかし、既存のマルチモーダル埋め込みモデルとベンチマークは依然として汎用画像テキストマッチングを中心に設計・評価されており、統合埋め込み空間が空間関係、きめ細かい意味論、時間的変化を含む不均一な空間空間的タスクをサポートできるかどうかは不明である。
このギャップに対処するため、私たちは3つの重要な貢献をしています。
まず、検索、視覚的質問応答、変化検出、分類、視覚的グラウンド化を含む45の都市評価タスクを標準化する大規模マルチモーダル埋め込みベンチマークであるGeoMEBと、1.32Mサンプルと286K評価クエリからなるトレーニングコレクションを紹介する。
第二に、Geo-Embedは、単一の画像、複数画像、テキスト、リージョン、マスクを含む異種な地理空間入力に対する命令条件付きクエリターゲットマッチングに、共有視覚言語バックボーンを適応する統合埋め込みモデルである。
GeoMEBでは、Geo-Embedは最強のベースラインに対して15.3%の相対的な改善を施し、代表的マルチモーダル埋め込みの中で最も高い総合的なパフォーマンスを実現している。
これらの結果は、セマンティック、クロスビュー、地域レベル、時間対応を含む、明示的なクエリターゲット関係に関するトレーニングと評価を組織する将来の地理空間埋め込みを動機付けている。
関連論文リスト
- Textual Supervision Enhances Geospatial Representations in Vision-Language Models [47.5986642837928]
地理空間的理解は、機械学習システムの開発において決定的だが未解明の要素である。
視覚のみのアーキテクチャ(ViTなど)、視覚言語モデル(CLIPなど)、大規模マルチモーダル基盤モデル(LLaVA、Qwen、Gemmaなど)の3つのモデルファミリによって得られた空間的表現を分析する。
論文 参考訳（メタデータ） (2026-06-05T11:40:13Z) - Learning to Wander: Improving the Global Image Geolocation Ability of LMMs via Actionable Reasoning [72.13218601075958]
textbfWanderBenchは,具体的シナリオにおける行動可能な位置情報推論のための,最初のオープンアクセスグローバルジオロケーションベンチマークである。
我々は,下線Action of UnderlineThoughを用いた下線Geolocationフレームワークである textbfGeoAoT (Action of Thought) を提案する。
19個の大規模マルチモーダルモデルによる実験により、GeoAoTは動的環境におけるより優れた微細な局所化とより強力な一般化を実現することが示された。
論文 参考訳（メタデータ） (2026-03-11T06:24:10Z) - MMLANDMARKS: a Cross-View Instance-Level Benchmark for Geo-Spatial Understanding [4.493333639603517]
本稿では,高解像度空中画像197k,地上視画像329k,テキスト情報,地理的座標の4つの指標からなるマルチモーダルランドマークデータセット(MMLANDMARKS)を紹介する。
MMLANDMARKSデータセットは、すべてのモードにわたって1対1の対応を持ち、様々な地理空間的タスクのトレーニングとベンチマークモデルを可能にする。
論文 参考訳（メタデータ） (2025-12-19T12:03:05Z) - GeoViS: Geospatially Rewarded Visual Search for Remote Sensing Visual Grounding [23.253648429114236]
リモートセンシング視覚接地のためのプログレッシブ検索・推論フレームワークGeoViSを提案する。
我々はGeoViSが、主要な視覚的グラウンドリング指標を越えて既存の手法を一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2025-12-02T12:45:52Z) - GLEAM: Learning to Match and Explain in Cross-View Geo-Localization [66.11208984986813]
CVGL(Cross-View Geo-Localization)は、同じ地理的位置の異なる視点から撮影された画像間の対応を識別することに焦点を当てている。
GLEAM-Cは、UAV画像、ストリートマップ、パノラマ画像、地上写真を含む複数のビューとモダリティを衛星画像のみに合わせる基本CVGLモデルである。
従来のCVGL手法では解釈可能性の欠如に対処するため,クロスビュー対応予測と説明可能な推論を組み合わせたGLEAM-Xを提案する。
論文 参考訳（メタデータ） (2025-09-09T07:14:31Z) - GAIR: Improving Multimodal Geo-Foundation Model with Geo-Aligned Implicit Representations [5.439918212297177]
マルチモーダルなGeoFM開発における主要な課題は、モダリティ間の地理空間関係を明示的にモデル化することである。
オーバヘッドRSデータ,ストリートビュー画像,それらの位置情報メタデータを統合した,新しいマルチモーダルなGeoFMアーキテクチャであるGAIRを提案する。
GAIRは、RS画像ベース、SV画像ベース、位置埋め込みベースベンチマークにまたがる10の空間的タスクにまたがって評価される。
論文 参考訳（メタデータ） (2025-03-20T19:59:39Z) - GeoJEPA: Towards Eliminating Augmentation- and Sampling Bias in Multimodal Geospatial Learning [0.0]
自己教師型統合埋め込み予測アーキテクチャ上に構築された地理空間データのための多目的多モード融合モデルであるGeoJEPAを提案する。
我々は,自己教師付き地理空間表現学習において広く受け入れられている増分とサンプリングバイアスを排除することを目的としている。
その結果,都市域のマルチモーダルな意味表現と,定量的かつ質的に評価するマップエンティティが得られた。
論文 参考訳（メタデータ） (2025-02-25T22:03:28Z) - GEOBench-VLM: Benchmarking Vision-Language Models for Geospatial Tasks [84.86699025256705]
本稿では,地理空間的タスクの視覚言語モデル(VLM)を評価するためのベンチマークであるGEOBench-VLMを提案する。
私たちのベンチマークでは、手動で検証された命令が1万以上あり、さまざまな視覚条件、オブジェクトタイプ、スケールにまたがっています。
地理空間固有の課題における性能を評価するために,いくつかの最先端のVLMを評価した。
論文 参考訳（メタデータ） (2024-11-28T18:59:56Z) - Swarm Intelligence in Geo-Localization: A Multi-Agent Large Vision-Language Model Collaborative Framework [51.26566634946208]
smileGeoは、新しい視覚的ジオローカライゼーションフレームワークである。
エージェント間のコミュニケーションによって、SmithGeoはこれらのエージェントの固有の知識と、検索された情報を統合する。
その結果,本手法は現在の最先端手法よりも優れていた。
論文 参考訳（メタデータ） (2024-08-21T03:31:30Z) - CurriculumLoc: Enhancing Cross-Domain Geolocalization through
Multi-Stage Refinement [11.108860387261508]
ビジュアルジオローカライゼーションはコスト効率が高くスケーラブルなタスクであり、未知の場所で撮影された1つ以上のクエリイメージとジオタグ付き参照イメージのセットをマッチングする。
我々は,グローバルな意味認識と局所的幾何学的検証を備えたキーポイント検出と記述法であるCurriculumLocを開発した。
我々は、ALTOで62.6%と94.5%の新しいハイリコール@1スコアをそれぞれ2つの異なる距離で達成した。
論文 参考訳（メタデータ） (2023-11-20T08:40:01Z) - A General Purpose Neural Architecture for Geospatial Systems [142.43454584836812]
本稿では,空間的帰納バイアスを持つ汎用ニューラルアーキテクチャ(GPNA)の構築に向けたロードマップを示す。
このようなモデルがコミュニティのメンバー間の協力をいかに促進するかを考察する。
論文 参考訳（メタデータ） (2022-11-04T09:58:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。