論文の概要: GLEAM: Learning to Match and Explain in Cross-View Geo-Localization

• arxiv url: http://arxiv.org/abs/2509.07450v1
• Date: Tue, 09 Sep 2025 07:14:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-10 14:38:27.20008
• Title: GLEAM: Learning to Match and Explain in Cross-View Geo-Localization
• Title（参考訳）: GLEAM: クロスビューなジオローカライゼーションにおけるマッチングと説明の学習
• Authors: Xudong Lu, Zhi Zheng, Yi Wan, Yongxiang Yao, Annan Wang, Renrui Zhang, Panwang Xia, Qiong Wu, Qingyun Li, Weifeng Lin, Xiangyu Zhao, Xue Yang, Hongsheng Li,
• Abstract要約: CVGL(Cross-View Geo-Localization)は、同じ地理的位置の異なる視点から撮影された画像間の対応を識別することに焦点を当てている。 GLEAM-Cは、UAV画像、ストリートマップ、パノラマ画像、地上写真を含む複数のビューとモダリティを衛星画像のみに合わせる基本CVGLモデルである。 従来のCVGL手法では解釈可能性の欠如に対処するため,クロスビュー対応予測と説明可能な推論を組み合わせたGLEAM-Xを提案する。
• 参考スコア（独自算出の注目度）: 67.47128781638291
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-View Geo-Localization (CVGL) focuses on identifying correspondences between images captured from distinct perspectives of the same geographical location. However, existing CVGL approaches are typically restricted to a single view or modality, and their direct visual matching strategy lacks interpretability: they merely predict whether two images correspond, without explaining the rationale behind the match. In this paper, we present GLEAM-C, a foundational CVGL model that unifies multiple views and modalities-including UAV imagery, street maps, panoramic views, and ground photographs-by aligning them exclusively with satellite imagery. Our framework enhances training efficiency through optimized implementation while achieving accuracy comparable to prior modality-specific CVGL models through a two-phase training strategy. Moreover, to address the lack of interpretability in traditional CVGL methods, we leverage the reasoning capabilities of multimodal large language models (MLLMs) to propose a new task, GLEAM-X, which combines cross-view correspondence prediction with explainable reasoning. To support this task, we construct a bilingual benchmark using GPT-4o and Doubao-1.5-Thinking-Vision-Pro to generate training and testing data. The test set is further refined through detailed human revision, enabling systematic evaluation of explainable cross-view reasoning and advancing transparency and scalability in geo-localization. Together, GLEAM-C and GLEAM-X form a comprehensive CVGL pipeline that integrates multi-modal, multi-view alignment with interpretable correspondence analysis, unifying accurate cross-view matching with explainable reasoning and advancing Geo-Localization by enabling models to better Explain And Match. Code and datasets used in this work will be made publicly accessible at https://github.com/Lucky-Lance/GLEAM.
• Abstract（参考訳）: CVGL(Cross-View Geo-Localization)は、同じ地理的位置の異なる視点から撮影された画像間の対応を識別することに焦点を当てている。 しかし、既存のCVGLアプローチは一般的に単一のビューやモダリティに制限されており、それらの直接的な視覚的マッチング戦略は解釈可能性に欠ける。 本稿では、UAV画像、ストリートマップ、パノラマ画像、地上写真を含む複数のビューとモダリティを衛星画像のみに合わせる基本CVGLモデルであるGLEAM-Cを提案する。 本フレームワークは,2段階のトレーニング戦略により,事前のモダリティ特化CVGLモデルに匹敵する精度を達成しつつ,最適化実装によるトレーニング効率を向上させる。 さらに,従来のCVGL手法における解釈可能性の欠如に対処するために,多モーダル大言語モデル(MLLM)の推論機能を活用して,クロスビュー対応予測と説明可能な推論を組み合わせた新しいタスクGLEAM-Xを提案する。 このタスクを支援するために,GPT-4o と Doubao-1.5-Thinking-Vision-Pro を用いてバイリンガルベンチマークを構築し,トレーニングデータとテストデータを生成する。 テストセットは詳細なヒューマンリビジョンによってさらに洗練され、説明可能なクロスビュー推論の体系的評価が可能となり、ジオローカライゼーションにおける透明性とスケーラビリティが向上する。 GLEAM-CとGLEAM-Xは総合的なCVGLパイプラインを形成し、マルチモーダル・マルチビューアライメントを解釈可能な対応解析と統合し、説明可能な推論と正確なクロスビューマッチングを統一し、モデルの説明とマッチングを改善することでジオローカライゼーションを前進させる。 この作業で使用されるコードとデータセットはhttps://github.com/Lucky-Lance/GLEAMで公開されている。

関連論文リスト

• Interpretable Zero-Shot Learning with Locally-Aligned Vision-Language Model [56.573203512455706]
  大規模視覚言語モデル(VLM)は、大規模視覚テキストペアデータセットを活用することでゼロショット学習(ZSL)において顕著な成功を収めた。 この問題に対処する1つのアプローチは、言語を統合することで解釈可能なモデルを開発することである。 本稿では,ZSLを解釈可能な言語モデルであるLaZSLを提案する。
  論文  参考訳（メタデータ） (2025-06-30T13:14:46Z)
• OSMLoc: Single Image-Based Visual Localization in OpenStreetMap with Fused Geometric and Semantic Guidance [20.043977909592115]
  OSMLocは、OpenStreetMapマップに対するファーストパーソナライズされたイメージに基づく、脳にインスパイアされた視覚的ローカライゼーションアプローチである。 意味的および幾何学的ガイダンスを統合し、精度、堅牢性、一般化能力を大幅に改善する。
  論文  参考訳（メタデータ） (2024-11-13T14:59:00Z)
• Swarm Intelligence in Geo-Localization: A Multi-Agent Large Vision-Language Model Collaborative Framework [51.26566634946208]
  smileGeoは、新しい視覚的ジオローカライゼーションフレームワークである。 エージェント間のコミュニケーションによって、SmithGeoはこれらのエージェントの固有の知識と、検索された情報を統合する。 その結果,本手法は現在の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-08-21T03:31:30Z)
• GOMAA-Geo: GOal Modality Agnostic Active Geo-localization [49.599465495973654]
  エージェントが空中ナビゲーション中に観測された一連の視覚的手がかりを用いて、複数の可能なモダリティによって特定されたターゲットを見つけるという、アクティブなジオローカライゼーション(AGL)の課題を考察する。 GOMAA-Geo は、ゴールモダリティ間のゼロショット一般化のためのゴールモダリティアクティブなジオローカライゼーションエージェントである。
  論文  参考訳（メタデータ） (2024-06-04T02:59:36Z)
• Unleashing Unlabeled Data: A Paradigm for Cross-View Geo-Localization [28.941724648519102]
  本稿では,大規模クロスビュー・ジオローカライゼーション(CVGL)におけるラベルなしデータの有効利用について検討する。 CVGLの一般的なアプローチは、地上衛星画像ペアに依存し、ラベル駆動型教師付きトレーニングを採用する。 本稿では,初期擬似ラベルを検索するためのモデルを案内するクロスビュープロジェクションを含む教師なしフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-21T07:48:35Z)
• Image2Sentence based Asymmetrical Zero-shot Composed Image Retrieval [92.13664084464514]
  合成画像検索(CIR)の課題は,検索画像とユーザの意図を記述したテキストに基づいて画像を取得することである。 既存の手法は、CIRタスクにおける高度な大規模視覚言語(VL)モデルにおいて大きな進歩を遂げているが、それらは一般的に、モデルトレーニングのためのラベル付き三重項の欠如とリソース制限された環境への展開の困難という2つの大きな問題に悩まされている。 本稿では、VLモデルを利用して合成学習のためのラベルなし画像のみに依存する画像2Sentenceに基づく非対称ゼロショット合成画像検索(ISA)を提案する。
  論文  参考訳（メタデータ） (2024-03-03T07:58:03Z)
• Co-visual pattern augmented generative transformer learning for automobile geo-localization [12.449657263683337]
  クロスビュージオローカライゼーション(CVGL)は、地上カメラの地理的位置を、巨大なジオタグ付き空中画像とマッチングすることによって推定することを目的としている。 CVGLのための相互生成型トランスフォーマー学習(MGTL)という,トランスフォーマーと組み合わせたクロスビュー知識生成技術を用いた新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-17T07:29:02Z)
• PGL: Prior-Guided Local Self-supervised Learning for 3D Medical Image Segmentation [87.50205728818601]
  本稿では,潜在特徴空間における局所的一貫性を学習するPGL(PresideedGuided Local)自己教師モデルを提案する。 我々のPGLモデルは、局所領域の特異な表現を学習し、したがって構造情報を保持できる。
  論文  参考訳（メタデータ） (2020-11-25T11:03:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。