Fugu-MT 論文翻訳(概要): Street-Level Geolocalization Using Multimodal Large Language Models and Retrieval-Augmented Generation

論文の概要: Street-Level Geolocalization Using Multimodal Large Language Models and Retrieval-Augmented Generation

arxiv url: http://arxiv.org/abs/2509.01341v1
Date: Mon, 01 Sep 2025 10:23:48 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-04 15:17:03.646597
Title: Street-Level Geolocalization Using Multimodal Large Language Models and Retrieval-Augmented Generation
Title（参考訳）: マルチモーダル大言語モデルと検索拡張生成を用いた街路レベルジオローカライゼーション
Authors: Yunus Serhat Bicakci, Joseph Shingleton, Anahid Basiri,
Abstract要約: 画像からのストリートレベルの地理的ローカライゼーションは、ナビゲーション、位置ベースレコメンデーション、都市計画など、幅広いアプリケーションやサービスにとって不可欠である。本稿では,オープンウェイトおよびパブリックアクセス可能なマルチモーダルな大規模言語モデルと検索強化世代を統合した新しいアプローチを提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Street-level geolocalization from images is crucial for a wide range of essential applications and services, such as navigation, location-based recommendations, and urban planning. With the growing popularity of social media data and cameras embedded in smartphones, applying traditional computer vision techniques to localize images has become increasingly challenging, yet highly valuable. This paper introduces a novel approach that integrates open-weight and publicly accessible multimodal large language models with retrieval-augmented generation. The method constructs a vector database using the SigLIP encoder on two large-scale datasets (EMP-16 and OSV-5M). Query images are augmented with prompts containing both similar and dissimilar geolocation information retrieved from this database before being processed by the multimodal large language models. Our approach has demonstrated state-of-the-art performance, achieving higher accuracy compared against three widely used benchmark datasets (IM2GPS, IM2GPS3k, and YFCC4k). Importantly, our solution eliminates the need for expensive fine-tuning or retraining and scales seamlessly to incorporate new data sources. The effectiveness of retrieval-augmented generation-based multimodal large language models in geolocation estimation demonstrated by this paper suggests an alternative path to the traditional methods which rely on the training models from scratch, opening new possibilities for more accessible and scalable solutions in GeoAI.
Abstract（参考訳）: 画像からのストリートレベルの地理的ローカライゼーションは、ナビゲーション、位置ベースレコメンデーション、都市計画など、幅広いアプリケーションやサービスにとって不可欠である。スマートフォンに埋め込まれたソーシャルメディアデータやカメラの普及に伴い、画像のローカライズに伝統的なコンピュータビジョン技術を適用することはますます困難になっているが、非常に価値が高い。本稿では,オープンウェイトおよびパブリックアクセス可能なマルチモーダルな大規模言語モデルと検索強化世代を統合した新しいアプローチを提案する。本手法は,2つの大規模データセット(EMP-16とOSV-5M)上でSigLIPエンコーダを用いてベクトルデータベースを構築する。クエリイメージは、マルチモーダルな大言語モデルによって処理される前に、このデータベースから取得した類似および異種位置情報の両方を含むプロンプトで拡張される。我々の手法は最先端の性能を示し、広く使われている3つのベンチマークデータセット(IM2GPS, IM2GPS3k, YFCC4k)と比較して精度が高い。重要なことは、我々のソリューションは高価な微調整や再訓練の必要性をなくし、シームレスに新しいデータソースを組み込む。本論文は,ジオAIの学習モデルをスクラッチから構築し,よりアクセシブルでスケーラブルなソリューションに新たな可能性を開く,従来の手法に代わる方法を提案する。

論文の概要: Street-Level Geolocalization Using Multimodal Large Language Models and Retrieval-Augmented Generation

関連論文リスト