論文の概要: GeoLLM: Extracting Geospatial Knowledge from Large Language Models
- arxiv url: http://arxiv.org/abs/2310.06213v2
- Date: Sat, 24 Feb 2024 16:11:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 19:07:34.162880
- Title: GeoLLM: Extracting Geospatial Knowledge from Large Language Models
- Title(参考訳): geollm: 大きな言語モデルから地理空間知識を抽出する
- Authors: Rohin Manvi, Samar Khanna, Gengchen Mai, Marshall Burke, David Lobell,
Stefano Ermon
- Abstract要約: 大規模言語モデルから地理空間的知識を効果的に抽出する新しい手法であるGeoLLMを提案する。
我々は、人口密度や経済生活の計測など、国際社会への関心の中心となる複数の課題にまたがるアプローチの有用性を実証する。
実験の結果, LLMは試料効率が高く, 地理空間情報に富み, 世界中のロバストであることがわかった。
- 参考スコア(独自算出の注目度): 49.20315582673223
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The application of machine learning (ML) in a range of geospatial tasks is
increasingly common but often relies on globally available covariates such as
satellite imagery that can either be expensive or lack predictive power. Here
we explore the question of whether the vast amounts of knowledge found in
Internet language corpora, now compressed within large language models (LLMs),
can be leveraged for geospatial prediction tasks. We first demonstrate that
LLMs embed remarkable spatial information about locations, but naively querying
LLMs using geographic coordinates alone is ineffective in predicting key
indicators like population density. We then present GeoLLM, a novel method that
can effectively extract geospatial knowledge from LLMs with auxiliary map data
from OpenStreetMap. We demonstrate the utility of our approach across multiple
tasks of central interest to the international community, including the
measurement of population density and economic livelihoods. Across these tasks,
our method demonstrates a 70% improvement in performance (measured using
Pearson's $r^2$) relative to baselines that use nearest neighbors or use
information directly from the prompt, and performance equal to or exceeding
satellite-based benchmarks in the literature. With GeoLLM, we observe that
GPT-3.5 outperforms Llama 2 and RoBERTa by 19% and 51% respectively, suggesting
that the performance of our method scales well with the size of the model and
its pretraining dataset. Our experiments reveal that LLMs are remarkably
sample-efficient, rich in geospatial information, and robust across the globe.
Crucially, GeoLLM shows promise in mitigating the limitations of existing
geospatial covariates and complementing them well. Code is available on the
project website: https://rohinmanvi.github.io/GeoLLM
- Abstract(参考訳): 様々な地理空間タスクにおける機械学習(ml)の応用は、ますます一般的になっているが、しばしば、費用のかかる衛星画像や予測能力の欠如といった世界的な共変量に依存する。
本稿では,現在大規模言語モデル(llm)に圧縮されているインターネット言語コーパスに含まれる膨大な知識が,地理空間予測タスクに活用できるかどうかを考察する。
まず, LLMが位置に関する顕著な空間情報を埋め込んでいることを実証するが, 地理的座標だけでは, 人口密度などの重要な指標を予測するのに有効ではない。
次に,openstreetmap から補助地図データを用いて llm から地理空間知識を効果的に抽出する手法 geollm を提案する。
我々は、人口密度や経済生活の計測など、国際社会への関心の中心となる複数の課題にまたがるアプローチの有用性を実証する。
これらの課題を通して,本手法は,近辺のユーザやプロンプトから直接情報を利用するベースラインと比較して70%の改善(pearsonの$r^2$を用いて測定)し,文献における衛星ベースのベンチマークと同等かそれ以上の性能を示す。
GeoLLM では GPT-3.5 が Llama 2 と RoBERTa を 19% と 51% で上回り,本手法の性能はモデルのサイズや事前学習データセットとよく一致している。
実験の結果, LLMは試料効率が高く, 地理空間情報に富み, 世界中のロバストであることがわかった。
重要なことは、GeoLLMは既存の地理空間共変体の制限を緩和し、それらをうまく補うことを約束している。
コードはプロジェクトのwebサイトで入手できる。 https://rohinmanvi.github.io/geollm
関連論文リスト
- Are Large Language Models Geospatially Knowledgeable? [21.401931052512595]
本稿では,Large Language Models (LLM) で符号化された地理空間的知識,認識,推論能力の程度について検討する。
自己回帰言語モデルに焦点をあて, (i) 地理座標系におけるLLMの探索と地理空間知識の評価, (ii) 地理空間的および非地理空間的前置法を用いて地理空間的意識を測定する, (iii) 多次元スケーリング(MDS) 実験を用いて, モデルの地理空間的推論能力を評価する, 実験手法を考案した。
論文 参考訳(メタデータ) (2023-10-09T17:20:11Z) - GeoCLIP: Clip-Inspired Alignment between Locations and Images for
Effective Worldwide Geo-localization [61.10806364001535]
世界規模のジオローカライゼーションは、地球上のどこでも撮影された画像の正確な位置を特定することを目的としている。
既存のアプローチは、地球を離散的な地理的細胞に分割し、問題を分類タスクに変換する。
画像と対応するGPS位置のアライメントを強制する新しいCLIPにインスパイアされた画像-GPS検索手法であるGeoCLIPを提案する。
論文 参考訳(メタデータ) (2023-09-27T20:54:56Z) - Geo-Encoder: A Chunk-Argument Bi-Encoder Framework for Chinese
Geographic Re-Ranking [61.60169764507917]
中国の地理的再ランクタスクは、検索された候補者の中で最も関連性の高い住所を見つけることを目的としている。
そこで我々は,中国語の地理的意味論をより効果的に統合する,革新的なフレームワークであるGeo-Encoderを提案する。
論文 参考訳(メタデータ) (2023-09-04T13:44:50Z) - GeoGPT: Understanding and Processing Geospatial Tasks through An
Autonomous GPT [6.618846295332767]
GISの意思決定者は、空間的タスクを解決するために、一連の空間的アルゴリズムと演算を組み合わせる必要がある。
我々は,地理空間データ収集,処理,解析を自律的に行うことのできるGeoGPTと呼ばれる新しいフレームワークを開発した。
論文 参考訳(メタデータ) (2023-07-16T03:03:59Z) - K2: A Foundation Language Model for Geoscience Knowledge Understanding
and Utilization [105.89544876731942]
大規模言語モデル(LLM)は自然言語処理の一般分野において大きな成功を収めている。
我々は、地球科学におけるLLM研究をさらに促進するために開発された一連の資源とともに、地球科学における最初のLLMであるK2を提示する。
論文 参考訳(メタデータ) (2023-06-08T09:29:05Z) - MGeo: Multi-Modal Geographic Pre-Training Method [49.78466122982627]
マルチモーダルジオグラフィック言語モデル(MGeo)を提案する。
MGeoはGCを新しいモダリティとして表現し、正確なクエリ-POIマッチングのためのマルチモーダル相関を完全に抽出することができる。
提案するマルチモーダル事前学習法は,汎用PTMのクエリ-POIマッチング能力を大幅に向上させることができる。
論文 参考訳(メタデータ) (2023-01-11T03:05:12Z) - Geographic Adaptation of Pretrained Language Models [29.81557992080902]
マルチタスク学習環境において,言語モデリングと位置情報予測を併用する中間学習ステップであるジオアダプテーションを導入する。
ジオアダプテーションの有効性は、事前訓練された言語モデルの表現空間を地理的に再現する能力に起因していることを示す。
論文 参考訳(メタデータ) (2022-03-16T11:55:00Z) - OpenStreetMap: Challenges and Opportunities in Machine Learning and
Remote Sensing [66.23463054467653]
本稿では,OpenStreetMapデータの改良と利用のための機械学習に基づく最近の手法について述べる。
私たちは、OSMがリモートセンシングデータの解釈方法を変え、機械学習とのシナジーが参加型マップ作成をスケールできると考えている。
論文 参考訳(メタデータ) (2020-07-13T09:58:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。