論文の概要: GeoLLM: Extracting Geospatial Knowledge from Large Language Models

• arxiv url: http://arxiv.org/abs/2310.06213v2
• Date: Sat, 24 Feb 2024 16:11:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 19:07:34.162880
• Title: GeoLLM: Extracting Geospatial Knowledge from Large Language Models
• Title（参考訳）: geollm: 大きな言語モデルから地理空間知識を抽出する
• Authors: Rohin Manvi, Samar Khanna, Gengchen Mai, Marshall Burke, David Lobell, Stefano Ermon
• Abstract要約: 大規模言語モデルから地理空間的知識を効果的に抽出する新しい手法であるGeoLLMを提案する。 我々は、人口密度や経済生活の計測など、国際社会への関心の中心となる複数の課題にまたがるアプローチの有用性を実証する。 実験の結果, LLMは試料効率が高く, 地理空間情報に富み, 世界中のロバストであることがわかった。
• 参考スコア（独自算出の注目度）: 49.20315582673223
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The application of machine learning (ML) in a range of geospatial tasks is increasingly common but often relies on globally available covariates such as satellite imagery that can either be expensive or lack predictive power. Here we explore the question of whether the vast amounts of knowledge found in Internet language corpora, now compressed within large language models (LLMs), can be leveraged for geospatial prediction tasks. We first demonstrate that LLMs embed remarkable spatial information about locations, but naively querying LLMs using geographic coordinates alone is ineffective in predicting key indicators like population density. We then present GeoLLM, a novel method that can effectively extract geospatial knowledge from LLMs with auxiliary map data from OpenStreetMap. We demonstrate the utility of our approach across multiple tasks of central interest to the international community, including the measurement of population density and economic livelihoods. Across these tasks, our method demonstrates a 70% improvement in performance (measured using Pearson's $r^2$) relative to baselines that use nearest neighbors or use information directly from the prompt, and performance equal to or exceeding satellite-based benchmarks in the literature. With GeoLLM, we observe that GPT-3.5 outperforms Llama 2 and RoBERTa by 19% and 51% respectively, suggesting that the performance of our method scales well with the size of the model and its pretraining dataset. Our experiments reveal that LLMs are remarkably sample-efficient, rich in geospatial information, and robust across the globe. Crucially, GeoLLM shows promise in mitigating the limitations of existing geospatial covariates and complementing them well. Code is available on the project website: https://rohinmanvi.github.io/GeoLLM
• Abstract（参考訳）: 様々な地理空間タスクにおける機械学習(ml)の応用は、ますます一般的になっているが、しばしば、費用のかかる衛星画像や予測能力の欠如といった世界的な共変量に依存する。 本稿では,現在大規模言語モデル(llm)に圧縮されているインターネット言語コーパスに含まれる膨大な知識が,地理空間予測タスクに活用できるかどうかを考察する。 まず, LLMが位置に関する顕著な空間情報を埋め込んでいることを実証するが, 地理的座標だけでは, 人口密度などの重要な指標を予測するのに有効ではない。 次に,openstreetmap から補助地図データを用いて llm から地理空間知識を効果的に抽出する手法 geollm を提案する。 我々は、人口密度や経済生活の計測など、国際社会への関心の中心となる複数の課題にまたがるアプローチの有用性を実証する。 これらの課題を通して,本手法は,近辺のユーザやプロンプトから直接情報を利用するベースラインと比較して70%の改善(pearsonの$r^2$を用いて測定)し,文献における衛星ベースのベンチマークと同等かそれ以上の性能を示す。 GeoLLM では GPT-3.5 が Llama 2 と RoBERTa を 19% と 51% で上回り,本手法の性能はモデルのサイズや事前学習データセットとよく一致している。 実験の結果, LLMは試料効率が高く, 地理空間情報に富み, 世界中のロバストであることがわかった。 重要なことは、GeoLLMは既存の地理空間共変体の制限を緩和し、それらをうまく補うことを約束している。 コードはプロジェクトのwebサイトで入手できる。 https://rohinmanvi.github.io/geollm

関連論文リスト

• An LLM Agent for Automatic Geospatial Data Analysis [5.842462214442362]
  大規模言語モデル(LLM)は、データサイエンスコード生成タスクで使われている。 複雑なデータ構造と空間的制約を組み込むのが困難であるため,空間空間データ処理への応用は困難である。 ジオアジェント(GeoAgent)は,LLMが地理空間データ処理をより効率的に処理できるように設計された対話型フレームワークである。
  論文  参考訳（メタデータ） (2024-10-24T14:47:25Z)
• Swarm Intelligence in Geo-Localization: A Multi-Agent Large Vision-Language Model Collaborative Framework [51.26566634946208]
  smileGeoは、新しい視覚的ジオローカライゼーションフレームワークである。 エージェント間のコミュニケーションによって、SmithGeoはこれらのエージェントの固有の知識と、検索された情報を統合する。 その結果,本手法は現在の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-08-21T03:31:30Z)
• Where on Earth Do Users Say They Are?: Geo-Entity Linking for Noisy Multilingual User Input [2.516307239032451]
  本稿では,実世界の位置情報をラベル付きユーザ・インプット・ロケーション名から平均的な埋め込みとして表現する手法を提案する。 本稿では,グローバルおよび多言語ソーシャルメディアデータセット上でのジオエンタリティリンクの改善について述べる。
  論文  参考訳（メタデータ） (2024-04-29T15:18:33Z)
• Are Large Language Models Geospatially Knowledgeable? [21.401931052512595]
  本稿では,Large Language Models (LLM) で符号化された地理空間的知識,認識,推論能力の程度について検討する。 自己回帰言語モデルに焦点をあて, (i) 地理座標系におけるLLMの探索と地理空間知識の評価, (ii) 地理空間的および非地理空間的前置法を用いて地理空間的意識を測定する, (iii) 多次元スケーリング(MDS) 実験を用いて, モデルの地理空間的推論能力を評価する, 実験手法を考案した。
  論文  参考訳（メタデータ） (2023-10-09T17:20:11Z)
• GeoCLIP: Clip-Inspired Alignment between Locations and Images for Effective Worldwide Geo-localization [61.10806364001535]
  世界規模のジオローカライゼーションは、地球上のどこでも撮影された画像の正確な位置を特定することを目的としている。 既存のアプローチは、地球を離散的な地理的細胞に分割し、問題を分類タスクに変換する。 画像と対応するGPS位置のアライメントを強制する新しいCLIPにインスパイアされた画像-GPS検索手法であるGeoCLIPを提案する。
  論文  参考訳（メタデータ） (2023-09-27T20:54:56Z)
• Geo-Encoder: A Chunk-Argument Bi-Encoder Framework for Chinese Geographic Re-Ranking [61.60169764507917]
  中国の地理的再ランクタスクは、検索された候補者の中で最も関連性の高い住所を見つけることを目的としている。 そこで我々は,中国語の地理的意味論をより効果的に統合する,革新的なフレームワークであるGeo-Encoderを提案する。
  論文  参考訳（メタデータ） (2023-09-04T13:44:50Z)
• K2: A Foundation Language Model for Geoscience Knowledge Understanding and Utilization [105.89544876731942]
  大規模言語モデル(LLM)は自然言語処理の一般分野において大きな成功を収めている。 我々は、地球科学におけるLLM研究をさらに促進するために開発された一連の資源とともに、地球科学における最初のLLMであるK2を提示する。
  論文  参考訳（メタデータ） (2023-06-08T09:29:05Z)
• MGeo: Multi-Modal Geographic Pre-Training Method [49.78466122982627]
  マルチモーダルジオグラフィック言語モデル(MGeo)を提案する。 MGeoはGCを新しいモダリティとして表現し、正確なクエリ-POIマッチングのためのマルチモーダル相関を完全に抽出することができる。 提案するマルチモーダル事前学習法は,汎用PTMのクエリ-POIマッチング能力を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2023-01-11T03:05:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。