論文の概要: Are Large Language Models Geospatially Knowledgeable?
- arxiv url: http://arxiv.org/abs/2310.13002v1
- Date: Mon, 9 Oct 2023 17:20:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-29 16:09:11.151127
- Title: Are Large Language Models Geospatially Knowledgeable?
- Title（参考訳）: 大規模言語モデルは地理的に理解できるか?
- Authors: Prabin Bhandari, Antonios Anastasopoulos, Dieter Pfoser
- Abstract要約: 本稿では,Large Language Models (LLM) で符号化された地理空間的知識,認識,推論能力の程度について検討する。
自己回帰言語モデルに焦点をあて, (i) 地理座標系におけるLLMの探索と地理空間知識の評価, (ii) 地理空間的および非地理空間的前置法を用いて地理空間的意識を測定する, (iii) 多次元スケーリング(MDS) 実験を用いて, モデルの地理空間的推論能力を評価する, 実験手法を考案した。
- 参考スコア（独自算出の注目度）: 21.401931052512595
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the impressive performance of Large Language Models (LLM) for various
natural language processing tasks, little is known about their comprehension of
geographic data and related ability to facilitate informed geospatial
decision-making. This paper investigates the extent of geospatial knowledge,
awareness, and reasoning abilities encoded within such pretrained LLMs. With a
focus on autoregressive language models, we devise experimental approaches
related to (i) probing LLMs for geo-coordinates to assess geospatial knowledge,
(ii) using geospatial and non-geospatial prepositions to gauge their geospatial
awareness, and (iii) utilizing a multidimensional scaling (MDS) experiment to
assess the models' geospatial reasoning capabilities and to determine locations
of cities based on prompting. Our results confirm that it does not only take
larger, but also more sophisticated LLMs to synthesize geospatial knowledge
from textual information. As such, this research contributes to understanding
the potential and limitations of LLMs in dealing with geospatial information.
- Abstract（参考訳）: 様々な自然言語処理タスクに対するLarge Language Models (LLM) の印象的な性能にもかかわらず、地理的データの理解と地理空間的意思決定を容易にする関連能力についてはほとんど知られていない。
本稿では,これらの事前学習LLMに含まれる地理空間的知識,認識,推論能力の程度について検討する。
自己回帰型言語モデルに焦点をあてて,実験的なアプローチを考案する。
(i)地理空間知識の評価のための地理座標のためのllmの探索
(ii)地理空間的及び非地理空間的前置詞を用いてその地理空間的意識を測定すること
3)多次元スケーリング(MDS)実験を利用して,モデルの地理空間的推論能力を評価し,プロンプトに基づく都市の位置決定を行う。
以上の結果から, テキスト情報から地理空間知識を合成するには, より大きなLLMだけでなく, より高度なLCMも必要であることが確認された。
本研究は,地理空間情報を扱う上でのLLMの可能性と限界の理解に寄与する。
関連論文リスト
- GeoReasoner: Reasoning On Geospatially Grounded Context For Natural Language Understanding [0.32885740436059047]
GeoReasonerは、地理的に接地された自然言語を推論できる言語モデルである。
まず、Large Language Modelsを利用して、言語推論と距離情報に基づく総合的な位置記述を生成する。
また、方向と距離の情報を擬似文として扱うことで空間埋め込みに符号化する。
論文 参考訳（メタデータ） (2024-08-21T06:35:21Z) - Swarm Intelligence in Geo-Localization: A Multi-Agent Large Vision-Language Model Collaborative Framework [51.26566634946208]
smileGeoは、新しい視覚的ジオローカライゼーションフレームワークである。
エージェント間のコミュニケーションによって、SmithGeoはこれらのエージェントの固有の知識と、検索された情報を統合する。
その結果,本手法は現在の最先端手法よりも優れていた。
論文 参考訳（メタデータ） (2024-08-21T03:31:30Z) - GeoGalactica: A Scientific Large Language Model in Geoscience [95.15911521220052]
大規模言語モデル(LLM)は、自然言語処理(NLP)における幅広いタスクを解く一般的な知識と能力で大きな成功を収めている。
我々は、LLMを地学に特化させ、さらに、地学の膨大なテキストでモデルを事前訓練し、また、カスタム収集した指導チューニングデータセットで得られたモデルを教師付き微調整(SFT)する。
我々はGeoGalacticaを65億のトークンを含む地球科学関連のテキストコーパスで訓練し、最大の地球科学固有のテキストコーパスとして保存する。
次に、100万対の命令チューニングでモデルを微調整する。
論文 参考訳（メタデータ） (2023-12-31T09:22:54Z) - GeoLM: Empowering Language Models for Geospatially Grounded Language
Understanding [45.36562604939258]
本稿では,自然言語におけるジオテリティーの理解を深める言語モデルGeoLMを紹介する。
また、GeoLMは、トポノニム認識、トポノニムリンク、関係抽出、ジオエンタリティタイピングをサポートする有望な能力を示すことを示した。
論文 参考訳（メタデータ） (2023-10-23T01:20:01Z) - GeoLLM: Extracting Geospatial Knowledge from Large Language Models [49.20315582673223]
大規模言語モデルから地理空間的知識を効果的に抽出する新しい手法であるGeoLLMを提案する。
我々は、人口密度や経済生活の計測など、国際社会への関心の中心となる複数の課題にまたがるアプローチの有用性を実証する。
実験の結果, LLMは試料効率が高く, 地理空間情報に富み, 世界中のロバストであることがわかった。
論文 参考訳（メタデータ） (2023-10-10T00:03:23Z) - Evaluating the Effectiveness of Large Language Models in Representing
Textual Descriptions of Geometry and Spatial Relations [2.8935588665357086]
本研究では,大規模言語モデル(LLM)の空間的関係の表現能力を評価することに焦点を当てた。
我々は GPT-2 や BERT などの LLM を用いて、よく知られたジオメトリのテキスト (WKT) フォーマットを符号化し、それらの埋め込みを分類器や回帰器に入力する。
実験では、LLMが生成した埋め込みは幾何型を保存し、いくつかの空間的関係(精度は73%まで)を捉えることができるが、数値を推定し、空間的関連オブジェクトを検索する際の課題が残っている。
論文 参考訳（メタデータ） (2023-07-05T03:50:08Z) - K2: A Foundation Language Model for Geoscience Knowledge Understanding
and Utilization [105.89544876731942]
大規模言語モデル(LLM)は自然言語処理の一般分野において大きな成功を収めている。
我々は、地球科学におけるLLM研究をさらに促進するために開発された一連の資源とともに、地球科学における最初のLLMであるK2を提示する。
論文 参考訳（メタデータ） (2023-06-08T09:29:05Z) - GeoGLUE: A GeoGraphic Language Understanding Evaluation Benchmark [56.08664336835741]
我々はGeoGLUEと呼ばれるGeoGraphic Language Understanding Evaluationベンチマークを提案する。
オープンソースの地理資源からデータを収集し、6つの自然言語理解タスクを導入する。
我々は,GeoGLUEベンチマークの有効性と意義を示す一般ベースラインの評価実験と解析を行った。
論文 参考訳（メタデータ） (2023-05-11T03:21:56Z) - Geographic Adaptation of Pretrained Language Models [29.81557992080902]
マルチタスク学習環境において,言語モデリングと位置情報予測を併用する中間学習ステップであるジオアダプテーションを導入する。
ジオアダプテーションの有効性は、事前訓練された言語モデルの表現空間を地理的に再現する能力に起因していることを示す。
論文 参考訳（メタデータ） (2022-03-16T11:55:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。