Fugu-MT 論文翻訳(概要): GeoLM: Empowering Language Models for Geospatially Grounded Language Understanding

論文の概要: GeoLM: Empowering Language Models for Geospatially Grounded Language Understanding

arxiv url: http://arxiv.org/abs/2310.14478v1
Date: Mon, 23 Oct 2023 01:20:01 GMT
ステータス: 処理完了
システム内更新日: 2023-10-24 23:31:15.782262
Title: GeoLM: Empowering Language Models for Geospatially Grounded Language Understanding
Title（参考訳）: GeoLM:Geospatially Grounded Language Understandingのための言語モデル
Authors: Zekun Li, Wenxuan Zhou, Yao-Yi Chiang, Muhao Chen
Abstract要約: 本稿では,自然言語におけるジオテリティーの理解を深める言語モデルGeoLMを紹介する。また、GeoLMは、トポノニム認識、トポノニムリンク、関係抽出、ジオエンタリティタイピングをサポートする有望な能力を示すことを示した。
参考スコア（独自算出の注目度）: 45.36562604939258
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Humans subconsciously engage in geospatial reasoning when reading articles. We recognize place names and their spatial relations in text and mentally associate them with their physical locations on Earth. Although pretrained language models can mimic this cognitive process using linguistic context, they do not utilize valuable geospatial information in large, widely available geographical databases, e.g., OpenStreetMap. This paper introduces GeoLM, a geospatially grounded language model that enhances the understanding of geo-entities in natural language. GeoLM leverages geo-entity mentions as anchors to connect linguistic information in text corpora with geospatial information extracted from geographical databases. GeoLM connects the two types of context through contrastive learning and masked language modeling. It also incorporates a spatial coordinate embedding mechanism to encode distance and direction relations to capture geospatial context. In the experiment, we demonstrate that GeoLM exhibits promising capabilities in supporting toponym recognition, toponym linking, relation extraction, and geo-entity typing, which bridge the gap between natural language processing and geospatial sciences. The code is publicly available at https://github.com/knowledge-computing/geolm.
Abstract（参考訳）: 人間は記事を読む際に地空間的推論を行う。我々は、地名とその空間的関係をテキストで認識し、それらを地球上の物理的位置と精神的に関連付ける。事前訓練された言語モデルは、言語的文脈を用いてこの認知過程を模倣することができるが、大規模な地理的データベース、例えばOpenStreetMapでは、貴重な地理空間情報を利用できない。本稿では,自然言語におけるジオエンティリティの理解を深める,ジオスパティブな基盤言語モデルであるGeoLMを紹介する。 GeoLMは、地理データベースから抽出された地理空間情報とテキストコーパス内の言語情報を結びつけるアンカーとしてジオエンタリティの言及を利用する。 GeoLMは2種類のコンテキストをコントラスト学習とマスキング言語モデリングを通じて接続する。また、空間座標埋め込み機構を組み込んで距離と方向の関係を符号化し、地理空間コンテキストを捉える。実験では,自然言語処理と地理空間科学のギャップを埋める,頭字語認識,頭字語リンク,関係抽出,ジオエンティティ型付けのサポートにおいて,geolmが有望な能力を示すことを実証する。コードはhttps://github.com/knowledge-computing/geolmで公開されている。

関連論文リスト

GeoReasoner: Reasoning On Geospatially Grounded Context For Natural Language Understanding [0.32885740436059047]
GeoReasonerは、地理的に接地された自然言語を推論できる言語モデルである。まず、Large Language Modelsを利用して、言語推論と距離情報に基づく総合的な位置記述を生成する。また、方向と距離の情報を擬似文として扱うことで空間埋め込みに符号化する。
論文参考訳（メタデータ） (2024-08-21T06:35:21Z)
Where on Earth Do Users Say They Are?: Geo-Entity Linking for Noisy Multilingual User Input [2.516307239032451]
本稿では,実世界の位置情報をラベル付きユーザ・インプット・ロケーション名から平均的な埋め込みとして表現する手法を提案する。本稿では,グローバルおよび多言語ソーシャルメディアデータセット上でのジオエンタリティリンクの改善について述べる。
論文参考訳（メタデータ） (2024-04-29T15:18:33Z)
GeoGalactica: A Scientific Large Language Model in Geoscience [95.15911521220052]
大規模言語モデル(LLM)は、自然言語処理(NLP)における幅広いタスクを解く一般的な知識と能力で大きな成功を収めている。我々は、LLMを地学に特化させ、さらに、地学の膨大なテキストでモデルを事前訓練し、また、カスタム収集した指導チューニングデータセットで得られたモデルを教師付き微調整(SFT)する。我々はGeoGalacticaを65億のトークンを含む地球科学関連のテキストコーパスで訓練し、最大の地球科学固有のテキストコーパスとして保存する。次に、100万対の命令チューニングでモデルを微調整する。
論文参考訳（メタデータ） (2023-12-31T09:22:54Z)
Towards Natural Language-Guided Drones: GeoText-1652 Benchmark with Spatial Relation Matching [60.645802236700035]
自然言語コマンドを通じてドローンをナビゲートすることは、アクセス可能なマルチモーダルデータセットが不足しているため、依然として難しい。我々は新しい自然言語誘導ジオローカライゼーションベンチマークGeoText-1652を紹介する。このデータセットは、インタラクティブなヒューマンコンピュータプロセスを通じて体系的に構築される。
論文参考訳（メタデータ） (2023-11-21T17:52:30Z)
GeoLLM: Extracting Geospatial Knowledge from Large Language Models [49.20315582673223]
大規模言語モデルから地理空間的知識を効果的に抽出する新しい手法であるGeoLLMを提案する。我々は、人口密度や経済生活の計測など、国際社会への関心の中心となる複数の課題にまたがるアプローチの有用性を実証する。実験の結果, LLMは試料効率が高く, 地理空間情報に富み, 世界中のロバストであることがわかった。
論文参考訳（メタデータ） (2023-10-10T00:03:23Z)
Are Large Language Models Geospatially Knowledgeable? [21.401931052512595]
本稿では,Large Language Models (LLM) で符号化された地理空間的知識,認識,推論能力の程度について検討する。自己回帰言語モデルに焦点をあて, (i) 地理座標系におけるLLMの探索と地理空間知識の評価, (ii) 地理空間的および非地理空間的前置法を用いて地理空間的意識を測定する, (iii) 多次元スケーリング(MDS) 実験を用いて, モデルの地理空間的推論能力を評価する, 実験手法を考案した。
論文参考訳（メタデータ） (2023-10-09T17:20:11Z)
K2: A Foundation Language Model for Geoscience Knowledge Understanding and Utilization [105.89544876731942]
大規模言語モデル(LLM)は自然言語処理の一般分野において大きな成功を収めている。我々は、地球科学におけるLLM研究をさらに促進するために開発された一連の資源とともに、地球科学における最初のLLMであるK2を提示する。
論文参考訳（メタデータ） (2023-06-08T09:29:05Z)
GeoGLUE: A GeoGraphic Language Understanding Evaluation Benchmark [56.08664336835741]
我々はGeoGLUEと呼ばれるGeoGraphic Language Understanding Evaluationベンチマークを提案する。オープンソースの地理資源からデータを収集し、6つの自然言語理解タスクを導入する。我々は,GeoGLUEベンチマークの有効性と意義を示す一般ベースラインの評価実験と解析を行った。
論文参考訳（メタデータ） (2023-05-11T03:21:56Z)
SpaBERT: A Pretrained Language Model from Geographic Data for Geo-Entity Representation [25.52363878314735]
SpaBERTは、地理空間データ内の隣接するエンティティに基づいた汎用的なジオエンタリティ表現を提供する。 SpaBERTは、マスク付き言語モデリングとマスク付きエンティティ予測タスクで事前訓練されている。 SpaBERTを2つの下流タスク、ジオエンティタイピングとジオエンティリンクに適用する。
論文参考訳（メタデータ） (2022-10-21T19:42:32Z)
Geographic Adaptation of Pretrained Language Models [29.81557992080902]
マルチタスク学習環境において,言語モデリングと位置情報予測を併用する中間学習ステップであるジオアダプテーションを導入する。ジオアダプテーションの有効性は、事前訓練された言語モデルの表現空間を地理的に再現する能力に起因していることを示す。
論文参考訳（メタデータ） (2022-03-16T11:55:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。