論文の概要: SpaBERT: A Pretrained Language Model from Geographic Data for Geo-Entity Representation

• arxiv url: http://arxiv.org/abs/2210.12213v1
• Date: Fri, 21 Oct 2022 19:42:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 13:29:03.366472
• Title: SpaBERT: A Pretrained Language Model from Geographic Data for Geo-Entity Representation
• Title（参考訳）: SpaBERT:ジオエンティティ表現のための地理データからの事前学習言語モデル
• Authors: Zekun Li, Jina Kim, Yao-Yi Chiang, Muhao Chen
• Abstract要約: SpaBERTは、地理空間データ内の隣接するエンティティに基づいた汎用的なジオエンタリティ表現を提供する。 SpaBERTは、マスク付き言語モデリングとマスク付きエンティティ予測タスクで事前訓練されている。 SpaBERTを2つの下流タスク、ジオエンティタイピングとジオエンティリンクに適用する。
• 参考スコア（独自算出の注目度）: 25.52363878314735
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Named geographic entities (geo-entities for short) are the building blocks of many geographic datasets. Characterizing geo-entities is integral to various application domains, such as geo-intelligence and map comprehension, while a key challenge is to capture the spatial-varying context of an entity. We hypothesize that we shall know the characteristics of a geo-entity by its surrounding entities, similar to knowing word meanings by their linguistic context. Accordingly, we propose a novel spatial language model, SpaBERT, which provides a general-purpose geo-entity representation based on neighboring entities in geospatial data. SpaBERT extends BERT to capture linearized spatial context, while incorporating a spatial coordinate embedding mechanism to preserve spatial relations of entities in the 2-dimensional space. SpaBERT is pretrained with masked language modeling and masked entity prediction tasks to learn spatial dependencies. We apply SpaBERT to two downstream tasks: geo-entity typing and geo-entity linking. Compared with the existing language models that do not use spatial context, SpaBERT shows significant performance improvement on both tasks. We also analyze the entity representation from SpaBERT in various settings and the effect of spatial coordinate embedding.
• Abstract（参考訳）: 名前付き地理的エンティティ(略してgeo-entities)は、多くの地理的データセットの構成要素である。 geo-entityを特徴付けることは、geo-intelligenceやmap comprehensionといった様々なアプリケーションドメインに不可欠である。 我々は,言語的文脈で単語の意味を知るのと同じように,周囲の実体によってジオエンティリティの特徴を知る必要があると仮定する。 そこで本稿では,地理空間データ中の隣接実体に基づく汎用的空間表現を提供する空間言語モデルであるspabertを提案する。 SpaBERTはBERTを拡張して線形化された空間コンテキストをキャプチャし、空間座標埋め込み機構を組み込んで2次元空間内の実体の空間関係を保存する。 SpaBERTは、空間依存を学ぶために、マスク付き言語モデリングとマスク付きエンティティ予測タスクで事前訓練されている。 SpaBERTを2つの下流タスク、ジオエンティタイピングとジオエンティリンクに適用する。 空間的コンテキストを使用しない既存の言語モデルと比較して、SpaBERTは両方のタスクで大幅なパフォーマンス向上を示す。 また,空間座標埋め込みの効果について,様々な設定でSpaBERTから実体表現を解析した。

関連論文リスト

• GeoReasoner: Reasoning On Geospatially Grounded Context For Natural Language Understanding [0.32885740436059047]
  GeoReasonerは、地理的に接地された自然言語を推論できる言語モデルである。 まず、Large Language Modelsを利用して、言語推論と距離情報に基づく総合的な位置記述を生成する。 また、方向と距離の情報を擬似文として扱うことで空間埋め込みに符号化する。
  論文  参考訳（メタデータ） (2024-08-21T06:35:21Z)
• A systematic review of geospatial location embedding approaches in large language models: A path to spatial AI systems [0.0]
  地理空間的位置埋め込み(GLE)は、大規模言語モデル(LLM)が空間データを同化して解析するのに役立つ。 GLEは、空間的知識をモデルアーキテクチャに組み込む空間的基礎/言語モデル(SLM)の必要性を示唆している。
  論文  参考訳（メタデータ） (2024-01-12T12:43:33Z)
• Towards Natural Language-Guided Drones: GeoText-1652 Benchmark with Spatial Relation Matching [60.645802236700035]
  自然言語コマンドを通じてドローンをナビゲートすることは、アクセス可能なマルチモーダルデータセットが不足しているため、依然として難しい。 我々は新しい自然言語誘導ジオローカライゼーションベンチマークGeoText-1652を紹介する。 このデータセットは、インタラクティブなヒューマンコンピュータプロセスを通じて体系的に構築される。
  論文  参考訳（メタデータ） (2023-11-21T17:52:30Z)
• GeoLM: Empowering Language Models for Geospatially Grounded Language Understanding [45.36562604939258]
  本稿では,自然言語におけるジオテリティーの理解を深める言語モデルGeoLMを紹介する。 また、GeoLMは、トポノニム認識、トポノニムリンク、関係抽出、ジオエンタリティタイピングをサポートする有望な能力を示すことを示した。
  論文  参考訳（メタデータ） (2023-10-23T01:20:01Z)
• Geo-Encoder: A Chunk-Argument Bi-Encoder Framework for Chinese Geographic Re-Ranking [61.60169764507917]
  中国の地理的再ランクタスクは、検索された候補者の中で最も関連性の高い住所を見つけることを目的としている。 そこで我々は,中国語の地理的意味論をより効果的に統合する,革新的なフレームワークであるGeo-Encoderを提案する。
  論文  参考訳（メタデータ） (2023-09-04T13:44:50Z)
• GeoGLUE: A GeoGraphic Language Understanding Evaluation Benchmark [56.08664336835741]
  我々はGeoGLUEと呼ばれるGeoGraphic Language Understanding Evaluationベンチマークを提案する。 オープンソースの地理資源からデータを収集し、6つの自然言語理解タスクを導入する。 我々は,GeoGLUEベンチマークの有効性と意義を示す一般ベースラインの評価実験と解析を行った。
  論文  参考訳（メタデータ） (2023-05-11T03:21:56Z)
• SIRI: Spatial Relation Induced Network For Spatial Description Resolution [64.38872296406211]
  言語誘導型ローカライゼーションのための新しい関係誘導型ネットワーク(SIRI)を提案する。 提案手法は,80ピクセルの半径で測定した精度で,最先端手法よりも約24%優れていた。 提案手法は,Touchdownと同じ設定で収集した拡張データセットをうまく一般化する。
  論文  参考訳（メタデータ） (2020-10-27T14:04:05Z)
• Understanding Spatial Relations through Multiple Modalities [78.07328342973611]
  オブジェクト間の空間的関係は、空間的前置詞として表されるか、移動、歩行、移動などの空間的動詞によって表される。 画像中の2つの実体間の暗黙的・明示的な空間的関係を推定するタスクを導入する。 本研究では、テキスト情報と視覚情報の両方を用いて空間関係を予測し、物体の位置情報と大きさ情報と画像埋め込みを利用するモデルを設計する。
  論文  参考訳（メタデータ） (2020-07-19T01:35:08Z)
• SE-KGE: A Location-Aware Knowledge Graph Embedding Model for Geographic Question Answering and Spatial Semantic Lifting [9.949690056661218]
  位置認識型KG埋め込みモデルSE-KGEを提案する。 点座標や地理的実体の境界ボックスなどの空間情報をKG埋め込み空間にエンコードする。 また、SE-KGEの性能を評価するために、地理知識グラフと、DBGeoと呼ばれる地理的問合せ対のセットを構築した。
  論文  参考訳（メタデータ） (2020-04-25T17:46:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。