論文の概要: Geographic Adaptation of Pretrained Language Models

• arxiv url: http://arxiv.org/abs/2203.08565v1
• Date: Wed, 16 Mar 2022 11:55:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-17 14:53:43.980057
• Title: Geographic Adaptation of Pretrained Language Models
• Title（参考訳）: 事前学習言語モデルの地理的適応
• Authors: Valentin Hofmann, Goran Glava\v{s}, Nikola Ljube\v{s}i\'c, Janet B. Pierrehumbert, Hinrich Sch\"utze
• Abstract要約: プレトレーニング言語モデル(PLM)のタスク非依存的ジオアダプタへのアプローチを提案する。 我々の実験では、ジオタグ付きツイートのコーパスを使用して、ボスニア、クロアチア、モンテネグロ、セルビア(BCMS)向けのPLMであるBERTi'cをジオアダッドした。 我々は、教師付き位置情報予測における最先端性能を新たに獲得し、ゼロショット位置情報予測において、地理的にインフォームドされていないPLMよりも大きなゲインを報告した。
• 参考スコア（独自算出の注目度）: 20.106755410331573
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Geographic linguistic features are commonly used to improve the performance of pretrained language models (PLMs) on NLP tasks where geographic knowledge is intuitively beneficial (e.g., geolocation prediction and dialect feature prediction). Existing work, however, leverages such geographic information in task-specific fine-tuning, failing to incorporate it into PLMs' geo-linguistic knowledge, which would make it transferable across different tasks. In this work, we introduce an approach to task-agnostic geoadaptation of PLMs that forces the PLM to learn associations between linguistic phenomena and geographic locations. More specifically, geoadaptation is an intermediate training step that couples masked language modeling and geolocation prediction in a dynamic multitask learning setup. In our experiments, we geoadapt BERTi\'c -- a PLM for Bosnian, Croatian, Montenegrin, and Serbian (BCMS) -- using a corpus of geotagged BCMS tweets. Evaluation on three different tasks, namely unsupervised (zero-shot) and supervised geolocation prediction and (unsupervised) prediction of dialect features, shows that our geoadaptation approach is very effective: e.g., we obtain new state-of-the-art performance in supervised geolocation prediction and report massive gains over geographically uninformed PLMs on zero-shot geolocation prediction.
• Abstract（参考訳）: 地理的言語的特徴は、地理的知識が直感的に有益であるnlpタスク(例えば、位置情報予測と方言特徴予測)における事前訓練された言語モデル(plm)の性能を改善するために一般的に用いられる。 しかし、既存の作業は、これらの地理情報をタスク固有の微調整に利用し、PLMの地理言語知識に組み込むことができず、異なるタスク間で転送可能である。 本研究では, PLMの課題に依存しないジオアダプタへのアプローチを導入し, PLMに言語現象と地理的位置の関係を学習させる。 より具体的には、geoadaptationは、動的マルチタスク学習セットアップにおいて、マスク付き言語モデリングとジオロケーション予測を結合する中間トレーニングステップである。 実験では、BCMSのツイートをジオタグ付けしたコーパスを使用して、ボスニア、クロアチア、モンテネグロ、セルビア(BCMS)向けのPLMであるBERTi\'cをジオアダッドした。 例えば、教師なし(ゼロショット)と教師なし(教師なし)の位置情報予測と、方言の特徴の(教師なし)予測という3つのタスクの評価は、我々のジオアダプテーションアプローチが非常に効果的であることを示している。

関連論文リスト

• GeoReasoner: Reasoning On Geospatially Grounded Context For Natural Language Understanding [0.32885740436059047]
  GeoReasonerは、地理的に接地された自然言語を推論できる言語モデルである。 まず、Large Language Modelsを利用して、言語推論と距離情報に基づく総合的な位置記述を生成する。 また、方向と距離の情報を擬似文として扱うことで空間埋め込みに符号化する。
  論文  参考訳（メタデータ） (2024-08-21T06:35:21Z)
• Leveraging Large Language Models to Geolocate Linguistic Variations in Social Media Posts [0.0]
  大きな言語モデル(LLM)を活用することで、イタリア語で書かれたツイートをジオローカライズするという課題に対処する。 我々のアプローチは、これらの地理的局在化の側面を同時に予測するために、訓練済みのLLMを微調整することである。 この研究は、バーティノロ国際スプリングスクール2024のLarge Language Modelsコースの一部として実施されている。
  論文  参考訳（メタデータ） (2024-07-22T20:54:35Z)
• GeoLM: Empowering Language Models for Geospatially Grounded Language Understanding [45.36562604939258]
  本稿では,自然言語におけるジオテリティーの理解を深める言語モデルGeoLMを紹介する。 また、GeoLMは、トポノニム認識、トポノニムリンク、関係抽出、ジオエンタリティタイピングをサポートする有望な能力を示すことを示した。
  論文  参考訳（メタデータ） (2023-10-23T01:20:01Z)
• GeoLLM: Extracting Geospatial Knowledge from Large Language Models [49.20315582673223]
  大規模言語モデルから地理空間的知識を効果的に抽出する新しい手法であるGeoLLMを提案する。 我々は、人口密度や経済生活の計測など、国際社会への関心の中心となる複数の課題にまたがるアプローチの有用性を実証する。 実験の結果, LLMは試料効率が高く, 地理空間情報に富み, 世界中のロバストであることがわかった。
  論文  参考訳（メタデータ） (2023-10-10T00:03:23Z)
• Are Large Language Models Geospatially Knowledgeable? [21.401931052512595]
  本稿では,Large Language Models (LLM) で符号化された地理空間的知識,認識,推論能力の程度について検討する。 自己回帰言語モデルに焦点をあて, (i) 地理座標系におけるLLMの探索と地理空間知識の評価, (ii) 地理空間的および非地理空間的前置法を用いて地理空間的意識を測定する, (iii) 多次元スケーリング(MDS) 実験を用いて, モデルの地理空間的推論能力を評価する, 実験手法を考案した。
  論文  参考訳（メタデータ） (2023-10-09T17:20:11Z)
• Geo-Encoder: A Chunk-Argument Bi-Encoder Framework for Chinese Geographic Re-Ranking [61.60169764507917]
  中国の地理的再ランクタスクは、検索された候補者の中で最も関連性の高い住所を見つけることを目的としている。 そこで我々は,中国語の地理的意味論をより効果的に統合する,革新的なフレームワークであるGeo-Encoderを提案する。
  論文  参考訳（メタデータ） (2023-09-04T13:44:50Z)
• K2: A Foundation Language Model for Geoscience Knowledge Understanding and Utilization [105.89544876731942]
  大規模言語モデル(LLM)は自然言語処理の一般分野において大きな成功を収めている。 我々は、地球科学におけるLLM研究をさらに促進するために開発された一連の資源とともに、地球科学における最初のLLMであるK2を提示する。
  論文  参考訳（メタデータ） (2023-06-08T09:29:05Z)
• GeoGLUE: A GeoGraphic Language Understanding Evaluation Benchmark [56.08664336835741]
  我々はGeoGLUEと呼ばれるGeoGraphic Language Understanding Evaluationベンチマークを提案する。 オープンソースの地理資源からデータを収集し、6つの自然言語理解タスクを導入する。 我々は,GeoGLUEベンチマークの有効性と意義を示す一般ベースラインの評価実験と解析を行った。
  論文  参考訳（メタデータ） (2023-05-11T03:21:56Z)
• PGL: Prior-Guided Local Self-supervised Learning for 3D Medical Image Segmentation [87.50205728818601]
  本稿では,潜在特徴空間における局所的一貫性を学習するPGL(PresideedGuided Local)自己教師モデルを提案する。 我々のPGLモデルは、局所領域の特異な表現を学習し、したがって構造情報を保持できる。
  論文  参考訳（メタデータ） (2020-11-25T11:03:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。