論文の概要: GeoMLAMA: Geo-Diverse Commonsense Probing on Multilingual Pre-Trained Language Models

• arxiv url: http://arxiv.org/abs/2205.12247v1
• Date: Tue, 24 May 2022 17:54:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-25 15:01:30.469516
• Title: GeoMLAMA: Geo-Diverse Commonsense Probing on Multilingual Pre-Trained Language Models
• Title（参考訳）: GeoMLAMA:多言語事前学習言語モデルに基づくジオディバース・コモンセンス探索
• Authors: Da Yin, Hritik Bansal, Masoud Monajatipoor, Liunian Harold Li, Kai-Wei Chang
• Abstract要約: 我々は多言語言語モデル(mPLM)に基づく地理多言語共通感覚探索のためのフレームワークを提案する。 我々は、GeoMLAMAデータセット上のmBERT、XLM、mT5、XGLMの変種を含む11の標準mPLMをベンチマークする。 1)大きなmPLMの変種は、必ずしもその小さな変種よりもジオ・ディバースの概念を保存していないこと,2)mPLMは西欧の知識に固有の偏りがないこと,3)母国よりも母国に関する知識を調査する方がよいこと,などが分かる。
• 参考スコア（独自算出の注目度）: 68.50584946761813
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work has shown that Pre-trained Language Models (PLMs) have the ability to store the relational knowledge from pre-training data in their model parameters. However, it is not clear up to what extent do PLMs store geo-diverse commonsense knowledge, the knowledge associated with a culture and only shared locally. For instance, the color of bridal dress is white in American weddings whereas it is red in Chinese weddings. Here, we wish to probe if PLMs can predict red and white as the color of the bridal dress when queried for American and Chinese weddings, respectively. To this end, we introduce a framework for geo-diverse commonsense probing on multilingual PLMs (mPLMs) and introduce a corresponding benchmark Geo-diverse Commonsense Multilingual Language Model Analysis (GeoMLAMA) dataset. GeoMLAMA contains 3125 prompts in English, Chinese, Hindi, Persian, and Swahili, with a wide coverage of concepts shared by people from American, Chinese, Indian, Iranian and Kenyan cultures. We benchmark 11 standard mPLMs which include variants of mBERT, XLM, mT5, and XGLM on GeoMLAMA. Interestingly, we find that 1) larger mPLM variants do not necessarily store geo-diverse concepts better than its smaller variant; 2) mPLMs are not intrinsically biased towards knowledge from the Western countries (the United States); 3) the native language of a country may not be the best language to probe its knowledge and 4) a language may better probe knowledge about a non-native country than its native country.
• Abstract（参考訳）: 近年の研究では、プリトレーニングされた言語モデル(plm)は、モデルパラメータに事前トレーニングされたデータからリレーショナルな知識を格納できることが示されている。 しかし, PLM には, 地理的多様性に関する知識, 文化に関連する知識, ローカルでのみ共有される知識がどの程度蓄積されているかは明らかになっていない。 例えば、ブライダルドレスの色はアメリカの結婚式では白だが、中国の結婚式では赤である。 ここでは,PLMが,米国と中国の結婚式でそれぞれ調理したブライダルドレスの色として赤と白を予測できるかどうかを調査したい。 そこで本研究では,多言語 PLM (mPLMs) を用いたジオディバース・コモンセンス探索のためのフレームワークを導入し,それに対応するベンチマークであるGeoMLAMA(GeoMLAMA)データセットを提案する。 geomlamaには英語、中国語、ヒンディー語、ペルシア語、スワヒリ語の3125のプロンプトがあり、アメリカ、中国、インド、イラン、ケニアの文化の人々が共有している。 我々は、GeoMLAMA上のmBERT、XLM、mT5、XGLMの変種を含む11の標準mPLMをベンチマークする。 興味深いことに 1) より大きな mPLM 変種は、必ずしもより小さい変種よりもジオディバースの概念を保存しない。 2) mplmは、欧米(米国)の知識に対して本質的に偏ってはいない。 3) 国の母国語は,その知識を探究する最良の言語ではないかもしれない。 4) 言語は,その母国よりも非母国に関する知識を調査すべきである。

関連論文リスト

• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• OMGEval: An Open Multilingual Generative Evaluation Benchmark for Large Language Models [59.54423478596468]
  OMGEvalは、オープンソースの多言語生成テストセットであり、異なる言語におけるLLMの能力を評価することができる。 各言語について、OMGEvalは804のオープンエンド質問を提供し、LLMの重要な機能を幅広くカバーしている。 具体的には、OMGEvalの現在のバージョンには5つの言語(Zh, Ru, Fr, Es, Ar)が含まれている。
  論文  参考訳（メタデータ） (2024-02-21T04:42:41Z)
• GeoLM: Empowering Language Models for Geospatially Grounded Language Understanding [45.36562604939258]
  本稿では,自然言語におけるジオテリティーの理解を深める言語モデルGeoLMを紹介する。 また、GeoLMは、トポノニム認識、トポノニムリンク、関係抽出、ジオエンタリティタイピングをサポートする有望な能力を示すことを示した。
  論文  参考訳（メタデータ） (2023-10-23T01:20:01Z)
• GeoLLM: Extracting Geospatial Knowledge from Large Language Models [49.20315582673223]
  大規模言語モデルから地理空間的知識を効果的に抽出する新しい手法であるGeoLLMを提案する。 我々は、人口密度や経済生活の計測など、国際社会への関心の中心となる複数の課題にまたがるアプローチの有用性を実証する。 実験の結果, LLMは試料効率が高く, 地理空間情報に富み, 世界中のロバストであることがわかった。
  論文  参考訳（メタデータ） (2023-10-10T00:03:23Z)
• This Land is {Your, My} Land: Evaluating Geopolitical Biases in Language Models [40.61046400448044]
  大規模言語モデル (LLM) では, 異なる言語を問うと, 地理的知識が不整合に記憶されることが示されている。 対象とするケーススタディとして、本質的に議論の的かつ多言語的な課題である領土紛争を考察する。 本稿では,様々な言語における応答のバイアスと一貫性を正確に定量化するための評価指標を提案する。
  論文  参考訳（メタデータ） (2023-05-24T01:16:17Z)
• Language Models are Multilingual Chain-of-Thought Reasoners [83.37148309771378]
  本稿では,250の小学校数学問題を10の類型的多言語に手動で翻訳することで,多言語学級数学のベンチマークを導入する。 MGSM問題をチェーン・オブ・ソートにより解く能力は,モデルスケールの増大とともに出現する。 言語モデルの多言語推論能力は他のタスクにも及んでいることを示す。
  論文  参考訳（メタデータ） (2022-10-06T17:03:34Z)
• Geographic Adaptation of Pretrained Language Models [29.81557992080902]
  マルチタスク学習環境において,言語モデリングと位置情報予測を併用する中間学習ステップであるジオアダプテーションを導入する。 ジオアダプテーションの有効性は、事前訓練された言語モデルの表現空間を地理的に再現する能力に起因していることを示す。
  論文  参考訳（メタデータ） (2022-03-16T11:55:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。