Fugu-MT 論文翻訳(概要): Do Language Models Know the Way to Rome?

論文の概要: Do Language Models Know the Way to Rome?

arxiv url: http://arxiv.org/abs/2109.07971v1
Date: Thu, 16 Sep 2021 13:28:16 GMT
ステータス: 処理完了
システム内更新日: 2021-09-17 19:10:17.038976
Title: Do Language Models Know the Way to Rome?
Title（参考訳）: 言語モデルはローマへの道を知っているか?
Authors: Bastien Li\'etard and Mostafa Abdou and Anders S{\o}gaard
Abstract要約: 我々は地理的に地平の真理が地域関係を超えて利用できるという事実を生かしている。言語モデルは通常、限られた地理的情報をエンコードするが、より大きなモデルは最高の性能を発揮する。
参考スコア（独自算出の注目度）: 4.344337854565144
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The global geometry of language models is important for a range of applications, but language model probes tend to evaluate rather local relations, for which ground truths are easily obtained. In this paper we exploit the fact that in geography, ground truths are available beyond local relations. In a series of experiments, we evaluate the extent to which language model representations of city and country names are isomorphic to real-world geography, e.g., if you tell a language model where Paris and Berlin are, does it know the way to Rome? We find that language models generally encode limited geographic information, but with larger models performing the best, suggesting that geographic knowledge can be induced from higher-order co-occurrence statistics.
Abstract（参考訳）: 言語モデルのグローバルな幾何学は、様々な応用において重要であるが、言語モデルプローブは、より局所的な関係を評価する傾向がある。本稿では,地理的に地平の真理が地域関係を超えているという事実を活用する。一連の実験において、都市名と国名の言語モデル表現が現実世界の地理に同型である範囲を評価する。例えば、パリとベルリンのある言語モデルを伝える場合、ローマへの道を知っているか? 言語モデルは通常、限られた地理的情報を符号化しているが、より大規模なモデルでは、高次共起統計から地理的知識が引き起こされる可能性が示唆されている。

関連論文リスト

Evaluation of Geographical Distortions in Language Models: A Crucial Step Towards Equitable Representations [2.825324306665133]
本研究は地理的知識に関するバイアスに焦点を当てる。地理モデルと言語モデルとの関係を,空間情報を誤表現する傾向を強調して検討する。
論文参考訳（メタデータ） (2024-04-26T13:22:28Z)
On the Scaling Laws of Geographical Representation in Language Models [0.11510009152620666]
地理的知識は,小さなモデルであっても観測可能であること,モデルのサイズが大きくなるにつれて連続的に拡張可能であることを示す。特に、より大規模な言語モデルでは、トレーニングデータに固有の地理的バイアスを緩和できない。
論文参考訳（メタデータ） (2024-02-29T18:04:11Z)
Geographical Erasure in Language Generation [13.219867587151986]
我々は、言語モデルが特定の国を過小評価する、地理的消去の一形態を研究し、運用する。その結果, 減退は, トレーニングコーパスで言及される国の言及頻度の低さと強く相関していることが判明した。我々は、カスタムな目的を用いて微調整により消去を緩和する。
論文参考訳（メタデータ） (2023-10-23T10:26:14Z)
Navigation with Large Language Models: Semantic Guesswork as a Heuristic for Planning [73.0990339667978]
不慣れな環境でのナビゲーションは、ロボットにとって大きな課題となる。言語モデルを用いて、新しい現実世界環境のバイアス探索を行う。実環境におけるLFGの評価とシミュレーションベンチマークを行った。
論文参考訳（メタデータ） (2023-10-16T06:21:06Z)
Cross-Lingual NER for Financial Transaction Data in Low-Resource Languages [70.25418443146435]
半構造化テキストデータにおける言語間名前認識のための効率的なモデリングフレームワークを提案する。我々は2つの独立したSMSデータセットを英語とアラビア語で使用し、それぞれが半構造化された銀行取引情報を持っている。わずか30のラベル付きサンプルにアクセスすることで、我々のモデルは、英語からアラビア語までの商人、金額、その他の分野の認識を一般化することができる。
論文参考訳（メタデータ） (2023-07-16T00:45:42Z)
GeoGLUE: A GeoGraphic Language Understanding Evaluation Benchmark [56.08664336835741]
我々はGeoGLUEと呼ばれるGeoGraphic Language Understanding Evaluationベンチマークを提案する。オープンソースの地理資源からデータを収集し、6つの自然言語理解タスクを導入する。我々は,GeoGLUEベンチマークの有効性と意義を示す一般ベースラインの評価実験と解析を行った。
論文参考訳（メタデータ） (2023-05-11T03:21:56Z)
Geographic and Geopolitical Biases of Language Models [43.62238334380897]
プレトレーニング言語モデル(PLM)における地理的バイアス(と知識)の研究手法を提案する。以上の結果から, PLMの表現は, 国・国・国間の関連性の観点から, 物理的世界と驚くほどよく一致していることが示唆された。最後に, 地理的近接性の概念を呈するにもかかわらず, PLMがいかに大きいかを説明する。
論文参考訳（メタデータ） (2022-12-20T16:32:54Z)
Measuring Geographic Performance Disparities of Offensive Language Classifiers [12.545108947857802]
「言語、方言、話題の内容は地域によって異なるのか?」「地域によって異なる場合、モデルのパフォーマンスに影響を及ぼすのか?」同様に、攻撃的な言語モデルがアフリカ系アメリカ人の英語に偽陽性をもたらすのに対し、モデル性能は各都市の少数人口比と相関しないことを示す。
論文参考訳（メタデータ） (2022-09-15T15:08:18Z)
GeoMLAMA: Geo-Diverse Commonsense Probing on Multilingual Pre-Trained Language Models [68.50584946761813]
我々は多言語言語モデル(mPLM)に基づく地理多言語共通感覚探索のためのフレームワークを提案する。我々は、GeoMLAMAデータセット上のmBERT、XLM、mT5、XGLMの変種を含む11の標準mPLMをベンチマークする。 1)大きなmPLMの変種は、必ずしもその小さな変種よりもジオ・ディバースの概念を保存していないこと,2)mPLMは西欧の知識に固有の偏りがないこと,3)母国よりも母国に関する知識を調査する方がよいこと,などが分かる。
論文参考訳（メタデータ） (2022-05-24T17:54:50Z)
Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。類型的に多様な訓練言語のサンプルからこの分布を推測する。我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文参考訳（メタデータ） (2021-08-06T23:49:18Z)
Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。