Fugu-MT 論文翻訳(概要): On the Scaling Laws of Geographical Representation in Language Models

論文の概要: On the Scaling Laws of Geographical Representation in Language Models

arxiv url: http://arxiv.org/abs/2402.19406v2
Date: Mon, 4 Mar 2024 11:35:02 GMT
ステータス: 処理完了
システム内更新日: 2024-03-05 21:59:06.969463
Title: On the Scaling Laws of Geographical Representation in Language Models
Title（参考訳）: 言語モデルにおける地理的表現のスケーリング則について
Authors: Nathan Godey, \'Eric de la Clergerie, Beno\^it Sagot
Abstract要約: 地理的知識は,小さなモデルであっても観測可能であること,モデルのサイズが大きくなるにつれて連続的に拡張可能であることを示す。特に、より大規模な言語モデルでは、トレーニングデータに固有の地理的バイアスを緩和できない。
参考スコア（独自算出の注目度）: 0.11510009152620666
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Language models have long been shown to embed geographical information in their hidden representations. This line of work has recently been revisited by extending this result to Large Language Models (LLMs). In this paper, we propose to fill the gap between well-established and recent literature by observing how geographical knowledge evolves when scaling language models. We show that geographical knowledge is observable even for tiny models, and that it scales consistently as we increase the model size. Notably, we observe that larger language models cannot mitigate the geographical bias that is inherent to the training data.
Abstract（参考訳）: 言語モデルは長い間、その隠れた表現に地理情報を埋め込むことが示されている。この一連の作業は、最近、この結果をLarge Language Models (LLMs)に拡張することで再考された。本稿では,言語モデルのスケーリングにおいて,地理的知識がどのように発達するかを観察することで,確立された文献と最近の文献のギャップを埋めることを提案する。地理的知識は小さなモデルでも観測可能であり、モデルのサイズが大きくなるにつれて一貫して拡張可能であることを示す。特に、より大規模な言語モデルでは、トレーニングデータに固有の地理的バイアスを緩和できない。

関連論文リスト

Evaluation of Geographical Distortions in Language Models: A Crucial Step Towards Equitable Representations [2.825324306665133]
本研究は地理的知識に関するバイアスに焦点を当てる。地理モデルと言語モデルとの関係を,空間情報を誤表現する傾向を強調して検討する。
論文参考訳（メタデータ） (2024-04-26T13:22:28Z)
Pixel Aligned Language Models [94.32841818609914]
我々は、位置を入力または出力として捉えることができる視覚言語モデルを開発した。位置を入力として取ると、モデルが位置条件付きキャプションを実行し、指定対象または領域のキャプションを生成する。本モデルでは,人間の注意を反映した画素単語対応キャプションを含むLocalized Narrative データセットを事前学習する。
論文参考訳（メタデータ） (2023-12-14T18:57:58Z)
Geographical Erasure in Language Generation [13.219867587151986]
我々は、言語モデルが特定の国を過小評価する、地理的消去の一形態を研究し、運用する。その結果, 減退は, トレーニングコーパスで言及される国の言及頻度の低さと強く相関していることが判明した。我々は、カスタムな目的を用いて微調整により消去を緩和する。
論文参考訳（メタデータ） (2023-10-23T10:26:14Z)
Evaluating Large Language Models on Controlled Generation Tasks [92.64781370921486]
本稿では,異なる粒度を持つ文計画ベンチマークを含む,様々なベンチマークを広範囲に分析する。大規模言語モデルと最先端の微調整された小型モデルを比較した後、大規模言語モデルが後方に落ちたり、比較されたり、より小型モデルの能力を超えたりしたスペクトルを示す。
論文参考訳（メタデータ） (2023-10-23T03:48:24Z)
Geographic and Geopolitical Biases of Language Models [43.62238334380897]
プレトレーニング言語モデル(PLM)における地理的バイアス(と知識)の研究手法を提案する。以上の結果から, PLMの表現は, 国・国・国間の関連性の観点から, 物理的世界と驚くほどよく一致していることが示唆された。最後に, 地理的近接性の概念を呈するにもかかわらず, PLMがいかに大きいかを説明する。
論文参考訳（メタデータ） (2022-12-20T16:32:54Z)
Measuring Geographic Performance Disparities of Offensive Language Classifiers [12.545108947857802]
「言語、方言、話題の内容は地域によって異なるのか?」「地域によって異なる場合、モデルのパフォーマンスに影響を及ぼすのか?」同様に、攻撃的な言語モデルがアフリカ系アメリカ人の英語に偽陽性をもたらすのに対し、モデル性能は各都市の少数人口比と相関しないことを示す。
論文参考訳（メタデータ） (2022-09-15T15:08:18Z)
Do Language Models Know the Way to Rome? [4.344337854565144]
我々は地理的に地平の真理が地域関係を超えて利用できるという事実を生かしている。言語モデルは通常、限られた地理的情報をエンコードするが、より大きなモデルは最高の性能を発揮する。
論文参考訳（メタデータ） (2021-09-16T13:28:16Z)
Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。類型的に多様な訓練言語のサンプルからこの分布を推測する。我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文参考訳（メタデータ） (2021-08-06T23:49:18Z)
Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文参考訳（メタデータ） (2020-10-20T17:31:07Z)
Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
論文参考訳（メタデータ） (2020-09-27T02:13:38Z)
Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
論文参考訳（メタデータ） (2020-02-09T19:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。