論文の概要: Are Pretrained Multilingual Models Equally Fair Across Languages?
- arxiv url: http://arxiv.org/abs/2210.05457v1
- Date: Tue, 11 Oct 2022 13:59:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 15:45:08.920066
- Title: Are Pretrained Multilingual Models Equally Fair Across Languages?
- Title（参考訳）: 事前訓練された多言語モデルは等しく公平か?
- Authors: Laura Cabello Piqueras and Anders S{\o}gaard
- Abstract要約: この研究は多言語モデルの群フェアネスを調査し、これらのモデルが言語間で等しく公平かどうかを問う。
我々は、MozArt上の3つの多言語モデル(mBERT、XLM-R、mT5)を評価し、これらのモデルが4つの対象言語で異なるグループ格差を示すことを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pretrained multilingual language models can help bridge the digital language
divide, enabling high-quality NLP models for lower resourced languages. Studies
of multilingual models have so far focused on performance, consistency, and
cross-lingual generalisation. However, with their wide-spread application in
the wild and downstream societal impact, it is important to put multilingual
models under the same scrutiny as monolingual models. This work investigates
the group fairness of multilingual models, asking whether these models are
equally fair across languages. To this end, we create a new four-way
multilingual dataset of parallel cloze test examples (MozArt), equipped with
demographic information (balanced with regard to gender and native tongue)
about the test participants. We evaluate three multilingual models on MozArt --
mBERT, XLM-R, and mT5 -- and show that across the four target languages, the
three models exhibit different levels of group disparity, e.g., exhibiting
near-equal risk for Spanish, but high levels of disparity for German.
- Abstract（参考訳）: 事前訓練された多言語言語モデルはデジタル言語分割を橋渡しし、低リソース言語のための高品質なNLPモデルを可能にする。
多言語モデルの研究はこれまで、パフォーマンス、一貫性、言語間一般化に焦点を当ててきた。
しかし、野生および下流の社会への影響に広く適用されているため、多言語モデルを単言語モデルと同じ精査下に置くことが重要である。
この研究は多言語モデルの群フェアネスを調査し、これらのモデルが言語間で等しく公平かどうかを問う。
そこで本研究では,パラレルクローゼテスト例(mozart)の4方向多言語データセットを作成し,実験参加者に関する人口統計情報(性別と母国語についてバランスをとる)を組み込んだ。
我々は,MozArt-mBERT,XLM-R,mT5の3つの多言語モデルを評価し,これらのモデルが4つの対象言語で異なるグループ格差を示すことを示す。
関連論文リスト
- Do Multilingual Large Language Models Mitigate Stereotype Bias? [9.31741279000585]
この研究は、英語、ドイツ語、フランス語、イタリア語、スペイン語で同じ大きさの6つのLLMを体系的に訓練する。
単言語モデルと比較して,多言語モデルの方がバイアスの低いだけでなく,予測精度も優れていることが観察された。
論文 参考訳（メタデータ） (2024-07-08T08:46:50Z) - Multilingual Text-to-Image Generation Magnifies Gender Stereotypes and Prompt Engineering May Not Help You [64.74707085021858]
多言語モデルは、モノリンガルモデルと同様に、有意な性別バイアスに悩まされていることを示す。
多言語モデルにおけるジェンダーバイアスの研究を促進するための新しいベンチマークMAGBIGを提案する。
以上の結果から,モデルが強い性バイアスを示すだけでなく,言語によって異なる行動を示すことが明らかとなった。
論文 参考訳（メタデータ） (2024-01-29T12:02:28Z) - The Less the Merrier? Investigating Language Representation in
Multilingual Models [8.632506864465501]
多言語モデルにおける言語表現について検討する。
我々は、コミュニティ中心のモデルが、低リソース言語で同じ家系の言語を区別する上で、より良い性能を発揮することを実験から観察した。
論文 参考訳（メタデータ） (2023-10-20T02:26:34Z) - MiLMo:Minority Multilingual Pre-trained Language Model [1.6409017540235764]
本稿では、マイノリティ言語タスクにおいてより優れた性能を発揮する、MLMoという多言語事前学習モデルを構築した。
テキスト分類タスクにおいて,Word2vecモデルと事前学習モデルを比較することにより,少数言語の下流タスク研究に最適なスキームを提供する。
論文 参考訳（メタデータ） (2022-12-04T09:28:17Z) - Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of
Multilingual Language Models [73.11488464916668]
本研究では,多言語事前学習プロセスのダイナミクスについて検討する。
我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。
分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
論文 参考訳（メタデータ） (2022-05-24T03:35:00Z) - Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。
すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。
言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文 参考訳（メタデータ） (2021-09-01T09:32:06Z) - Probing Multilingual Language Models for Discourse [0.0]
XLM-RoBERTaファミリーのモデルが常に最高のパフォーマンスを示していることが分かりました。
また, モデル蒸留は, 文表現の言語間移動能力に悪影響を及ぼす可能性が示唆された。
論文 参考訳（メタデータ） (2021-06-09T06:34:21Z) - How Good is Your Tokenizer? On the Monolingual Performance of
Multilingual Language Models [96.32118305166412]
本研究では,5つの単一言語下流タスクのセットに基づいて,事前学習可能な単言語モデルを持つ9種類の言語について検討した。
多言語モデルの語彙で適切に表現された言語は、単言語モデルよりも性能が著しく低下する。
論文 参考訳（メタデータ） (2020-12-31T14:11:00Z) - Structure-Level Knowledge Distillation For Multilingual Sequence
Labeling [73.40368222437912]
本稿では,複数の単言語モデルの構造的知識を統一多言語モデル(学生)に蒸留することにより,単言語モデルと統一多言語モデルとのギャップを低減することを提案する。
25のデータセットを用いた4つの多言語タスクの実験により、我々のアプローチはいくつかの強いベースラインを上回り、ベースラインモデルと教師モデルの両方よりも強力なゼロショット一般化性を有することが示された。
論文 参考訳（メタデータ） (2020-04-08T07:14:01Z) - XPersona: Evaluating Multilingual Personalized Chatbot [76.00426517401894]
我々はペルソナ・チャットの多言語拡張(XPersona)を提案する。
我々のデータセットには、多言語パーソナライズされたエージェントの構築と評価のための英語以外の6言語でのペルソナ会話が含まれています。
論文 参考訳（メタデータ） (2020-03-17T07:52:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。