論文の概要: Multilingual large language models leak human stereotypes across
language boundaries
- arxiv url: http://arxiv.org/abs/2312.07141v1
- Date: Tue, 12 Dec 2023 10:24:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-13 16:38:26.947467
- Title: Multilingual large language models leak human stereotypes across
language boundaries
- Title(参考訳): 多言語大言語モデルが言語境界を越えて人間のステレオタイプをリーク
- Authors: Yang Trista Cao, Anna Sotnikova, Jieyu Zhao, Linda X. Zou, Rachel
Rudinger, Hal Daume III
- Abstract要約: 我々は、英語、ロシア語、中国語、ヒンディー語という4つの言語にまたがるステレオタイプ的関連について検討する。
以上の結果から,全言語で陽性,陰性,非極性な関連が明らかとなった。
- 参考スコア(独自算出の注目度): 27.44800483421269
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multilingual large language models have been increasingly popular for their
proficiency in comprehending and generating text across various languages.
Previous research has shown that the presence of stereotypes and biases in
monolingual large language models can be attributed to the nature of their
training data, which is collected from humans and reflects societal biases.
Multilingual language models undergo the same training procedure as monolingual
ones, albeit with training data sourced from various languages. This raises the
question: do stereotypes present in one social context leak across languages
within the model? In our work, we first define the term ``stereotype leakage''
and propose a framework for its measurement. With this framework, we
investigate how stereotypical associations leak across four languages: English,
Russian, Chinese, and Hindi. To quantify the stereotype leakage, we employ an
approach from social psychology, measuring stereotypes via group-trait
associations. We evaluate human stereotypes and stereotypical associations
manifested in multilingual large language models such as mBERT, mT5, and
ChatGPT. Our findings show a noticeable leakage of positive, negative, and
non-polar associations across all languages. Notably, Hindi within multilingual
models appears to be the most susceptible to influence from other languages,
while Chinese is the least. Additionally, ChatGPT exhibits a better alignment
with human scores than other models.
- Abstract(参考訳): 多言語大言語モデルは、様々な言語にまたがるテキストの理解と生成の能力で、ますます人気が高まっている。
これまでの研究では、単言語大言語モデルにおけるステレオタイプとバイアスの存在は、人間から収集され社会バイアスを反映したトレーニングデータの性質に起因することが示されている。
多言語言語モデルは、様々な言語から派生したトレーニングデータはあるものの、単言語モデルと同じ訓練手順を経る。
1つのソーシャルコンテキストに存在するステレオタイプは、モデル内の言語にまたがってリークするのでしょうか?
本研究ではまず,「ステレオタイプ漏洩」という用語を定義し,その測定のための枠組みを提案する。
この枠組みを用いて、英語、ロシア語、中国語、ヒンディー語という4つの言語にまたがるステレオタイプ関係の漏えいについて検討する。
ステレオタイプリークの定量化には,グループ・トレーディング・アソシエーションを通じてステレオタイプを測定する社会心理学からのアプローチを用いる。
我々は,mBERT,mT5,ChatGPTなどの多言語大言語モデルに現れるヒトのステレオタイプとステレオタイプ関連を評価した。
以上の結果から,全言語で陽性,陰性,非極性な関連が明らかとなった。
特に、多言語モデルのヒンディー語は他の言語の影響を受けやすいが、中国語は最小である。
加えて、ChatGPTは他のモデルよりも人間のスコアとの整合性が優れている。
関連論文リスト
- The Less the Merrier? Investigating Language Representation in
Multilingual Models [8.632506864465501]
多言語モデルにおける言語表現について検討する。
我々は、コミュニティ中心のモデルが、低リソース言語で同じ家系の言語を区別する上で、より良い性能を発揮することを実験から観察した。
論文 参考訳(メタデータ) (2023-10-20T02:26:34Z) - Comparing Biases and the Impact of Multilingual Training across Multiple
Languages [70.84047257764405]
ダウンストリーム感情分析タスクにおいて,イタリア語,中国語,英語,ヘブライ語,スペイン語のバイアス分析を行う。
我々は、既存の感情バイアスのテンプレートを、人種、宗教、国籍、性別の4つの属性で、イタリア語、中国語、ヘブライ語、スペイン語に適応させる。
以上の結果から,各言語の文化に支配的な集団の嗜好など,バイアス表現の類似性を明らかにした。
論文 参考訳(メタデータ) (2023-05-18T18:15:07Z) - Counteracts: Testing Stereotypical Representation in Pre-trained
Language Models [4.211128681972148]
我々は,事前学習言語モデル(PLM)の内部ステレオタイプ知識を調べるために,反例を用いている。
我々は,9種類のクローゼスタイルのプロンプトに対して,異なる情報と基本知識で7つのPLMを評価する。
論文 参考訳(メタデータ) (2023-01-11T07:52:59Z) - Are Pretrained Multilingual Models Equally Fair Across Languages? [0.0]
この研究は多言語モデルの群フェアネスを調査し、これらのモデルが言語間で等しく公平かどうかを問う。
我々は、MozArt上の3つの多言語モデル(mBERT、XLM-R、mT5)を評価し、これらのモデルが4つの対象言語で異なるグループ格差を示すことを示す。
論文 参考訳(メタデータ) (2022-10-11T13:59:19Z) - Do Multilingual Language Models Capture Differing Moral Norms? [71.52261949766101]
大量多言語文表現は、未処理データの大規模なコーパスに基づいて訓練される。
これは、高資源言語からの道徳的判断を含む文化的価値をモデルが把握する原因となる可能性がある。
特定の言語におけるデータ不足は、ランダムで潜在的に有害な信念を発達させる可能性がある。
論文 参考訳(メタデータ) (2022-03-18T12:26:37Z) - Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。
すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。
言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文 参考訳(メタデータ) (2021-09-01T09:32:06Z) - How Good is Your Tokenizer? On the Monolingual Performance of
Multilingual Language Models [96.32118305166412]
本研究では,5つの単一言語下流タスクのセットに基づいて,事前学習可能な単言語モデルを持つ9種類の言語について検討した。
多言語モデルの語彙で適切に表現された言語は、単言語モデルよりも性能が著しく低下する。
論文 参考訳(メタデータ) (2020-12-31T14:11:00Z) - Bridging Linguistic Typology and Multilingual Machine Translation with
Multi-View Language Representations [83.27475281544868]
特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。
我々の表現は類型学を組み込み、言語関係と相関関係を強化する。
次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
論文 参考訳(メタデータ) (2020-04-30T16:25:39Z) - XPersona: Evaluating Multilingual Personalized Chatbot [76.00426517401894]
我々はペルソナ・チャットの多言語拡張(XPersona)を提案する。
我々のデータセットには、多言語パーソナライズされたエージェントの構築と評価のための英語以外の6言語でのペルソナ会話が含まれています。
論文 参考訳(メタデータ) (2020-03-17T07:52:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。