論文の概要: Multilingual large language models leak human stereotypes across language boundaries

• arxiv url: http://arxiv.org/abs/2312.07141v1
• Date: Tue, 12 Dec 2023 10:24:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 16:38:26.947467
• Title: Multilingual large language models leak human stereotypes across language boundaries
• Title（参考訳）: 多言語大言語モデルが言語境界を越えて人間のステレオタイプをリーク
• Authors: Yang Trista Cao, Anna Sotnikova, Jieyu Zhao, Linda X. Zou, Rachel Rudinger, Hal Daume III
• Abstract要約: 我々は、英語、ロシア語、中国語、ヒンディー語という4つの言語にまたがるステレオタイプ的関連について検討する。 以上の結果から,全言語で陽性,陰性,非極性な関連が明らかとなった。
• 参考スコア（独自算出の注目度）: 27.44800483421269
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multilingual large language models have been increasingly popular for their proficiency in comprehending and generating text across various languages. Previous research has shown that the presence of stereotypes and biases in monolingual large language models can be attributed to the nature of their training data, which is collected from humans and reflects societal biases. Multilingual language models undergo the same training procedure as monolingual ones, albeit with training data sourced from various languages. This raises the question: do stereotypes present in one social context leak across languages within the model? In our work, we first define the term ``stereotype leakage'' and propose a framework for its measurement. With this framework, we investigate how stereotypical associations leak across four languages: English, Russian, Chinese, and Hindi. To quantify the stereotype leakage, we employ an approach from social psychology, measuring stereotypes via group-trait associations. We evaluate human stereotypes and stereotypical associations manifested in multilingual large language models such as mBERT, mT5, and ChatGPT. Our findings show a noticeable leakage of positive, negative, and non-polar associations across all languages. Notably, Hindi within multilingual models appears to be the most susceptible to influence from other languages, while Chinese is the least. Additionally, ChatGPT exhibits a better alignment with human scores than other models.
• Abstract（参考訳）: 多言語大言語モデルは、様々な言語にまたがるテキストの理解と生成の能力で、ますます人気が高まっている。 これまでの研究では、単言語大言語モデルにおけるステレオタイプとバイアスの存在は、人間から収集され社会バイアスを反映したトレーニングデータの性質に起因することが示されている。 多言語言語モデルは、様々な言語から派生したトレーニングデータはあるものの、単言語モデルと同じ訓練手順を経る。 1つのソーシャルコンテキストに存在するステレオタイプは、モデル内の言語にまたがってリークするのでしょうか? 本研究ではまず,「ステレオタイプ漏洩」という用語を定義し,その測定のための枠組みを提案する。 この枠組みを用いて、英語、ロシア語、中国語、ヒンディー語という4つの言語にまたがるステレオタイプ関係の漏えいについて検討する。 ステレオタイプリークの定量化には,グループ・トレーディング・アソシエーションを通じてステレオタイプを測定する社会心理学からのアプローチを用いる。 我々は,mBERT,mT5,ChatGPTなどの多言語大言語モデルに現れるヒトのステレオタイプとステレオタイプ関連を評価した。 以上の結果から,全言語で陽性,陰性,非極性な関連が明らかとなった。 特に、多言語モデルのヒンディー語は他の言語の影響を受けやすいが、中国語は最小である。 加えて、ChatGPTは他のモデルよりも人間のスコアとの整合性が優れている。

関連論文リスト

• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• Does Liking Yellow Imply Driving a School Bus? Semantic Leakage in Language Models [113.58052868898173]
  我々は、モデルが予期しない方法でプロンプトから生成元に無関係な情報を漏らす現象を識別し、特徴付けする。 本研究では,人間と自動の両方でセマンティックリークを検出するための評価設定を提案し,その振る舞いを診断するための多様なテストスイートをキュレートし,13のフラッグシップモデルにおいて重要なセマンティックリークを測定する。
  論文  参考訳（メタデータ） (2024-08-12T22:30:55Z)
• Multilingual Text-to-Image Generation Magnifies Gender Stereotypes and Prompt Engineering May Not Help You [64.74707085021858]
  多言語モデルは、モノリンガルモデルと同様に、有意な性別バイアスに悩まされていることを示す。 多言語モデルにおけるジェンダーバイアスの研究を促進するための新しいベンチマークMAGBIGを提案する。 以上の結果から,モデルが強い性バイアスを示すだけでなく,言語によって異なる行動を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-01-29T12:02:28Z)
• Counteracts: Testing Stereotypical Representation in Pre-trained Language Models [4.211128681972148]
  我々は,事前学習言語モデル(PLM)の内部ステレオタイプ知識を調べるために,反例を用いている。 我々は,9種類のクローゼスタイルのプロンプトに対して,異なる情報と基本知識で7つのPLMを評価する。
  論文  参考訳（メタデータ） (2023-01-11T07:52:59Z)
• Are Pretrained Multilingual Models Equally Fair Across Languages? [0.0]
  この研究は多言語モデルの群フェアネスを調査し、これらのモデルが言語間で等しく公平かどうかを問う。 我々は、MozArt上の3つの多言語モデル(mBERT、XLM-R、mT5)を評価し、これらのモデルが4つの対象言語で異なるグループ格差を示すことを示す。
  論文  参考訳（メタデータ） (2022-10-11T13:59:19Z)
• Language Contamination Explains the Cross-lingual Capabilities of English Pretrained Models [79.38278330678965]
  一般的な英語事前学習コーパスには、かなりの量の非英語テキストが含まれていることが判明した。 これにより、大規模なデータセットで数十億の外国語トークンが生成される。 そして、これらの少数の非英語データでさえ、それらに基づいて訓練されたモデルの言語間移動を促進することを実証する。
  論文  参考訳（メタデータ） (2022-04-17T23:56:54Z)
• Do Multilingual Language Models Capture Differing Moral Norms? [71.52261949766101]
  大量多言語文表現は、未処理データの大規模なコーパスに基づいて訓練される。 これは、高資源言語からの道徳的判断を含む文化的価値をモデルが把握する原因となる可能性がある。 特定の言語におけるデータ不足は、ランダムで潜在的に有害な信念を発達させる可能性がある。
  論文  参考訳（メタデータ） (2022-03-18T12:26:37Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Uncovering Constraint-Based Behavior in Neural Models via Targeted Fine-Tuning [9.391375268580806]
  本研究は,言語知識が不明な言語内での競合する言語プロセスを示す。 人間の行動は言語間で類似していることがわかったが、モデル行動の言語間差異は見いだされている。 以上の結果から,言語における言語的制約と相対的ランクの双方をモデルが学習する必要があることが示唆された。
  論文  参考訳（メタデータ） (2021-06-02T14:52:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。