論文の概要: Dutch CrowS-Pairs: Adapting a Challenge Dataset for Measuring Social Biases in Language Models for Dutch

• arxiv url: http://arxiv.org/abs/2507.16442v1
• Date: Tue, 22 Jul 2025 10:38:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-23 21:34:14.077211
• Title: Dutch CrowS-Pairs: Adapting a Challenge Dataset for Measuring Social Biases in Language Models for Dutch
• Title（参考訳）: オランダ語CrowS-Pairs:オランダ語モデルにおける社会的バイアス測定のためのチャレンジデータセットの適用
• Authors: Elza Strazda, Gerasimos Spanakis,
• Abstract要約: オランダ語モデルにおけるバイアスを測定するための、米国固有のCrowS-Pairsデータセットのオランダ版が紹介されている。 得られたデータセットは、性的指向、ジェンダー、障害などの9つのカテゴリのバイアスをカバーする1463の文ペアで構成されている。 CrowS-Pairsデータセットの英語版とフランス語版を使用して、英語(BERTとRoBERTa)とフランス語(FlauBERTとCamemBERT)でバイアスを評価した。
• 参考スコア（独自算出の注目度）: 6.522338519818378
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Warning: This paper contains explicit statements of offensive stereotypes which might be upsetting. Language models are prone to exhibiting biases, further amplifying unfair and harmful stereotypes. Given the fast-growing popularity and wide application of these models, it is necessary to ensure safe and fair language models. As of recent considerable attention has been paid to measuring bias in language models, yet the majority of studies have focused only on English language. A Dutch version of the US-specific CrowS-Pairs dataset for measuring bias in Dutch language models is introduced. The resulting dataset consists of 1463 sentence pairs that cover bias in 9 categories, such as Sexual orientation, Gender and Disability. The sentence pairs are composed of contrasting sentences, where one of the sentences concerns disadvantaged groups and the other advantaged groups. Using the Dutch CrowS-Pairs dataset, we show that various language models, BERTje, RobBERT, multilingual BERT, GEITje and Mistral-7B exhibit substantial bias across the various bias categories. Using the English and French versions of the CrowS-Pairs dataset, bias was evaluated in English (BERT and RoBERTa) and French (FlauBERT and CamemBERT) language models, and it was shown that English models exhibit the most bias, whereas Dutch models the least amount of bias. Additionally, results also indicate that assigning a persona to a language model changes the level of bias it exhibits. These findings highlight the variability of bias across languages and contexts, suggesting that cultural and linguistic factors play a significant role in shaping model biases.
• Abstract（参考訳）: 警告: この論文は、動揺しているかもしれない攻撃的ステレオタイプを明確に記述している。 言語モデルはバイアスを示す傾向があり、さらに不公平で有害なステレオタイプを増幅する。 これらのモデルの急速な普及と広範囲の応用を考えると、安全で公正な言語モデルを保証する必要がある。 近年では、言語モデルにおけるバイアスの測定にかなりの注意が払われているが、ほとんどの研究は英語のみに焦点を当てている。 オランダ語モデルにおけるバイアスを測定するための、米国固有のCrowS-Pairsデータセットのオランダ版が紹介されている。 得られたデータセットは、性的指向、ジェンダー、障害などの9つのカテゴリのバイアスをカバーする1463の文ペアで構成されている。 文対は、文の一方が不利なグループと他方が有利なグループに関する対照的な文で構成されている。 オランダ語のCrowS-Pairsデータセットを用いて、BERTje, RobBERT, multilingual BERT, GEITje, Mistral-7Bといった言語モデルが、様々なバイアスカテゴリにかなり偏っていることを示す。 CrowS-Pairsデータセットの英語版とフランス語版を用いて、英語(BERTとRoBERTa)とフランス語(FlauBERTとCamemBERT)の言語モデルでバイアスを評価した。 さらに、結果は、ペルソナを言語モデルに割り当てることによって、それが示すバイアスのレベルが変化することも示している。 これらの知見は、言語や文脈にまたがるバイアスの多様性を強調し、文化的・言語的要因がモデルバイアスの形成に重要な役割を果たすことを示唆している。

関連論文リスト

• Surface Fairness, Deep Bias: A Comparative Study of Bias in Language Models [49.41113560646115]
  大規模言語モデル(LLM)におけるバイアスの様々なプロキシ尺度について検討する。 MMLU (Multi-subject benchmark) を用いた人格評価モデルでは, スコアの無作為かつ大半がランダムな差が生じることがわかった。 LLMアシスタントメモリとパーソナライゼーションの最近の傾向により、これらの問題は異なる角度から開かれている。
  論文  参考訳（メタデータ） (2025-06-12T08:47:40Z)
• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• MBBQ: A Dataset for Cross-Lingual Comparison of Stereotypes in Generative LLMs [6.781972039785424]
  生成的大規模言語モデル(LLM)は有害なバイアスやステレオタイプを示すことが示されている。 MBBQは、オランダ語、スペイン語、トルコ語でよく見られるステレオタイプを測定するデータセットである。 その結果、文化的な変化を抑えながら、英語以外の言語では、英語よりも偏見に悩まされていることが確認された。
  論文  参考訳（メタデータ） (2024-06-11T13:23:14Z)
• Investigating Gender Bias in Turkish Language Models [3.100560442806189]
  トルコ語モデルにおけるジェンダーバイアスの重要性について検討する。 我々は既存のバイアス評価フレームワークを構築し、それらをトルコ語に拡張する。 具体的には、クルド人の民族的偏見を埋め込んだトルコ語モデルを評価する。
  論文  参考訳（メタデータ） (2024-04-17T20:24:41Z)
• Multilingual Text-to-Image Generation Magnifies Gender Stereotypes and Prompt Engineering May Not Help You [64.74707085021858]
  多言語モデルは、モノリンガルモデルと同様に、有意な性別バイアスに悩まされていることを示す。 多言語モデルにおけるジェンダーバイアスの研究を促進するための新しいベンチマークMAGBIGを提案する。 以上の結果から,モデルが強い性バイアスを示すだけでなく,言語によって異なる行動を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-01-29T12:02:28Z)
• Social Bias Probing: Fairness Benchmarking for Language Models [38.180696489079985]
  本稿では,社会的偏見を考慮した言語モデル構築のための新しい枠組みを提案する。 既存のフェアネスコレクションの制限に対処するために設計された大規模なベンチマークであるSoFaをキュレートする。 我々は、言語モデル内のバイアスが認識されるよりもニュアンスが高いことを示し、これまで認識されていたよりもより広く符号化されたバイアスの範囲を示している。
  論文  参考訳（メタデータ） (2023-11-15T16:35:59Z)
• Comparing Biases and the Impact of Multilingual Training across Multiple Languages [70.84047257764405]
  ダウンストリーム感情分析タスクにおいて,イタリア語,中国語,英語,ヘブライ語,スペイン語のバイアス分析を行う。 我々は、既存の感情バイアスのテンプレートを、人種、宗教、国籍、性別の4つの属性で、イタリア語、中国語、ヘブライ語、スペイン語に適応させる。 以上の結果から,各言語の文化に支配的な集団の嗜好など,バイアス表現の類似性を明らかにした。
  論文  参考訳（メタデータ） (2023-05-18T18:15:07Z)
• An Analysis of Social Biases Present in BERT Variants Across Multiple Languages [0.0]
  多様な言語からなる単言語BERTモデルにおけるバイアスについて検討する。 文の擬似類似度に基づいて,任意のバイアスを測定するテンプレートベースの手法を提案する。 偏見探索の現在の手法は言語に依存していると結論付けている。
  論文  参考訳（メタデータ） (2022-11-25T23:38:08Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• UnQovering Stereotyping Biases via Underspecified Questions [68.81749777034409]
  未特定質問からバイアスを探索・定量化するためのフレームワークUNQOVERを提案する。 モデルスコアの素直な使用は,2種類の推論誤差による誤ったバイアス推定につながる可能性があることを示す。 我々はこの指標を用いて、性別、国籍、民族、宗教の4つの重要なステレオタイプの分析を行う。
  論文  参考訳（メタデータ） (2020-10-06T01:49:52Z)
• CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in Masked Language Models [30.582132471411263]
  Crowd Stereotype Pairsベンチマーク(CrowS-Pairs)を紹介する。 CrowS-Pairsには1508の例があり、人種、宗教、年齢など9種類の偏見を扱うステレオタイプをカバーしている。 その結果, CrowS-Pairs の各カテゴリーにおいて, 広く使われている3つの文のすべてが, 実質的にステレオタイプを好んでいることがわかった。
  論文  参考訳（メタデータ） (2020-09-30T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。