論文の概要: Evaluating Gender Bias of Pre-trained Language Models in Natural Language Inference by Considering All Labels
- arxiv url: http://arxiv.org/abs/2309.09697v3
- Date: Sat, 18 May 2024 11:10:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-22 00:30:29.357683
- Title: Evaluating Gender Bias of Pre-trained Language Models in Natural Language Inference by Considering All Labels
- Title（参考訳）: 全ラベルを考慮した自然言語推論における事前学習言語モデルの性バイアス評価
- Authors: Panatchakorn Anantaprayoon, Masahiro Kaneko, Naoaki Okazaki,
- Abstract要約: 複数の言語を対象とした事前学習言語モデル(PLM)では、差別的な性バイアスが発見されている。
自然言語推論の3つのラベルをすべて考慮した,NLI-CoAL と呼ばれる PLM のバイアス評価手法を提案する。
我々は、英語、日本語、中国語でデータセットを作成し、複数の言語にまたがるバイアス測定をうまく検証する。
- 参考スコア（独自算出の注目度）: 38.1620443730172
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Discriminatory gender biases have been found in Pre-trained Language Models (PLMs) for multiple languages. In Natural Language Inference (NLI), existing bias evaluation methods have focused on the prediction results of one specific label out of three labels, such as neutral. However, such evaluation methods can be inaccurate since unique biased inferences are associated with unique prediction labels. Addressing this limitation, we propose a bias evaluation method for PLMs, called NLI-CoAL, which considers all the three labels of NLI task. First, we create three evaluation data groups that represent different types of biases. Then, we define a bias measure based on the corresponding label output of each data group. In the experiments, we introduce a meta-evaluation technique for NLI bias measures and use it to confirm that our bias measure can distinguish biased, incorrect inferences from non-biased incorrect inferences better than the baseline, resulting in a more accurate bias evaluation. We create the datasets in English, Japanese, and Chinese, and successfully validate the compatibility of our bias measure across multiple languages. Lastly, we observe the bias tendencies in PLMs of different languages. To our knowledge, we are the first to construct evaluation datasets and measure PLMs' bias from NLI in Japanese and Chinese.
- Abstract（参考訳）: 複数の言語を対象とした事前学習言語モデル(PLM)では、差別的な性バイアスが発見されている。
自然言語推論(NLI)において、既存のバイアス評価手法は、中性などの3つのラベルのうち1つの特定のラベルの予測結果に焦点を当てている。
しかし、ユニークなバイアス付き推論がユニークな予測ラベルと関連付けられているため、そのような評価手法は不正確である。
この制限に対処するため、NLIタスクの3つのラベルをすべて考慮した、NLI-CoALと呼ばれるPLMのバイアス評価手法を提案する。
まず、異なる種類のバイアスを表す3つの評価データグループを作成します。
次に,各データ群のラベル出力に基づいてバイアス尺度を定義する。
実験では,NLI偏差測定のメタ評価手法を導入し,偏差測定が非偏差的推論と非偏差的推論との偏差を識別し,より正確な偏差評価を行う。
我々は、英語、日本語、中国語でデータセットを作成し、複数の言語にまたがるバイアス尺度の適合性を検証することに成功した。
最後に、異なる言語のPLMにおけるバイアス傾向を観察する。
我々の知る限り、我々はまず評価データセットを構築し、日本語と中国語のNLIからPLMのバイアスを測定する。
関連論文リスト
- CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models [58.57987316300529]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを処理するために、ますます多くデプロイされている。
LLMが示すバイアスを評価するために、研究者は最近、様々なデータセットを提案している。
我々は,様々な社会的グループやタスクにまたがる様々なバイアスをカバーした構成的評価ベンチマークであるCEBを提案する。
論文 参考訳（メタデータ） (2024-07-02T16:31:37Z) - What is Your Favorite Gender, MLM? Gender Bias Evaluation in Multilingual Masked Language Models [8.618945530676614]
本稿では,中国語,英語,ドイツ語,ポルトガル語,スペイン語の5言語から,多言語辞書の性別バイアスを推定する手法を提案する。
ジェンダーバイアスのより堅牢な分析のための文対を生成するために,新しいモデルに基づく手法を提案する。
以上の結果から,複数の評価指標をベストプラクティスとして用いた大規模データセットでは,性別バイアスを研究すべきであることが示唆された。
論文 参考訳（メタデータ） (2024-04-09T21:12:08Z) - Projective Methods for Mitigating Gender Bias in Pre-trained Language Models [10.418595661963062]
プロジェクティブメソッドは実装が高速で、少数の保存されたパラメータを使用し、既存のモデルパラメータを更新しない。
射影法は内在バイアスと下流バイアス軽減の両方に有効であるが, 両者の結果は必ずしも相関しない。
論文 参考訳（メタデータ） (2024-03-27T17:49:31Z) - Language-Agnostic Bias Detection in Language Models with Bias Probing [22.695872707061078]
プレトレーニング言語モデル(PLM)はNLPの主要な構成要素であるが、強い社会的バイアスを含んでいる。
本研究では,PAMにおける社会的バイアスを頑健かつ言語に依存しない方法で評価するための,LABDetと呼ばれるバイアス探索手法を提案する。
歴史的・政治的文脈に整合した6つの言語において,一貫した民族性バイアスパターンがモノリンガル PLM にまたがっていることがわかった。
論文 参考訳（メタデータ） (2023-05-22T17:58:01Z) - Counter-GAP: Counterfactual Bias Evaluation through Gendered Ambiguous
Pronouns [53.62845317039185]
バイアス測定データセットは、言語モデルのバイアスされた振る舞いを検出する上で重要な役割を果たす。
本稿では, 多様な, 自然な, 最小限のテキストペアを, 対物生成によって収集する新しい手法を提案する。
事前学習された4つの言語モデルは、各グループ内よりも、異なる性別グループ間でかなり不整合であることを示す。
論文 参考訳（メタデータ） (2023-02-11T12:11:03Z) - Testing Occupational Gender Bias in Language Models: Towards Robust Measurement and Zero-Shot Debiasing [98.07536837448293]
大規模言語モデル(LLM)は、様々な人口層に対して有害で人間らしいバイアスを示すことが示されている。
生成言語モデルにおけるバイアスを頑健に測定するためのdesiderataのリストを紹介する。
次に、このベンチマークを使用して、Llama、Mistral、およびそれらの命令チューニングバージョンを含む、最先端のオープンソースLLMをテストします。
論文 参考訳（メタデータ） (2022-12-20T22:41:24Z) - MABEL: Attenuating Gender Bias using Textual Entailment Data [20.489427903240017]
我々は、文脈化表現における性別バイアスを軽減するための中間的事前学習手法であるMABELを提案する。
このアプローチの鍵となるのは、非現実的に強化されたジェンダーバランスのエンターメントペアに対して、対照的な学習目標を使用することである。
我々はMABELが従来のタスク非依存のデバイアスアプローチよりも公平性で優れていることを示す。
論文 参考訳（メタデータ） (2022-10-26T18:36:58Z) - Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。
既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。
本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
論文 参考訳（メタデータ） (2021-09-16T23:40:28Z) - LOGAN: Local Group Bias Detection by Clustering [86.38331353310114]
コーパスレベルでバイアスを評価することは、モデルにバイアスがどのように埋め込まれているかを理解するのに十分ではない、と我々は主張する。
クラスタリングに基づく新しいバイアス検出手法であるLOGANを提案する。
毒性分類および対象分類タスクの実験は、LOGANが局所領域のバイアスを特定することを示している。
論文 参考訳（メタデータ） (2020-10-06T16:42:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。