論文の概要: Evaluating Gender Bias of Pre-trained Language Models in Natural Language Inference by Considering All Labels

• arxiv url: http://arxiv.org/abs/2309.09697v1
• Date: Mon, 18 Sep 2023 12:02:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 13:40:44.896284
• Title: Evaluating Gender Bias of Pre-trained Language Models in Natural Language Inference by Considering All Labels
• Title（参考訳）: 全ラベルを考慮した自然言語推論における事前学習言語モデルの性バイアス評価
• Authors: Panatchakorn Anantaprayoon, Masahiro Kaneko, Naoaki Okazaki
• Abstract要約: 性別バイアスを含む差別的社会的バイアスは、事前訓練された言語モデル(PLM)で発見されている。 本稿では,自然言語推論タスクにおける全てのラベルを考慮に入れた評価手法を提案する。 日本語と中国語のNLIタスクから,まず評価データセットを構築し,PLMのバイアスを測定する。
• 参考スコア（独自算出の注目度）: 42.89031347094013
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discriminatory social biases, including gender biases, have been found in Pre-trained Language Models (PLMs). In Natural Language Inference (NLI), recent bias evaluation methods have observed biased inferences from the outputs of a particular label such as neutral or entailment. However, since different biased inferences can be associated with different output labels, it is inaccurate for a method to rely on one label. In this work, we propose an evaluation method that considers all labels in the NLI task. We create evaluation data and assign them into groups based on their expected biased output labels. Then, we define a bias measure based on the corresponding label output of each data group. In the experiment, we propose a meta-evaluation method for NLI bias measures, and then use it to confirm that our measure can evaluate bias more accurately than the baseline. Moreover, we show that our evaluation method is applicable to multiple languages by conducting the meta-evaluation on PLMs in three different languages: English, Japanese, and Chinese. Finally, we evaluate PLMs of each language to confirm their bias tendency. To our knowledge, we are the first to build evaluation datasets and measure the bias of PLMs from the NLI task in Japanese and Chinese.
• Abstract（参考訳）: 性別バイアスを含む差別的社会バイアスは、事前訓練された言語モデル(plm)で発見されている。 自然言語推論(NLI)において、近年のバイアス評価手法は、中性やエンテーメントなどの特定のラベルの出力からバイアス付き推論を観測している。 しかし、異なるバイアス付き推論は異なる出力ラベルに関連付けられるため、メソッドが一つのラベルに依存することは不正確である。 本研究では,NLIタスクのすべてのラベルを考慮した評価手法を提案する。 評価データを作成し,期待されるバイアス付き出力ラベルに基づいてグループに割り当てる。 次に、各データグループの対応するラベル出力に基づいてバイアス測度を定義する。 実験では,NLI偏差測定のメタ評価法を提案し,それを用いて基準値よりも精度の高い偏差評価が可能であることを確認した。 また,本手法は英語,日本語,中国語の3言語におけるplmのメタ評価を行うことにより,複数の言語に適用できることを示す。 最後に,各言語のPLMを評価し,そのバイアス傾向を確認する。 私たちの知識では、まず評価データセットを構築し、日本語と中国語のnliタスクからplmのバイアスを計測します。

関連論文リスト

• NBIAS: A Natural Language Processing Framework for Bias Identification in Text [9.486702261615166]
  テキストデータのバイアスは、データが使用されると歪んだ解釈や結果につながる可能性がある。 偏りのあるデータに基づいて訓練されたアルゴリズムは、あるグループに不公平に影響を及ぼす決定を下すかもしれない。 我々は,データ,コーパス構築,モデル開発,評価レイヤの4つの主要レイヤからなる包括的フレームワーク NBIAS を開発した。
  論文  参考訳（メタデータ） (2023-08-03T10:48:30Z)
• Language-Agnostic Bias Detection in Language Models [13.392153721811557]
  プレトレーニング言語モデル(PLM)はNLPの主要な構成要素であるが、強い社会的バイアスを含んでいる。 PLMのバイアス評価のための頑健な言語非依存手法であるLABDetを提案する。 歴史的・政治的文脈に整合した6つの言語において,一貫した民族性バイアスパターンがモノリンガル PLM にまたがっていることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T17:58:01Z)
• Counter-GAP: Counterfactual Bias Evaluation through Gendered Ambiguous Pronouns [53.62845317039185]
  バイアス測定データセットは、言語モデルのバイアスされた振る舞いを検出する上で重要な役割を果たす。 本稿では, 多様な, 自然な, 最小限のテキストペアを, 対物生成によって収集する新しい手法を提案する。 事前学習された4つの言語モデルは、各グループ内よりも、異なる性別グループ間でかなり不整合であることを示す。
  論文  参考訳（メタデータ） (2023-02-11T12:11:03Z)
• An Analysis of Social Biases Present in BERT Variants Across Multiple Languages [0.0]
  多様な言語からなる単言語BERTモデルにおけるバイアスについて検討する。 文の擬似類似度に基づいて,任意のバイアスを測定するテンプレートベースの手法を提案する。 偏見探索の現在の手法は言語に依存していると結論付けている。
  論文  参考訳（メタデータ） (2022-11-25T23:38:08Z)
• MABEL: Attenuating Gender Bias using Textual Entailment Data [20.489427903240017]
  我々は、文脈化表現における性別バイアスを軽減するための中間的事前学習手法であるMABELを提案する。 このアプローチの鍵となるのは、非現実的に強化されたジェンダーバランスのエンターメントペアに対して、対照的な学習目標を使用することである。 我々はMABELが従来のタスク非依存のデバイアスアプローチよりも公平性で優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-26T18:36:58Z)
• Social Biases in Automatic Evaluation Metrics for NLG [53.76118154594404]
  本稿では,単語埋め込みアソシエーションテスト(WEAT)と文埋め込みアソシエーションテスト(SEAT)に基づく評価手法を提案する。 我々は、画像キャプションやテキスト要約タスクにおける性別バイアスの影響を調査するために、性別対応メタ評価データセットを構築した。
  論文  参考訳（メタデータ） (2022-10-17T08:55:26Z)
• Automatically Identifying Semantic Bias in Crowdsourced Natural Language Inference Datasets [78.6856732729301]
  NLIデータセットに仮説を組み込んだ学習空間に"バイアスクラスタ"を見つけるために,モデル駆動で教師なしの手法を導入する。 データセットの仮説分布のセマンティックバイアスを改善するために、介入と追加のラベリングを行うことができる。
  論文  参考訳（メタデータ） (2021-12-16T22:49:01Z)
• Evaluating Metrics for Bias in Word Embeddings [64.55554083622258]
  我々は、過去の研究の考えに基づいてバイアス定義を定式化し、バイアスメトリクスの条件を導出する。 そこで我々は,既存のメトリクスの欠点に対処する新しい計量であるhetを提案し,その振る舞いを数学的に証明する。
  論文  参考訳（メタデータ） (2021-11-15T16:07:15Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)
• Unmasking Contextual Stereotypes: Measuring and Mitigating BERT's Gender Bias [12.4543414590979]
  文脈化された単語の埋め込みは、NLPシステムにおける標準的な埋め込みを置き換えている。 英語とドイツ語の専門職名と性別記述対象語との関係を調べた結果,性別バイアスを測定した。 偏見を測定する手法はドイツ語のような豊かでジェンダーの指標を持つ言語に適していることを示す。
  論文  参考訳（メタデータ） (2020-10-27T18:06:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。