論文の概要: Addressing Both Statistical and Causal Gender Fairness in NLP Models
- arxiv url: http://arxiv.org/abs/2404.00463v1
- Date: Sat, 30 Mar 2024 20:05:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 03:40:06.015733
- Title: Addressing Both Statistical and Causal Gender Fairness in NLP Models
- Title(参考訳): NLPモデルにおける統計的および因果性フェアネスの対応
- Authors: Hannah Chen, Yangfeng Ji, David Evans,
- Abstract要約: 統計的公正性は、保護されたすべてのグループに対して同等の結果を規定するが、因果公正性は、モデルが保護された特性に関係なく、個人に対して同じ予測を行うことを規定する。
統計的および因果的脱バイアス法の組み合わせにより,両指標間の偏差を低減できることを実証した。
- 参考スコア(独自算出の注目度): 22.75594773147521
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Statistical fairness stipulates equivalent outcomes for every protected group, whereas causal fairness prescribes that a model makes the same prediction for an individual regardless of their protected characteristics. Counterfactual data augmentation (CDA) is effective for reducing bias in NLP models, yet models trained with CDA are often evaluated only on metrics that are closely tied to the causal fairness notion; similarly, sampling-based methods designed to promote statistical fairness are rarely evaluated for causal fairness. In this work, we evaluate both statistical and causal debiasing methods for gender bias in NLP models, and find that while such methods are effective at reducing bias as measured by the targeted metric, they do not necessarily improve results on other bias metrics. We demonstrate that combinations of statistical and causal debiasing techniques are able to reduce bias measured through both types of metrics.
- Abstract(参考訳): 統計的公正性は、保護されたすべてのグループに対して同等の結果を規定するが、因果公正性は、モデルが保護された特性に関係なく、個人に対して同じ予測を行うことを規定する。
CDA(Counterfactual Data Augmentation)は、NLPモデルのバイアスを軽減するために有効であるが、CDAで訓練されたモデルは、因果フェアネスの概念と密接に結びついているメトリクスでのみ評価されることが多い。
本研究では,NLPモデルにおける性別バイアスの統計的および因果的偏りの評価を行い,これらの手法は,対象の指標によって測定された偏りを低減するのに有効であるが,他の偏り指標の結果を必ずしも改善しないことを示した。
統計的および因果的脱バイアス法の組み合わせにより,両指標間の偏差を低減できることを実証した。
関連論文リスト
- Fast Model Debias with Machine Unlearning [54.32026474971696]
ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。
既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。
バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
論文 参考訳(メタデータ) (2023-10-19T08:10:57Z) - Balancing Unobserved Confounding with a Few Unbiased Ratings in Debiased
Recommendations [4.960902915238239]
本稿では,既存のデバイアス法に適用可能な理論的に保証されたモデル非依存バランス手法を提案する。
提案手法では, バイアスデータを用いて学習したモデルパラメータを補正し, バイアスデータのバランス係数を適応的に学習することで, バイアスデータを完全に活用する。
論文 参考訳(メタデータ) (2023-04-17T08:56:55Z) - Counter-GAP: Counterfactual Bias Evaluation through Gendered Ambiguous
Pronouns [53.62845317039185]
バイアス測定データセットは、言語モデルのバイアスされた振る舞いを検出する上で重要な役割を果たす。
本稿では, 多様な, 自然な, 最小限のテキストペアを, 対物生成によって収集する新しい手法を提案する。
事前学習された4つの言語モデルは、各グループ内よりも、異なる性別グループ間でかなり不整合であることを示す。
論文 参考訳(メタデータ) (2023-02-11T12:11:03Z) - D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling
Algorithmic Bias [57.87117733071416]
D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。
ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。
それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
論文 参考訳(メタデータ) (2022-08-10T03:41:48Z) - De-biasing "bias" measurement [20.049916973204102]
グループワイドモデルの性能格差を測定するために用いられる指標は、それらが表す基礎となる量の統計的偏りの推定値であることを示す。
本稿では,グループ間におけるモデル性能のばらつきの非バイアス推定と不確実性定量化を行う「二重補正分散推定器」を提案する。
論文 参考訳(メタデータ) (2022-05-11T20:51:57Z) - Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。
この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
論文 参考訳(メタデータ) (2022-03-16T15:00:33Z) - Information-Theoretic Bias Reduction via Causal View of Spurious
Correlation [71.9123886505321]
本稿では,スプリアス相関の因果的解釈による情報理論バイアス測定手法を提案する。
本稿では,バイアス正規化損失を含むアルゴリズムバイアスに対する新しいデバイアスフレームワークを提案する。
提案したバイアス測定とデバイアス法は、多様な現実シナリオで検証される。
論文 参考訳(メタデータ) (2022-01-10T01:19:31Z) - Information-Theoretic Bias Assessment Of Learned Representations Of
Pretrained Face Recognition [18.07966649678408]
保護された人口統計属性に対するバイアスの度合いを特定するために,情報理論,独立バイアス評価指標を提案する。
我々の測定基準は、分類精度に依存する他の方法と異なり、浅いネットワークを用いて予測される保護属性の予測ラベルと地上の真実の差を調べる。
論文 参考訳(メタデータ) (2021-11-08T17:41:17Z) - Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。
既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。
本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
論文 参考訳(メタデータ) (2021-09-16T23:40:28Z) - TARA: Training and Representation Alteration for AI Fairness and Domain
Generalization [6.6147550436077776]
この方法は、AIバイアスの顕著な原因の軽減のためにトレーニングおよび表現変換(TARA)を実行するデュアル戦略を使用します。
画像解析の手法をテストすると、実験により、TARAがベースラインモデルを著しく、あるいは完全に破壊することを示した。
偏り評価に使用される現在の測定基準の一定の限界を認識し, 新たな整合性偏り測定基準を提案する。
論文 参考訳(メタデータ) (2020-12-11T14:39:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。