論文の概要: Examining risks of racial biases in NLP tools for child protective
services
- arxiv url: http://arxiv.org/abs/2305.19409v1
- Date: Tue, 30 May 2023 21:00:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-01 19:41:31.401958
- Title: Examining risks of racial biases in NLP tools for child protective
services
- Title(参考訳): 児童保護サービスのためのNLPツールにおける人種バイアスのリスクの検討
- Authors: Anjalie Field, Amanda Coston, Nupoor Gandhi, Alexandra Chouldechova,
Emily Putnam-Hornstein, David Steier, Yulia Tsvetkov
- Abstract要約: 児童保護サービス(CPS)に焦点をあてる。
この設定で確立された人種的偏見を考えると、NLPの展開は人種格差を増大させる可能性がある。
我々は、NERモデルにおける一貫したアルゴリズムの不公平性、コア参照解決モデルにおけるアルゴリズムの不公平性、およびリスク予測における人種バイアスの悪化の証拠を文書化している。
- 参考スコア(独自算出の注目度): 78.81107364902958
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Although much literature has established the presence of demographic bias in
natural language processing (NLP) models, most work relies on curated bias
metrics that may not be reflective of real-world applications. At the same
time, practitioners are increasingly using algorithmic tools in high-stakes
settings, with particular recent interest in NLP. In this work, we focus on one
such setting: child protective services (CPS). CPS workers often write copious
free-form text notes about families they are working with, and CPS agencies are
actively seeking to deploy NLP models to leverage these data. Given
well-established racial bias in this setting, we investigate possible ways
deployed NLP is liable to increase racial disparities. We specifically examine
word statistics within notes and algorithmic fairness in risk prediction,
coreference resolution, and named entity recognition (NER). We document
consistent algorithmic unfairness in NER models, possible algorithmic
unfairness in coreference resolution models, and little evidence of exacerbated
racial bias in risk prediction. While there is existing pronounced criticism of
risk prediction, our results expose previously undocumented risks of racial
bias in realistic information extraction systems, highlighting potential
concerns in deploying them, even though they may appear more benign. Our work
serves as a rare realistic examination of NLP algorithmic fairness in a
potential deployed setting and a timely investigation of a specific risk
associated with deploying NLP in CPS settings.
- Abstract(参考訳): 多くの文献は、自然言語処理(NLP)モデルにおける人口統計バイアスの存在を確立しているが、ほとんどの研究は、現実世界の応用を反映していないかもしれない計算済みのバイアスメトリクスに依存している。
同時に、実践者はアルゴリズムツールをハイテイクな設定で利用し、特に最近のNLPへの関心が高まっている。
本研究では,子ども保護サービス(cps)という設定に着目した。
CPSの作業員は、共同作業している家族に関する敬意を表したフリーフォームのテキストノートを書くことが多く、CPS機関は、これらのデータを活用するためにNLPモデルを積極的に展開しようとしている。
この設定で確立された人種バイアスを考えると、NLPの展開は人種格差を増大させる可能性がある。
特に,音符中の単語統計や,リスク予測,コリファレンス解決,名前付きエンティティ認識(ner)におけるアルゴリズム的公平性について検討した。
我々は、NERモデルにおける一貫したアルゴリズムの不公平性、コア参照解決モデルにおけるアルゴリズムの不公平性、およびリスク予測における人種バイアスの悪化の証拠を文書化している。
リスク予測に対する批判は存在するが,実物的情報抽出システムでは従来文書化されていなかった人種的バイアスのリスクを露呈し,より良質に見えるものの,それらの導入に関する潜在的な懸念を浮き彫りにしている。
我々の研究は、潜在的にデプロイされた環境でのNLPアルゴリズムフェアネスの稀な現実的な検証と、CPS設定におけるNLPのデプロイに伴う特定のリスクのタイムリーな調査である。
関連論文リスト
- The Impact of Differential Feature Under-reporting on Algorithmic
Fairness [94.24956808302319]
解析的に抽出可能な差分特徴のアンダーレポーティングモデルを提案する。
そして、この種のデータバイアスがアルゴリズムの公正性に与える影響を特徴づける。
我々の結果は、実世界のデータ設定では、アンダーレポートが典型的に格差を増大させることを示している。
論文 参考訳(メタデータ) (2024-01-16T19:16:22Z) - Unmasking Nationality Bias: A Study of Human Perception of Nationalities
in AI-Generated Articles [10.8637226966191]
自然言語処理(NLP)モデルにおける国籍バイアスの可能性について,人間の評価手法を用いて検討した。
本研究は、テキスト生成モデルにおける国籍バイアスの影響を識別し、理解するために、2段階の混合手法を用いている。
以上の結果から,NLPモデルでは既存の社会的バイアスを再現・増幅する傾向があり,社会工学的な場面で使用すれば害につながる可能性が示唆された。
論文 参考訳(メタデータ) (2023-08-08T15:46:27Z) - Toward Improving Predictive Risk Modelling for New Zealand's Child
Welfare System Using Clustering Methods [0.0]
本研究の目的は,児童虐待の予測リスクモデル開発における早期段階として,クラスタリングの度合いを明らかにすることである。
以上の結果から, ある年齢の子供に対して, 誤差率のさらなる制御とモデル精度の向上のために, 個別のモデルを開発する必要がある可能性が示唆された。
論文 参考訳(メタデータ) (2023-08-08T05:46:03Z) - Are fairness metric scores enough to assess discrimination biases in
machine learning? [4.073786857780967]
我々は,Biosデータセットに焦点をあて,学習課題は,その伝記に基づいて個人の職業を予測することである。
我々は、グループワイドフェアネスメトリクスを扱う理論的議論の重要な制限に対処する。
そして、トレーニングセットのサイズが、合理的に正確な予測を学習するのに十分な場合、どの程度の信頼性が一般的なバイアスの尺度に異なるのかを問う。
論文 参考訳(メタデータ) (2023-06-08T15:56:57Z) - Uncertainty in Natural Language Processing: Sources, Quantification, and
Applications [56.130945359053776]
NLP分野における不確実性関連作業の総合的なレビューを行う。
まず、自然言語の不確実性の原因を、入力、システム、出力の3つのタイプに分類する。
我々は,NLPにおける不確実性推定の課題について論じ,今後の方向性について論じる。
論文 参考訳(メタデータ) (2023-06-05T06:46:53Z) - A Survey of Methods for Addressing Class Imbalance in Deep-Learning
Based Natural Language Processing [68.37496795076203]
非バランスなデータを扱うNLP研究者や実践者に対してガイダンスを提供する。
まず、制御および実世界のクラス不均衡の様々なタイプについて論じる。
サンプリング,データ拡張,損失関数の選択,ステージ学習,モデル設計に基づく手法を整理する。
論文 参考訳(メタデータ) (2022-10-10T13:26:40Z) - D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling
Algorithmic Bias [57.87117733071416]
D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。
ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。
それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
論文 参考訳(メタデータ) (2022-08-10T03:41:48Z) - A Survey on Bias and Fairness in Natural Language Processing [1.713291434132985]
我々は、バイアスの起源、公平性の定義、NLPバイアスのサブフィールドの違いを緩和する方法について分析する。
我々は,NLPアルゴリズムによる悪質な偏見の根絶に向けた今後の研究について論じる。
論文 参考訳(メタデータ) (2022-03-06T18:12:30Z) - Statistical discrimination in learning agents [64.78141757063142]
統計的差別は、訓練人口のバイアスとエージェントアーキテクチャの両方の関数としてエージェントポリシーに現れる。
我々は、リカレントニューラルネットワークを使用するエージェントによる差別の低減と、トレーニング環境のバイアスの低減が示される。
論文 参考訳(メタデータ) (2021-10-21T18:28:57Z) - Predicting Early Dropout: Calibration and Algorithmic Fairness
Considerations [2.7048165023994057]
本研究では,大学中退のリスクを予測できる機械学習手法を開発した。
予測精度(AUC)および誤差率(一般化偽陽性率、GFPR、一般化偽陰性率、GFNR)の観点から、この方法が一部の敏感群の識別結果につながるかどうかを分析します。
論文 参考訳(メタデータ) (2021-03-16T13:42:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。