論文の概要: Examining risks of racial biases in NLP tools for child protective services

• arxiv url: http://arxiv.org/abs/2305.19409v1
• Date: Tue, 30 May 2023 21:00:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 19:41:31.401958
• Title: Examining risks of racial biases in NLP tools for child protective services
• Title（参考訳）: 児童保護サービスのためのNLPツールにおける人種バイアスのリスクの検討
• Authors: Anjalie Field, Amanda Coston, Nupoor Gandhi, Alexandra Chouldechova, Emily Putnam-Hornstein, David Steier, Yulia Tsvetkov
• Abstract要約: 児童保護サービス(CPS)に焦点をあてる。 この設定で確立された人種的偏見を考えると、NLPの展開は人種格差を増大させる可能性がある。 我々は、NERモデルにおける一貫したアルゴリズムの不公平性、コア参照解決モデルにおけるアルゴリズムの不公平性、およびリスク予測における人種バイアスの悪化の証拠を文書化している。
• 参考スコア（独自算出の注目度）: 78.81107364902958
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Although much literature has established the presence of demographic bias in natural language processing (NLP) models, most work relies on curated bias metrics that may not be reflective of real-world applications. At the same time, practitioners are increasingly using algorithmic tools in high-stakes settings, with particular recent interest in NLP. In this work, we focus on one such setting: child protective services (CPS). CPS workers often write copious free-form text notes about families they are working with, and CPS agencies are actively seeking to deploy NLP models to leverage these data. Given well-established racial bias in this setting, we investigate possible ways deployed NLP is liable to increase racial disparities. We specifically examine word statistics within notes and algorithmic fairness in risk prediction, coreference resolution, and named entity recognition (NER). We document consistent algorithmic unfairness in NER models, possible algorithmic unfairness in coreference resolution models, and little evidence of exacerbated racial bias in risk prediction. While there is existing pronounced criticism of risk prediction, our results expose previously undocumented risks of racial bias in realistic information extraction systems, highlighting potential concerns in deploying them, even though they may appear more benign. Our work serves as a rare realistic examination of NLP algorithmic fairness in a potential deployed setting and a timely investigation of a specific risk associated with deploying NLP in CPS settings.
• Abstract（参考訳）: 多くの文献は、自然言語処理(NLP)モデルにおける人口統計バイアスの存在を確立しているが、ほとんどの研究は、現実世界の応用を反映していないかもしれない計算済みのバイアスメトリクスに依存している。 同時に、実践者はアルゴリズムツールをハイテイクな設定で利用し、特に最近のNLPへの関心が高まっている。 本研究では,子ども保護サービス(cps)という設定に着目した。 CPSの作業員は、共同作業している家族に関する敬意を表したフリーフォームのテキストノートを書くことが多く、CPS機関は、これらのデータを活用するためにNLPモデルを積極的に展開しようとしている。 この設定で確立された人種バイアスを考えると、NLPの展開は人種格差を増大させる可能性がある。 特に,音符中の単語統計や,リスク予測,コリファレンス解決,名前付きエンティティ認識(ner)におけるアルゴリズム的公平性について検討した。 我々は、NERモデルにおける一貫したアルゴリズムの不公平性、コア参照解決モデルにおけるアルゴリズムの不公平性、およびリスク予測における人種バイアスの悪化の証拠を文書化している。 リスク予測に対する批判は存在するが,実物的情報抽出システムでは従来文書化されていなかった人種的バイアスのリスクを露呈し,より良質に見えるものの,それらの導入に関する潜在的な懸念を浮き彫りにしている。 我々の研究は、潜在的にデプロイされた環境でのNLPアルゴリズムフェアネスの稀な現実的な検証と、CPS設定におけるNLPのデプロイに伴う特定のリスクのタイムリーな調査である。

関連論文リスト

• Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• Thinking Racial Bias in Fair Forgery Detection: Models, Datasets and Evaluations [63.52709761339949]
  最初に、Fair Forgery Detection(FairFD)データセットと呼ばれる専用のデータセットをコントリビュートし、SOTA(Public State-of-the-art)メソッドの人種的偏見を証明する。 我々は、偽りの結果を避けることができる平均的メトリクスと実用正規化メトリクスを含む新しいメトリクスを設計する。 また,有効で堅牢な後処理技術であるBias Pruning with Fair Activations (BPFA)も提案する。
  論文  参考訳（メタデータ） (2024-07-19T14:53:18Z)
• DispaRisk: Auditing Fairness Through Usable Information [21.521208250966918]
  DispaRiskは、マシンラーニングパイプラインの初期段階におけるデータセットの格差の潜在的なリスクを評価するために設計されたフレームワークである。 DispaRiskは、差別のリスクの高いデータセットを特定し、MLパイプライン内のバイアスが発生しやすいモデルファミリーを検出し、これらのバイアスリスクの説明可能性を高める。 この研究は、早期バイアス検出と緩和のための堅牢なツールを提供することにより、より公平なMLシステムの開発に寄与する。
  論文  参考訳（メタデータ） (2024-05-20T20:56:01Z)
• Beyond Predictive Algorithms in Child Welfare [12.994514011716138]
  児童福祉(CW)セクターのケースワーカーは、リスクアセスメント(RA)データに基づく予測的意思決定アルゴリズムを使用して、CW決定をガイドし、支援する。 我々の研究では、家族の評価やCWS予測リスクモデル(PRM)の構築に使用される共通リスク指標は、出生親と再結合していない子どもの退院を予測できないことが判明した。 ケースノートは放電結果を予測することはできないが、文脈的なケース信号を含んでいる。
  論文  参考訳（メタデータ） (2024-02-26T08:59:46Z)
• Unmasking Nationality Bias: A Study of Human Perception of Nationalities in AI-Generated Articles [10.8637226966191]
  自然言語処理(NLP)モデルにおける国籍バイアスの可能性について,人間の評価手法を用いて検討した。 本研究は、テキスト生成モデルにおける国籍バイアスの影響を識別し、理解するために、2段階の混合手法を用いている。 以上の結果から,NLPモデルでは既存の社会的バイアスを再現・増幅する傾向があり,社会工学的な場面で使用すれば害につながる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-08-08T15:46:27Z)
• Are fairness metric scores enough to assess discrimination biases in machine learning? [4.073786857780967]
  我々は,Biosデータセットに焦点をあて,学習課題は,その伝記に基づいて個人の職業を予測することである。 我々は、グループワイドフェアネスメトリクスを扱う理論的議論の重要な制限に対処する。 そして、トレーニングセットのサイズが、合理的に正確な予測を学習するのに十分な場合、どの程度の信頼性が一般的なバイアスの尺度に異なるのかを問う。
  論文  参考訳（メタデータ） (2023-06-08T15:56:57Z)
• Uncertainty in Natural Language Processing: Sources, Quantification, and Applications [56.130945359053776]
  NLP分野における不確実性関連作業の総合的なレビューを行う。 まず、自然言語の不確実性の原因を、入力、システム、出力の3つのタイプに分類する。 我々は,NLPにおける不確実性推定の課題について論じ,今後の方向性について論じる。
  論文  参考訳（メタデータ） (2023-06-05T06:46:53Z)
• D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias [57.87117733071416]
  D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。 ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。 それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
  論文  参考訳（メタデータ） (2022-08-10T03:41:48Z)
• A Survey on Bias and Fairness in Natural Language Processing [1.713291434132985]
  我々は、バイアスの起源、公平性の定義、NLPバイアスのサブフィールドの違いを緩和する方法について分析する。 我々は,NLPアルゴリズムによる悪質な偏見の根絶に向けた今後の研究について論じる。
  論文  参考訳（メタデータ） (2022-03-06T18:12:30Z)
• Statistical discrimination in learning agents [64.78141757063142]
  統計的差別は、訓練人口のバイアスとエージェントアーキテクチャの両方の関数としてエージェントポリシーに現れる。 我々は、リカレントニューラルネットワークを使用するエージェントによる差別の低減と、トレーニング環境のバイアスの低減が示される。
  論文  参考訳（メタデータ） (2021-10-21T18:28:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。