論文の概要: Auditing a Dutch Public Sector Risk Profiling Algorithm Using an Unsupervised Bias Detection Tool
- arxiv url: http://arxiv.org/abs/2502.01713v1
- Date: Mon, 03 Feb 2025 15:58:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-05 15:05:00.621105
- Title: Auditing a Dutch Public Sector Risk Profiling Algorithm Using an Unsupervised Bias Detection Tool
- Title（参考訳）: 教師なしバイアス検出ツールを用いたオランダの公共セクターリスクプロファイリングアルゴリズムの検討
- Authors: Floris Holstege, Mackenzie Jorgensen, Kirtan Padh, Jurriaan Parie, Joel Persson, Krsto Prorokovic, Lukas Snoek,
- Abstract要約: 本稿では,人口集団のデータが利用できない場合,教師なしクラスタリングツールを用いたバイアス検出について検討する。
我々はオランダ教育庁と協力し、大学生にリスクスコアを割り当てるアルゴリズムを監査した。
- 参考スコア（独自算出の注目度）: 0.837622912636323
- License:
- Abstract: Algorithms are increasingly used to automate or aid human decisions, yet recent research shows that these algorithms may exhibit bias across legally protected demographic groups. However, data on these groups may be unavailable to organizations or external auditors due to privacy legislation. This paper studies bias detection using an unsupervised clustering tool when data on demographic groups are unavailable. We collaborate with the Dutch Executive Agency for Education to audit an algorithm that was used to assign risk scores to college students at the national level in the Netherlands between 2012-2023. Our audit covers more than 250,000 students from the whole country. The unsupervised clustering tool highlights known disparities between students with a non-European migration background and Dutch origin. Our contributions are three-fold: (1) we assess bias in a real-world, large-scale and high-stakes decision-making process by a governmental organization; (2) we use simulation studies to highlight potential pitfalls of using the unsupervised clustering tool to detect true bias when demographic group data are unavailable and provide recommendations for valid inferences; (3) we provide the unsupervised clustering tool in an open-source library. Our work serves as a starting point for a deliberative assessment by human experts to evaluate potential discrimination in algorithmic-supported decision-making processes.
- Abstract（参考訳）: アルゴリズムは人間の判断の自動化や支援にますます使われていますが、最近の研究では、これらのアルゴリズムが法的に保護された人口集団に偏見を示す可能性があることが示されています。
しかし、これらの団体のデータは、プライバシー法により、組織や外部監査官には利用できない可能性がある。
本稿では,人口集団のデータが利用できない場合,教師なしクラスタリングツールを用いたバイアス検出について検討する。
われわれはオランダ教育庁と協力し、2012年から2023年にかけてオランダの全国レベルの大学生にリスクスコアを割り当てるアルゴリズムを監査した。
私たちの監査は全国から25万人以上の学生を対象としています。
教師なしのクラスタリングツールは、非ヨーロッパ移民の背景を持つ学生とオランダ起源の学生の間の既知の格差を強調している。
我々は,(1)政府組織による実世界の大規模意思決定プロセスにおけるバイアス評価,(2)人口集団データが利用できない場合の真のバイアスを検出するために教師なしクラスタリングツールを使用することの潜在的な落とし穴を明らかにするためのシミュレーション研究,(3)オープンソースライブラリにおける教師なしクラスタリングツールを提供する。
我々の研究は、アルゴリズムによる意思決定プロセスにおける潜在的な差別を評価するために、人間の専門家による熟考評価の出発点となる。
関連論文リスト
- Auditing for Bias in Ad Delivery Using Inferred Demographic Attributes [50.37313459134418]
広告配信のブラックボックス監査において,予測誤差が偏見の監査に与える影響について検討した。
本稿では,広告配信アルゴリズムのスキュー評価において,推測誤差を軽減する手法を提案する。
論文 参考訳（メタデータ） (2024-10-30T18:57:03Z) - Whither Bias Goes, I Will Go: An Integrative, Systematic Review of Algorithmic Bias Mitigation [1.0470286407954037]
機械学習(ML)モデルは不平等をバイアスし、持続し、悪化させる可能性があるという懸念が高まっている。
本稿では,MLアセスメントを開発し,バイアス軽減手法を適用した4段階モデルを提案する。
論文 参考訳（メタデータ） (2024-10-21T02:32:14Z) - Human-Centric Multimodal Machine Learning: Recent Advances and Testbed
on AI-based Recruitment [66.91538273487379]
人間中心のアプローチでAIアプリケーションを開発する必要性には、ある程度のコンセンサスがある。
i)ユーティリティと社会的善、(ii)プライバシとデータ所有、(iii)透明性と説明責任、(iv)AIによる意思決定プロセスの公正性。
異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
論文 参考訳（メタデータ） (2023-02-13T16:44:44Z) - Towards Auditing Unsupervised Learning Algorithms and Human Processes
For Fairness [39.77120515767369]
既存の研究は、統計パリティの標準定義を用いたバイナリ保護状態変数の2つのグループ分類問題について検討してきた。
ここでは、より複雑なフェアネスの定義の下で、多群設定を探索することによって監査の領域を構築する。
論文 参考訳（メタデータ） (2022-09-20T12:30:05Z) - Demographic-Reliant Algorithmic Fairness: Characterizing the Risks of
Demographic Data Collection in the Pursuit of Fairness [0.0]
我々は、アルゴリズムの公正性を実現するために、人口統計に関するより多くのデータを集めることを検討する。
これらの技術は、データガバナンスとシステム抑圧に関するより広範な疑問を、いかに無視するかを示す。
論文 参考訳（メタデータ） (2022-04-18T04:50:09Z) - Algorithmic Fairness Datasets: the Story so Far [68.45921483094705]
データ駆動アルゴリズムは、人々の幸福に直接影響し、批判的な決定をサポートするために、さまざまな領域で研究されている。
研究者のコミュニティは、既存のアルゴリズムの株式を調査し、新しいアルゴリズムを提案し、歴史的に不利な人口に対する自動意思決定のリスクと機会の理解を深めてきた。
公正な機械学習の進歩はデータに基づいており、適切に文書化された場合にのみ適切に使用できる。
残念なことに、アルゴリズムフェアネスコミュニティは、特定のリソース(オパシティ)に関する情報の不足と利用可能な情報の分散(スパーシティ)によって引き起こされる、集合的なデータドキュメント負債に悩まされている。
論文 参考訳（メタデータ） (2022-02-03T17:25:46Z) - A Comparative User Study of Human Predictions in Algorithm-Supported
Recidivism Risk Assessment [2.097880645003119]
本研究では,犯罪リスク予測を支援するために,アルゴリズムに基づくリスク評価装置を用いた効果について検討する。
刑務所から釈放された人が新たな犯罪を犯し、再投獄されるかどうかを予測する。
論文 参考訳（メタデータ） (2022-01-26T17:40:35Z) - Fair Group-Shared Representations with Normalizing Flows [68.29997072804537]
本研究では,異なるグループに属する個人を1つのグループにマッピングできる公正表現学習アルゴリズムを開発した。
提案手法は,他の公正表現学習アルゴリズムと競合することを示す。
論文 参考訳（メタデータ） (2022-01-17T10:49:49Z) - Decision-makers Processing of AI Algorithmic Advice: Automation Bias
versus Selective Adherence [0.0]
主な懸念は、アルゴリズムに対する人間の過度な信頼は、人間とアルゴリズムの相互作用に新しいバイアスをもたらすことである。
第2の懸念は、意思決定者が既存の信念やステレオタイプと一致した場合、アルゴリズム的なアドバイスを選択的に採用する傾向にある。
オランダにおける学校教師の雇用に関する決定におけるアルゴリズム的アドバイスの使用をシミュレートする2つの研究を通して、これらを評価する。
選択的、偏りのある遵守の私たちの発見は、公共部門でアルゴリズムの使用を推し進めた中立性の約束です。
論文 参考訳（メタデータ） (2021-03-03T13:10:50Z) - FairCVtest Demo: Understanding Bias in Multimodal Learning with a
Testbed in Fair Automatic Recruitment [79.23531577235887]
このデモは、非構造化データから機密情報を抽出する採用ツールの背後にある人工知能(AI)の能力を示しています。
また、このデモには差別認識学習のための新しいアルゴリズムが含まれており、マルチモーダルAIフレームワークの機密情報を排除している。
論文 参考訳（メタデータ） (2020-09-12T17:45:09Z) - Bias in Multimodal AI: Testbed for Fair Automatic Recruitment [73.85525896663371]
異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
我々は、性別や人種の偏りを意識的に評価したマルチモーダルな合成プロファイルを用いて、自動求人アルゴリズムを訓練する。
我々の方法論と結果は、一般により公平なAIベースのツール、特により公平な自動採用システムを生成する方法を示している。
論文 参考訳（メタデータ） (2020-04-15T15:58:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。