論文の概要: When mitigating bias is unfair: multiplicity and arbitrariness in algorithmic group fairness
- arxiv url: http://arxiv.org/abs/2302.07185v2
- Date: Wed, 22 May 2024 09:07:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-26 21:42:06.053601
- Title: When mitigating bias is unfair: multiplicity and arbitrariness in algorithmic group fairness
- Title(参考訳): 緩和バイアスが不公平であるとき--アルゴリズム群フェアネスにおける乗法性と仲裁性
- Authors: Natasa Krco, Thibault Laugel, Vincent Grari, Jean-Michel Loubes, Marcin Detyniecki,
- Abstract要約: 本稿では,5次元によるバイアス緩和を評価するFRAME(FaiRness Arbitrariness and Multiplicity Evaluation)フレームワークを紹介する。
FRAMEをキーデータセット全体にわたる様々なバイアス緩和アプローチに適用することにより、デバイアス手法の挙動に顕著な違いを示すことができる。
これらの知見は、現在の公平性基準の限界と、偏見過程における固有の仲裁性を強調している。
- 参考スコア(独自算出の注目度): 8.367620276482056
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most research on fair machine learning has prioritized optimizing criteria such as Demographic Parity and Equalized Odds. Despite these efforts, there remains a limited understanding of how different bias mitigation strategies affect individual predictions and whether they introduce arbitrariness into the debiasing process. This paper addresses these gaps by exploring whether models that achieve comparable fairness and accuracy metrics impact the same individuals and mitigate bias in a consistent manner. We introduce the FRAME (FaiRness Arbitrariness and Multiplicity Evaluation) framework, which evaluates bias mitigation through five dimensions: Impact Size (how many people were affected), Change Direction (positive versus negative changes), Decision Rates (impact on models' acceptance rates), Affected Subpopulations (who was affected), and Neglected Subpopulations (where unfairness persists). This framework is intended to help practitioners understand the impacts of debiasing processes and make better-informed decisions regarding model selection. Applying FRAME to various bias mitigation approaches across key datasets allows us to exhibit significant differences in the behaviors of debiasing methods. These findings highlight the limitations of current fairness criteria and the inherent arbitrariness in the debiasing process.
- Abstract(参考訳): 公正な機械学習に関するほとんどの研究は、Demographic ParityやEqualized Oddsといった最適化基準を優先している。
これらの努力にもかかわらず、異なるバイアス緩和戦略が個々の予測にどのように影響するか、そして彼らが偏見の過程に任意性を導入するかどうかについては、まだ限定的な理解が残っている。
本稿では,同等の公平度と精度の指標を達成できるモデルが同一個人に影響を及ぼし,バイアスを一貫した方法で緩和するかどうかを検討することで,これらのギャップに対処する。
本研究では, 影響の大きさ(人数), 変化方向(肯定的・否定的変化), 決定率(モデル受容率), 影響サブ集団(影響者), 無視サブ集団(不公平性が持続する部分)の5次元でバイアス緩和を評価するFRAME(FaiRness Arbitrariness and Multiplicity Evaluation)フレームワークを紹介する。
このフレームワークは、実践者がデバイアスプロセスの影響を理解し、モデル選択に関するより良いインフォームド決定を行うのを助けることを目的としています。
FRAMEをキーデータセット全体にわたる様々なバイアス緩和アプローチに適用することにより、デバイアス手法の挙動に顕著な違いを示すことができる。
これらの知見は、現在の公平性基準の限界と、偏見過程における固有の仲裁性を強調している。
関連論文リスト
- How to be fair? A study of label and selection bias [3.018638214344819]
バイアス付きデータがバイアス付きおよび潜在的に不公平なモデルにつながることは広く受け入れられている。
データにおけるバイアスとモデル予測のためのいくつかの尺度が提案され、バイアス軽減技術が提案されている。
過去10年間に開発された無数の緩和技術にもかかわらず、どの方法が機能するかはいまだに理解されていない。
論文 参考訳(メタデータ) (2024-03-21T10:43:55Z) - Explaining Knock-on Effects of Bias Mitigation [13.46387356280467]
機械学習システムでは、バイアス緩和アプローチは特権と特権のないグループ間で成果をより公平にすることを目的としている。
本稿では,緩和介入を適用した場合のコホートの影響を特徴付けることを目的とする。
モデルライフサイクルの様々な段階で機能するバイアス緩和戦略について検討する。
検討の結果,全ての緩和策が非自明な事例,すなわち緩和努力のみでは望ましくない結果に悪影響を及ぼすことが明らかとなった。
論文 参考訳(メタデータ) (2023-12-01T18:40:37Z) - Evaluating the Fairness of Discriminative Foundation Models in Computer
Vision [51.176061115977774]
本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。
そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。
具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
論文 参考訳(メタデータ) (2023-10-18T10:32:39Z) - Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。
また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。
様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
論文 参考訳(メタデータ) (2023-02-22T14:50:24Z) - Fair Enough: Standardizing Evaluation and Model Selection for Fairness
Research in NLP [64.45845091719002]
現代のNLPシステムは様々なバイアスを示しており、モデル偏見に関する文献が増えている。
本稿では,その現状を解明し,公正学習における意味ある進歩の道筋を立案することを目的とする。
論文 参考訳(メタデータ) (2023-02-11T14:54:00Z) - Systematic Evaluation of Predictive Fairness [60.0947291284978]
バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。
複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。
データ条件が相対モデルの性能に強い影響を与えることがわかった。
論文 参考訳(メタデータ) (2022-10-17T05:40:13Z) - Survey on Fairness Notions and Related Tensions [4.257210316104905]
自動化された意思決定システムは、雇用やローンの貸与といった問題において、逐次的な決定を下すのにますます使われています。
しかし、客観的機械学習(ML)アルゴリズムはバイアスを起こしやすいため、不公平な判断を下す。
本稿では、一般的に使われている公正概念を調査し、プライバシと精度で両者間の緊張関係について論じる。
論文 参考訳(メタデータ) (2022-09-16T13:36:05Z) - D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling
Algorithmic Bias [57.87117733071416]
D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。
ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。
それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
論文 参考訳(メタデータ) (2022-08-10T03:41:48Z) - Cross-model Fairness: Empirical Study of Fairness and Ethics Under Model Multiplicity [10.144058870887061]
1つの予測器が等しく機能するモデルのグループからアドホックに選択された場合、個人は害を受ける可能性があると我々は主張する。
これらの不公平性は実生活で容易に発見でき、技術的手段だけで緩和することは困難である可能性が示唆された。
論文 参考訳(メタデータ) (2022-03-14T14:33:39Z) - Information-Theoretic Bias Reduction via Causal View of Spurious
Correlation [71.9123886505321]
本稿では,スプリアス相関の因果的解釈による情報理論バイアス測定手法を提案する。
本稿では,バイアス正規化損失を含むアルゴリズムバイアスに対する新しいデバイアスフレームワークを提案する。
提案したバイアス測定とデバイアス法は、多様な現実シナリオで検証される。
論文 参考訳(メタデータ) (2022-01-10T01:19:31Z) - One-vs.-One Mitigation of Intersectional Bias: A General Method to
Extend Fairness-Aware Binary Classification [0.48733623015338234]
1-vs.ワン・マイティゲーション(英: One-vs. One Mitigation)は、二項分類のためのフェアネス認識機械学習と、センシティブ属性に関連する各サブグループの比較プロセスである。
本手法は,すべての設定において従来の手法よりも交叉バイアスを緩和する。
論文 参考訳(メタデータ) (2020-10-26T11:35:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。