論文の概要: A Sandbox Tool to Bias(Stress)-Test Fairness Algorithms
- arxiv url: http://arxiv.org/abs/2204.10233v2
- Date: Tue, 13 Dec 2022 18:00:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-19 16:23:32.360824
- Title: A Sandbox Tool to Bias(Stress)-Test Fairness Algorithms
- Title(参考訳): Bias(Stress)-Test Fairnessアルゴリズムのためのサンドボックスツール
- Authors: Nil-Jana Akpinar, Manish Nagireddy, Logan Stapleton, Hao-Fei Cheng,
Haiyi Zhu, Steven Wu, Hoda Heidari
- Abstract要約: バイアス注入型サンドボックスツールの概念と実装について, 各種バイアスの公平性について検討する。
既存のツールキットとは異なり、私たちのツールはMLパイプラインに事実上バイアスを注入する制御された環境を提供します。
特に、バイアス注入前において、偏りのない状態の真のラベルに介入した後に生じる予測を比較することで、与えられた治療法が注入されたバイアスを軽減することができるかどうかを検証できる。
- 参考スコア(独自算出の注目度): 19.86635585740634
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Motivated by the growing importance of reducing unfairness in ML predictions,
Fair-ML researchers have presented an extensive suite of algorithmic
'fairness-enhancing' remedies. Most existing algorithms, however, are agnostic
to the sources of the observed unfairness. As a result, the literature
currently lacks guiding frameworks to specify conditions under which each
algorithmic intervention can potentially alleviate the underpinning cause of
unfairness. To close this gap, we scrutinize the underlying biases (e.g., in
the training data or design choices) that cause observational unfairness. We
present the conceptual idea and a first implementation of a bias-injection
sandbox tool to investigate fairness consequences of various biases and assess
the effectiveness of algorithmic remedies in the presence of specific types of
bias. We call this process the bias(stress)-testing of algorithmic
interventions. Unlike existing toolkits, ours provides a controlled environment
to counterfactually inject biases in the ML pipeline. This stylized setup
offers the distinct capability of testing fairness interventions beyond
observational data and against an unbiased benchmark. In particular, we can
test whether a given remedy can alleviate the injected bias by comparing the
predictions resulting after the intervention in the biased setting with true
labels in the unbiased regime-that is, before any bias injection. We illustrate
the utility of our toolkit via a proof-of-concept case study on synthetic data.
Our empirical analysis showcases the type of insights that can be obtained
through our simulations.
- Abstract(参考訳): ml予測における不公平さの低減の重要性の高まりに動機づけられたfair-ml研究者は、アルゴリズムによる「フェアネス・エンハンシング(fairness-enhancing)」レメディエーションの広範なスイートを提示した。
しかし、既存のアルゴリズムのほとんどは、観測された不公平さの源を知らない。
その結果、現在、各アルゴリズムの介入が不公平の根本原因を和らげる可能性のある条件を特定するための指針の枠組みが欠如している。
このギャップを埋めるために、観察的不公平の原因となる基盤となるバイアス(トレーニングデータや設計選択など)を調査します。
本研究では, 偏見の公平性を検証し, 偏見の存在下でのアルゴリズム的対策の有効性を評価するために, 偏見注入型サンドボックスツールの概念と実装について述べる。
この過程をアルゴリズム的介入のバイアス(ストレス)テストと呼ぶ。
既存のツールキットとは異なり、当社はmlパイプラインにバイアスを事実上注入するコントロール環境を提供します。
このスタイリッシュな設定は、観測データを越えて、バイアスのないベンチマークに対して公正な介入をテストする、明確な能力を提供します。
特に、偏りのない状態の真のラベルにバイアス設定を介入した後の予測、つまりバイアス注入の前に、与えられた治療法が注入バイアスを軽減することができるかどうかを検証できる。
本稿では,合成データに関する概念実証事例研究を通じて,ツールキットの有用性について述べる。
実験分析では,シミュレーションによって得られる洞察の種類を示す。
関連論文リスト
- Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。
また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。
様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
論文 参考訳(メタデータ) (2023-02-22T14:50:24Z) - Fairness and Explainability: Bridging the Gap Towards Fair Model
Explanations [12.248793742165278]
我々は、説明に基づく手続き指向公正の新たな視点を提示することにより、公正性と説明可能性のギャップを埋める。
本稿では,複数の目的を同時に達成する包括的公正性アルゴリズム (CFA) を提案する。
論文 参考訳(メタデータ) (2022-12-07T18:35:54Z) - Systematic Evaluation of Predictive Fairness [60.0947291284978]
バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。
複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。
データ条件が相対モデルの性能に強い影響を与えることがわかった。
論文 参考訳(メタデータ) (2022-10-17T05:40:13Z) - D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling
Algorithmic Bias [57.87117733071416]
D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。
ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。
それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
論文 参考訳(メタデータ) (2022-08-10T03:41:48Z) - More Data Can Lead Us Astray: Active Data Acquisition in the Presence of
Label Bias [7.506786114760462]
提案されたバイアス緩和戦略は、一般的に観察されたラベルに示されるバイアスを見落としている。
まず,教師あり学習システムのコンテキストにおけるラベルバイアスについて概説する。
次に、ラベルバイアスを見渡すと、より多くのデータを集めることでバイアスが増大し、データ収集プロセスで観測されたラベルに依存する公正な制約が問題に対処できないことを実証的に示します。
論文 参考訳(メタデータ) (2022-07-15T19:30:50Z) - Understanding Unfairness in Fraud Detection through Model and Data Bias
Interactions [4.159343412286401]
アルゴリズムの不公平性は、データ内のモデルとバイアスの間の相互作用に起因すると我々は主張する。
フェアネスブラインドMLアルゴリズムが示す公平さと正確さのトレードオフに関する仮説を、異なるデータバイアス設定下で検討する。
論文 参考訳(メタデータ) (2022-07-13T15:18:30Z) - Information-Theoretic Bias Reduction via Causal View of Spurious
Correlation [71.9123886505321]
本稿では,スプリアス相関の因果的解釈による情報理論バイアス測定手法を提案する。
本稿では,バイアス正規化損失を含むアルゴリズムバイアスに対する新しいデバイアスフレームワークを提案する。
提案したバイアス測定とデバイアス法は、多様な現実シナリオで検証される。
論文 参考訳(メタデータ) (2022-01-10T01:19:31Z) - A Statistical Test for Probabilistic Fairness [11.95891442664266]
不正な分類を検知するための統計的仮説テストを提案する。
理論的にも実証的にも,提案された試験が正しいことを示す。
さらに,提案フレームワークは,データの最も好ましい摂動を識別することにより,解釈可能性を提供する。
論文 参考訳(メタデータ) (2020-12-09T00:20:02Z) - Towards causal benchmarking of bias in face analysis algorithms [54.19499274513654]
顔分析アルゴリズムのアルゴリズムバイアスを測定する実験手法を開発した。
提案手法は,一致したサンプル画像の合成トランスクター'を生成することに基づく。
性別分類アルゴリズムの偏見を従来の観察法を用いて分析することにより,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2020-07-13T17:10:34Z) - Mitigating Gender Bias Amplification in Distribution by Posterior
Regularization [75.3529537096899]
本稿では,男女差の増幅問題について,分布の観点から検討する。
後続正則化に基づくバイアス緩和手法を提案する。
私たちの研究はバイアス増幅の理解に光を当てている。
論文 参考訳(メタデータ) (2020-05-13T11:07:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。