論文の概要: A Sandbox Tool to Bias(Stress)-Test Fairness Algorithms
- arxiv url: http://arxiv.org/abs/2204.10233v1
- Date: Thu, 21 Apr 2022 16:12:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-22 14:51:29.622211
- Title: A Sandbox Tool to Bias(Stress)-Test Fairness Algorithms
- Title（参考訳）: Bias(Stress)-Test Fairnessアルゴリズムのためのサンドボックスツール
- Authors: Nil-Jana Akpinar, Manish Nagireddy, Logan Stapleton, Hao-Fei Cheng,
Haiyi Zhu, Steven Wu, Hoda Heidari
- Abstract要約: 各種バイアスの公平性について検討するために, 偏差注入式サンドボックスツールを提案する。
特定のバイアスが存在する場合のアルゴリズム的治療の有効性を評価する。
既存のツールキットとは異なり、私たちのツールはMLパイプラインに事実上バイアスを注入する制御された環境を提供します。
- 参考スコア（独自算出の注目度）: 19.86635585740634
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Motivated by the growing importance of reducing unfairness in ML predictions,
Fair-ML researchers have presented an extensive suite of algorithmic
"fairness-enhancing" remedies. Most existing algorithms, however, are agnostic
to the sources of the observed unfairness. As a result, the literature
currently lacks guiding frameworks to specify conditions under which each
algorithmic intervention can potentially alleviate the underpinning cause of
unfairness. To close this gap, we scrutinize the underlying biases (e.g., in
the training data or design choices) that cause observational unfairness. We
present a bias-injection sandbox tool to investigate fairness consequences of
various biases and assess the effectiveness of algorithmic remedies in the
presence of specific types of bias. We call this process the
bias(stress)-testing of algorithmic interventions. Unlike existing toolkits,
ours provides a controlled environment to counterfactually inject biases in the
ML pipeline. This stylized setup offers the distinct capability of testing
fairness interventions beyond observational data and against an unbiased
benchmark. In particular, we can test whether a given remedy can alleviate the
injected bias by comparing the predictions resulting after the intervention in
the biased setting with true labels in the unbiased regime -- that is, before
any bias injection. We illustrate the utility of our toolkit via a
proof-of-concept case study on synthetic data. Our empirical analysis showcases
the type of insights that can be obtained through our simulations.
- Abstract（参考訳）: ml予測における不公平さの低減の重要性の高まりに動機づけられたfair-ml研究者は、アルゴリズムによる「フェアネス・エンハンシング(fairness-enhancing)」レメディエーションの広範なスイートを提示した。
しかし、既存のアルゴリズムのほとんどは、観測された不公平さの源を知らない。
その結果、現在、各アルゴリズムの介入が不公平の根本原因を和らげる可能性のある条件を特定するための指針の枠組みが欠如している。
このギャップを埋めるために、観察的不公平の原因となる基盤となるバイアス(トレーニングデータや設計選択など)を調査します。
バイアスインジェクションサンドボックスツールを用いて,様々なバイアスの公平性への影響を調査し,特定のバイアスの存在下でのアルゴリズム的治療の有効性を評価する。
この過程をアルゴリズム的介入のバイアス(ストレス)テストと呼ぶ。
既存のツールキットとは異なり、当社はmlパイプラインにバイアスを事実上注入するコントロール環境を提供します。
このスタイリッシュな設定は、観測データを越えて、バイアスのないベンチマークに対して公正な介入をテストする、明確な能力を提供します。
特に、バイアスインジェクションの前にバイアスド・セッティングの介入後に生じる予測とバイアスインジェクションの真のラベルを比較することで、与えられた治療が注入されたバイアスを緩和できるかどうかをテストできる。
本稿では,合成データに関する概念実証事例研究を通じて,ツールキットの有用性について述べる。
実験分析では,シミュレーションによって得られる洞察の種類を示す。
関連論文リスト
- Outlier Detection Bias Busted: Understanding Sources of Algorithmic Bias through Data-centric Factors [28.869581543676947]
unsupervised outlier detection (OD) は、金融、セキュリティ等に多くの応用がある。
この研究は、データ中心の異なる要因の下で検出モデルを監査することで、ODの不公平な源泉に光を当てることを目的としている。
この研究に基づくODアルゴリズムは、すべて公正な落とし穴を示すが、どの種類のデータバイアスがより影響を受けやすいかは異なる。
論文 参考訳（メタデータ） (2024-08-24T20:35:32Z) - Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。
FASTは最先端のベースラインを超え、デバイアス性能が優れている。
これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
論文 参考訳（メタデータ） (2024-08-07T17:14:58Z) - Inference-Time Selective Debiasing [27.578390085427156]
モデル全体の品質向上を目的とした,推論時の安全性メカニズムである選択的デバイアス(elective debiasing)を提案する。
潜在的なバイアスのあるモデル予測を特定し、それらを捨てる代わりに、後処理のデバイアス手法であるLEACEを使ってそれらをデバイアスします。
テキスト分類データセットを用いた実験では、選択的デバイアスは、後処理方法とトレーニングと前処理のデバイアス技術の間のパフォーマンスギャップを埋めるのに役立つことが示されている。
論文 参考訳（メタデータ） (2024-07-27T21:56:23Z) - Fairness and Explainability: Bridging the Gap Towards Fair Model
Explanations [12.248793742165278]
我々は、説明に基づく手続き指向公正の新たな視点を提示することにより、公正性と説明可能性のギャップを埋める。
本稿では,複数の目的を同時に達成する包括的公正性アルゴリズム (CFA) を提案する。
論文 参考訳（メタデータ） (2022-12-07T18:35:54Z) - Systematic Evaluation of Predictive Fairness [60.0947291284978]
バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。
複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。
データ条件が相対モデルの性能に強い影響を与えることがわかった。
論文 参考訳（メタデータ） (2022-10-17T05:40:13Z) - D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling
Algorithmic Bias [57.87117733071416]
D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。
ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。
それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
論文 参考訳（メタデータ） (2022-08-10T03:41:48Z) - Information-Theoretic Bias Reduction via Causal View of Spurious
Correlation [71.9123886505321]
本稿では,スプリアス相関の因果的解釈による情報理論バイアス測定手法を提案する。
本稿では,バイアス正規化損失を含むアルゴリズムバイアスに対する新しいデバイアスフレームワークを提案する。
提案したバイアス測定とデバイアス法は、多様な現実シナリオで検証される。
論文 参考訳（メタデータ） (2022-01-10T01:19:31Z) - A Statistical Test for Probabilistic Fairness [11.95891442664266]
不正な分類を検知するための統計的仮説テストを提案する。
理論的にも実証的にも,提案された試験が正しいことを示す。
さらに,提案フレームワークは,データの最も好ましい摂動を識別することにより,解釈可能性を提供する。
論文 参考訳（メタデータ） (2020-12-09T00:20:02Z) - Towards causal benchmarking of bias in face analysis algorithms [54.19499274513654]
顔分析アルゴリズムのアルゴリズムバイアスを測定する実験手法を開発した。
提案手法は,一致したサンプル画像の合成トランスクター'を生成することに基づく。
性別分類アルゴリズムの偏見を従来の観察法を用いて分析することにより,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2020-07-13T17:10:34Z) - Mitigating Gender Bias Amplification in Distribution by Posterior
Regularization [75.3529537096899]
本稿では,男女差の増幅問題について,分布の観点から検討する。
後続正則化に基づくバイアス緩和手法を提案する。
私たちの研究はバイアス増幅の理解に光を当てている。
論文 参考訳（メタデータ） (2020-05-13T11:07:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。