論文の概要: A Comprehensive Empirical Study of Bias Mitigation Methods for Software Fairness

• arxiv url: http://arxiv.org/abs/2207.03277v1
• Date: Thu, 7 Jul 2022 13:14:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-08 21:39:09.902510
• Title: A Comprehensive Empirical Study of Bias Mitigation Methods for Software Fairness
• Title（参考訳）: ソフトウェアフェアネスのためのバイアス除去手法に関する総合的研究
• Authors: Zhenpeng Chen, Jie M. Zhang, Federica Sarro, Mark Harman
• Abstract要約: 本稿では,バイアス緩和手法の大規模かつ包括的評価について述べる。 バイアス緩和法は,12の機械学習(ML)性能指標,4つのフェアネス指標,24種類のフェアネス・パフォーマンストレードオフ評価を用いて評価した。 バイアス緩和法の有効性は,タスク,モデル,公正度,機械学習のパフォーマンス指標に依存するが,すべてのシナリオにおいて有効な「銀の弾丸」バイアス緩和法は存在しない。
• 参考スコア（独自算出の注目度）: 27.67313504037565
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Software bias is an increasingly important operational concern for software engineers. We present a large-scale, comprehensive empirical evaluation of 17 representative bias mitigation methods, evaluated with 12 Machine Learning (ML) performance metrics, 4 fairness metrics, and 24 types of fairness-performance trade-off assessment, applied to 8 widely-adopted benchmark software decision/prediction tasks. The empirical coverage is comprehensive, covering the largest numbers of bias mitigation methods, evaluation metrics, and fairness-performance trade-off measures compared to previous work on this important operational software characteristic. We find that (1) the bias mitigation methods significantly decrease the values reported by all ML performance metrics (including those not considered in previous work) in a large proportion of the scenarios studied (42%~75% according to different ML performance metrics); (2) the bias mitigation methods achieve fairness improvement in only approximately 50% over all scenarios and metrics (ranging between 29%~59% according to the metric used to asses bias/fairness); (3) the bias mitigation methods have a poor fairness-performance trade-off or even lead to decreases in both fairness and ML performance in 37% of the scenarios; (4) the effectiveness of the bias mitigation methods depends on tasks, models, and fairness and ML performance metrics, and there is no 'silver bullet' bias mitigation method demonstrated to be effective for all scenarios studied. The best bias mitigation method that we find outperforms other methods in only 29% of the scenarios. We have made publicly available the scripts and data used in this study in order to allow for future replication and extension of our work.
• Abstract（参考訳）: ソフトウェアバイアスは、ソフトウェアエンジニアにとってますます重要な運用上の懸念である。 本研究では,17種類の代表バイアス緩和手法を大規模かつ総合的に評価し,12の機械学習(ml)性能指標,4つの公平性指標,24種類の公平性パフォーマンストレードオフ評価を用いて評価し,広く採用されている8つのベンチマークソフトウェア決定/予測タスクに適用した。 経験的カバレッジは包括的であり、この重要な運用ソフトウェアの特徴に対する以前の作業と比較して、バイアス緩和方法、評価指標、公平性パフォーマンストレードオフの最大数をカバーしている。 We find that (1) the bias mitigation methods significantly decrease the values reported by all ML performance metrics (including those not considered in previous work) in a large proportion of the scenarios studied (42%~75% according to different ML performance metrics); (2) the bias mitigation methods achieve fairness improvement in only approximately 50% over all scenarios and metrics (ranging between 29%~59% according to the metric used to asses bias/fairness); (3) the bias mitigation methods have a poor fairness-performance trade-off or even lead to decreases in both fairness and ML performance in 37% of the scenarios; (4) the effectiveness of the bias mitigation methods depends on tasks, models, and fairness and ML performance metrics, and there is no 'silver bullet' bias mitigation method demonstrated to be effective for all scenarios studied. 最善のバイアス軽減方法は,シナリオの29%で他の手法よりも優れています。 今後のレプリケーションと作業の拡張を可能にするため,本研究で使用されているスクリプトとデータを公開しました。

関連論文リスト

• Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• Evaluating the Fairness of Discriminative Foundation Models in Computer Vision [51.176061115977774]
  本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。 そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。 具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
  論文  参考訳（メタデータ） (2023-10-18T10:32:39Z)
• Fix Fairness, Don't Ruin Accuracy: Performance Aware Fairness Repair using AutoML [18.17660645381856]
  本稿では、自動機械学習(AutoML)技術を用いてバイアスを軽減する新しい手法を提案する。 AutoMLのデフォルトの最適化機能を改善し、公平さの目標を取り入れることで、バイアスをほとんど、あるいは全く精度を損なわずに軽減することが可能になります。 Fair-AutoMLは64例中60例を修復し,既存のバイアス緩和法は64例中44例を修復した。
  論文  参考訳（メタデータ） (2023-06-15T17:25:15Z)
• Leaving the Nest: Going Beyond Local Loss Functions for Predict-Then-Optimize [57.22851616806617]
  本手法は,文献から得られた4つの領域において,最先端の成果が得られることを示す。 提案手法は, 局所性仮定が破られた場合, 既存手法よりも200%近く性能が向上する。
  論文  参考訳（メタデータ） (2023-05-26T11:17:45Z)
• FITNESS: A Causal De-correlation Approach for Mitigating Bias in Machine Learning Software [6.4073906779537095]
  バイアスデータセットは不公平で潜在的に有害な結果をもたらす可能性がある。 本稿では,感性特徴とラベルの因果関係を関連づけたバイアス緩和手法を提案する。 我々のキーとなる考え方は、因果関係の観点からそのような効果を非相関化することで、モデルが繊細な特徴に基づいて予測することを避けることである。
  論文  参考訳（メタデータ） (2023-05-23T06:24:43Z)
• Fairness-Aware Data Valuation for Supervised Learning [4.874780144224057]
  本研究では,Fairness-Aware Data vauatiOn (FADO)を提案する。 FADOを不公平化前処理技術の基礎として活用する方法を示す。 提案手法は,最大40ppの公正度を,ベースラインに比べて性能が1pp以下で向上することを示す。
  論文  参考訳（メタデータ） (2023-03-29T18:51:13Z)
• Towards Fair Machine Learning Software: Understanding and Addressing Model Bias Through Counterfactual Thinking [16.196269707571904]
  本稿では,機械学習ソフトウェアにおけるバイアスの根本原因に対処するための新しい対策手法を提案する。 提案手法は,性能と公平性の両方に最適化されたモデルを組み合わせることで,両面において最適解となる。
  論文  参考訳（メタデータ） (2023-02-16T01:27:26Z)
• Systematic Evaluation of Predictive Fairness [60.0947291284978]
  バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。 複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。 データ条件が相対モデルの性能に強い影響を与えることがわかった。
  論文  参考訳（メタデータ） (2022-10-17T05:40:13Z)
• Bias Mitigation for Machine Learning Classifiers: A Comprehensive Survey [30.637712832450525]
  ML分類器のバイアス軽減に関する合計341の論文を収集する。 本論文では,既存のバイアス緩和手法について検討する。 収集した知見に基づいて,新たなバイアス緩和手法の開発と評価を行う上で,実践者を支援することを望む。
  論文  参考訳（メタデータ） (2022-07-14T17:16:45Z)
• Information-Theoretic Bias Reduction via Causal View of Spurious Correlation [71.9123886505321]
  本稿では,スプリアス相関の因果的解釈による情報理論バイアス測定手法を提案する。 本稿では,バイアス正規化損失を含むアルゴリズムバイアスに対する新しいデバイアスフレームワークを提案する。 提案したバイアス測定とデバイアス法は、多様な現実シナリオで検証される。
  論文  参考訳（メタデータ） (2022-01-10T01:19:31Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。