論文の概要: Towards Fair Machine Learning Software: Understanding and Addressing
Model Bias Through Counterfactual Thinking
- arxiv url: http://arxiv.org/abs/2302.08018v1
- Date: Thu, 16 Feb 2023 01:27:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-17 15:19:35.910115
- Title: Towards Fair Machine Learning Software: Understanding and Addressing
Model Bias Through Counterfactual Thinking
- Title(参考訳): 公正な機械学習ソフトウェアを目指して : 対物思考によるモデルバイアスの理解と対処
- Authors: Zichong Wang, Yang Zhou, Meikang Qiu, Israat Haque, Laura Brown, Yi
He, Jianwu Wang, David Lo and Wenbin Zhang
- Abstract要約: 本稿では,機械学習ソフトウェアにおけるバイアスの根本原因に対処するための新しい対策手法を提案する。
提案手法は,性能と公平性の両方に最適化されたモデルを組み合わせることで,両面において最適解となる。
- 参考スコア(独自算出の注目度): 16.196269707571904
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: The increasing use of Machine Learning (ML) software can lead to unfair and
unethical decisions, thus fairness bugs in software are becoming a growing
concern. Addressing these fairness bugs often involves sacrificing ML
performance, such as accuracy. To address this issue, we present a novel
counterfactual approach that uses counterfactual thinking to tackle the root
causes of bias in ML software. In addition, our approach combines models
optimized for both performance and fairness, resulting in an optimal solution
in both aspects. We conducted a thorough evaluation of our approach on 10
benchmark tasks using a combination of 5 performance metrics, 3 fairness
metrics, and 15 measurement scenarios, all applied to 8 real-world datasets.
The conducted extensive evaluations show that the proposed method significantly
improves the fairness of ML software while maintaining competitive performance,
outperforming state-of-the-art solutions in 84.6% of overall cases based on a
recent benchmarking tool.
- Abstract(参考訳): 機械学習(ML)ソフトウェアの使用の増加は不公平で非倫理的な決定につながる可能性があるため、ソフトウェアの公平性に関するバグが懸念されている。
これらの公正なバグに対処するには、精度などのMLパフォーマンスを犠牲にすることが多い。
本稿では,機械学習ソフトウェアにおけるバイアスの根本原因に取り組むために,反事実的思考を用いた新しい反事実的アプローチを提案する。
さらに、性能と公平性の両方に最適化されたモデルを組み合わせて、両方の面において最適なソリューションを作ります。
5つのパフォーマンス指標,3つのフェアネス指標,15の計測シナリオを組み合わせて,実世界の8つのデータセットに適用した10のベンチマークタスクに対して,我々のアプローチを徹底的に評価した。
提案手法は,競争性能を維持しつつ,MLソフトウェアの公正性を著しく向上し,最近のベンチマークツールによる全体の84.6%において,最先端のソリューションよりも優れていた。
関連論文リスト
- On Task Performance and Model Calibration with Supervised and
Self-Ensembled In-Context Learning [71.44986275228747]
In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。
しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
論文 参考訳(メタデータ) (2023-12-21T11:55:10Z) - Estimating Fr\'echet bounds for validating programmatic weak supervision [50.13475056199486]
我々は、ある変数が連続的に評価される(おそらく高次元の)分布クラス上のFr'echeの境界を推定する手法を開発する。
プログラム弱監督(PWS)を訓練した機械学習(ML)モデルの性能を評価することで,アルゴリズムの有用性を実証する。
論文 参考訳(メタデータ) (2023-12-07T07:15:11Z) - QualEval: Qualitative Evaluation for Model Improvement [86.29905469151566]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳(メタデータ) (2023-11-06T00:21:44Z) - A First Look at Fairness of Machine Learning Based Code Reviewer
Recommendation [14.50773969815661]
本稿では,ソフトウェア工学(SE)分野におけるMLアプリケーションの公平性に関する最初の研究を行う。
我々の実証研究は、現在最先端のMLベースのコードレビュアーレコメンデーション技術が不公平で差別的な行動を示すことを示している。
本稿では,MLベースのコードレビュアレコメンデーションシステムが不公平である理由についても論じ,不公平を緩和するための解決策を提供する。
論文 参考訳(メタデータ) (2023-07-21T01:57:51Z) - Fix Fairness, Don't Ruin Accuracy: Performance Aware Fairness Repair
using AutoML [18.17660645381856]
本稿では、自動機械学習(AutoML)技術を用いてバイアスを軽減する新しい手法を提案する。
AutoMLのデフォルトの最適化機能を改善し、公平さの目標を取り入れることで、バイアスをほとんど、あるいは全く精度を損なわずに軽減することが可能になります。
Fair-AutoMLは64例中60例を修復し,既存のバイアス緩和法は64例中44例を修復した。
論文 参考訳(メタデータ) (2023-06-15T17:25:15Z) - LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。
ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。
最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
論文 参考訳(メタデータ) (2023-05-23T21:50:06Z) - FITNESS: A Causal De-correlation Approach for Mitigating Bias in Machine
Learning Software [6.4073906779537095]
バイアスデータセットは不公平で潜在的に有害な結果をもたらす可能性がある。
本稿では,感性特徴とラベルの因果関係を関連づけたバイアス緩和手法を提案する。
我々のキーとなる考え方は、因果関係の観点からそのような効果を非相関化することで、モデルが繊細な特徴に基づいて予測することを避けることである。
論文 参考訳(メタデータ) (2023-05-23T06:24:43Z) - Stochastic Methods for AUC Optimization subject to AUC-based Fairness
Constraints [51.12047280149546]
公正な予測モデルを得るための直接的なアプローチは、公正な制約の下で予測性能を最適化することでモデルを訓練することである。
フェアネスを考慮した機械学習モデルのトレーニング問題を,AUCに基づくフェアネス制約のクラスを対象とする最適化問題として定式化する。
フェアネス測定値の異なる実世界のデータに対するアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2022-12-23T22:29:08Z) - A Comprehensive Empirical Study of Bias Mitigation Methods for Software
Fairness [27.67313504037565]
本稿では,バイアス緩和手法の大規模かつ包括的評価について述べる。
バイアス緩和法は,12の機械学習(ML)性能指標,4つのフェアネス指標,24種類のフェアネス・パフォーマンストレードオフ評価を用いて評価した。
バイアス緩和法の有効性は,タスク,モデル,公正度,機械学習のパフォーマンス指標に依存するが,すべてのシナリオにおいて有効な「銀の弾丸」バイアス緩和法は存在しない。
論文 参考訳(メタデータ) (2022-07-07T13:14:49Z) - Softmax with Regularization: Better Value Estimation in Multi-Agent
Reinforcement Learning [72.28520951105207]
q$-learningの過大評価は、シングルエージェント強化学習で広く研究されている重要な問題である。
ベースラインから逸脱する大きな関節動作値をペナライズする,新たな正規化ベースの更新方式を提案する。
本手法は,StarCraft IIマイクロマネジメントの課題に対して,一貫した性能向上を実現する。
論文 参考訳(メタデータ) (2021-03-22T14:18:39Z) - Do the Machine Learning Models on a Crowd Sourced Platform Exhibit Bias?
An Empirical Study on Model Fairness [7.673007415383724]
5つの異なるタスクに使用したKaggleから、40の上位モデルのベンチマークを作成しました。
これらのモデルに7つの緩和手法を適用し、公正性、緩和結果、および性能への影響を分析した。
論文 参考訳(メタデータ) (2020-05-21T23:35:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。