論文の概要: Towards Fair Machine Learning Software: Understanding and Addressing Model Bias Through Counterfactual Thinking

• arxiv url: http://arxiv.org/abs/2302.08018v2
• Date: Thu, 19 Dec 2024 03:10:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:28:51.800638
• Title: Towards Fair Machine Learning Software: Understanding and Addressing Model Bias Through Counterfactual Thinking
• Title（参考訳）: 公正な機械学習ソフトウェアを目指して : 対実的思考によるモデルバイアスの理解と対処
• Authors: Zichong Wang, Yang Zhou, Israat Haque, David Lo, Wenbin Zhang,
• Abstract要約: 本稿では,機械学習ソフトウェアにおけるバイアスの根本原因に対処するための新しい対策手法を提案する。 提案手法は,性能と公平性の両方に最適化されたモデルを組み合わせることで,両面において最適解となる。
• 参考スコア（独自算出の注目度）: 11.668325856032023
• License:
• Abstract: The increasing use of Machine Learning (ML) software can lead to unfair and unethical decisions, thus fairness bugs in software are becoming a growing concern. Addressing these fairness bugs often involves sacrificing ML performance, such as accuracy. To address this issue, we present a novel counterfactual approach that uses counterfactual thinking to tackle the root causes of bias in ML software. In addition, our approach combines models optimized for both performance and fairness, resulting in an optimal solution in both aspects. We conducted a thorough evaluation of our approach on 10 benchmark tasks using a combination of 5 performance metrics, 3 fairness metrics, and 15 measurement scenarios, all applied to 8 real-world datasets. The conducted extensive evaluations show that the proposed method significantly improves the fairness of ML software while maintaining competitive performance, outperforming state-of-the-art solutions in 84.6% of overall cases based on a recent benchmarking tool.
• Abstract（参考訳）: 機械学習(ML)ソフトウェアの使用の増加は不公平で非倫理的な決定につながる可能性があるため、ソフトウェアの公平性に関するバグが懸念されている。 これらの公正なバグに対処するには、精度などのMLパフォーマンスを犠牲にすることが多い。 この問題に対処するため,我々は,MLソフトウェアにおけるバイアスの根本原因に取り組むために,対実的思考を用いた新たな対実的アプローチを提案する。 さらに,本手法では,性能と公平性の両方に最適化されたモデルを組み合わせることで,両面において最適解が得られる。 5つのパフォーマンス指標,3つのフェアネス指標,15の計測シナリオを組み合わせて,実世界の8つのデータセットに適用した10のベンチマークタスクに対して,我々のアプローチを徹底的に評価した。 提案手法は,競争性能を維持しつつ,MLソフトウェアの公正性を著しく向上し,最近のベンチマークツールによる全事例の84.6%において,最先端のソリューションよりも優れていた。

関連論文リスト

• Automatic Evaluation for Text-to-image Generation: Task-decomposed Framework, Distilled Training, and Meta-evaluation Benchmark [62.58869921806019]
  GPT-4oに基づくタスク分解評価フレームワークを提案し、新しいトレーニングデータセットを自動構築する。 我々は、GPT-4oの評価能力を7BオープンソースMLLM、MiniCPM-V-2.6に効果的に蒸留するための革新的なトレーニング戦略を設計する。 実験結果から,我々の蒸留したオープンソースMLLMは,現在のGPT-4oベースラインよりも有意に優れていた。
  論文  参考訳（メタデータ） (2024-11-23T08:06:06Z)
• Fair Bilevel Neural Network (FairBiNN): On Balancing fairness and accuracy via Stackelberg Equilibrium [0.3350491650545292]
  バイアスを緩和する現在の方法は、情報損失と精度と公平性のバランスが不十分であることが多い。 本稿では,二段階最適化の原理に基づく新しい手法を提案する。 私たちのディープラーニングベースのアプローチは、正確性と公平性の両方を同時に最適化します。
  論文  参考訳（メタデータ） (2024-10-21T18:53:39Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Evaluating Mathematical Reasoning Beyond Accuracy [50.09931172314218]
  推論ステップの品質を評価するための新しい方法論であるReasonEvalを紹介します。 我々は、ReasonEvalが人間のラベル付きデータセット上で最先端のパフォーマンスを達成することを示す。 我々は、ReasonEvalがデータ選択において重要な役割を果たすことを観察する。
  論文  参考訳（メタデータ） (2024-04-08T17:18:04Z)
• On Task Performance and Model Calibration with Supervised and Self-Ensembled In-Context Learning [71.44986275228747]
  In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。 しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
  論文  参考訳（メタデータ） (2023-12-21T11:55:10Z)
• A First Look at Fairness of Machine Learning Based Code Reviewer Recommendation [14.50773969815661]
  本稿では,ソフトウェア工学(SE)分野におけるMLアプリケーションの公平性に関する最初の研究を行う。 我々の実証研究は、現在最先端のMLベースのコードレビュアーレコメンデーション技術が不公平で差別的な行動を示すことを示している。 本稿では,MLベースのコードレビュアレコメンデーションシステムが不公平である理由についても論じ,不公平を緩和するための解決策を提供する。
  論文  参考訳（メタデータ） (2023-07-21T01:57:51Z)
• Fix Fairness, Don't Ruin Accuracy: Performance Aware Fairness Repair using AutoML [18.17660645381856]
  本稿では、自動機械学習(AutoML)技術を用いてバイアスを軽減する新しい手法を提案する。 AutoMLのデフォルトの最適化機能を改善し、公平さの目標を取り入れることで、バイアスをほとんど、あるいは全く精度を損なわずに軽減することが可能になります。 Fair-AutoMLは64例中60例を修復し,既存のバイアス緩和法は64例中44例を修復した。
  論文  参考訳（メタデータ） (2023-06-15T17:25:15Z)
• FITNESS: A Causal De-correlation Approach for Mitigating Bias in Machine Learning Software [6.4073906779537095]
  バイアスデータセットは不公平で潜在的に有害な結果をもたらす可能性がある。 本稿では,感性特徴とラベルの因果関係を関連づけたバイアス緩和手法を提案する。 我々のキーとなる考え方は、因果関係の観点からそのような効果を非相関化することで、モデルが繊細な特徴に基づいて予測することを避けることである。
  論文  参考訳（メタデータ） (2023-05-23T06:24:43Z)
• A Comprehensive Empirical Study of Bias Mitigation Methods for Software Fairness [27.67313504037565]
  本稿では,バイアス緩和手法の大規模かつ包括的評価について述べる。 バイアス緩和法は,12の機械学習(ML)性能指標,4つのフェアネス指標,24種類のフェアネス・パフォーマンストレードオフ評価を用いて評価した。 バイアス緩和法の有効性は,タスク,モデル,公正度,機械学習のパフォーマンス指標に依存するが,すべてのシナリオにおいて有効な「銀の弾丸」バイアス緩和法は存在しない。
  論文  参考訳（メタデータ） (2022-07-07T13:14:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。