論文の概要: A Large-scale Empirical Study on Improving the Fairness of Deep Learning Models

• arxiv url: http://arxiv.org/abs/2401.03695v1
• Date: Mon, 8 Jan 2024 06:53:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-09 17:24:25.681712
• Title: A Large-scale Empirical Study on Improving the Fairness of Deep Learning Models
• Title（参考訳）: 深層学習モデルの公平性向上に関する大規模実証的研究
• Authors: Junjie Yang, Jiajun Jiang, Zeyu Sun, Junjie Chen
• Abstract要約: 本稿では,現在ある最先端の公正性向上技術の性能を比較するための,最初の大規模実証的研究を行う。 その結果,各手法の性能は,データセットや属性によって大きく異なることがわかった。 異なる公平度評価指標は、その異なる焦点のために、明らかに異なる評価結果をもたらす。
• 参考スコア（独自算出の注目度）: 24.603837972984547
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fairness has been a critical issue that affects the adoption of deep learning models in real practice. To improve model fairness, many existing methods have been proposed and evaluated to be effective in their own contexts. However, there is still no systematic evaluation among them for a comprehensive comparison under the same context, which makes it hard to understand the performance distinction among them, hindering the research progress and practical adoption of them. To fill this gap, this paper endeavours to conduct the first large-scale empirical study to comprehensively compare the performance of existing state-of-the-art fairness improving techniques. Specifically, we target the widely-used application scenario of image classification, and utilized three different datasets and five commonly-used performance metrics to assess in total 13 methods from diverse categories. Our findings reveal substantial variations in the performance of each method across different datasets and sensitive attributes, indicating over-fitting on specific datasets by many existing methods. Furthermore, different fairness evaluation metrics, due to their distinct focuses, yield significantly different assessment results. Overall, we observe that pre-processing methods and in-processing methods outperform post-processing methods, with pre-processing methods exhibiting the best performance. Our empirical study offers comprehensive recommendations for enhancing fairness in deep learning models. We approach the problem from multiple dimensions, aiming to provide a uniform evaluation platform and inspire researchers to explore more effective fairness solutions via a set of implications.
• Abstract（参考訳）: 公平性は、実運用におけるディープラーニングモデルの採用に影響を与える重要な問題である。 モデルフェアネスを改善するために、既存の多くの手法が提案され、評価されている。 しかし、同じ文脈で総合的な比較を行うための体系的な評価はいまだ存在せず、両者のパフォーマンスの区別を理解することは困難であり、研究の進展や実用化を妨げている。 このギャップを埋めるため,本稿では,既存の公平性向上手法の性能を包括的に比較する最初の大規模実証研究を行う。 具体的には、3つの異なるデータセットと5つの一般的なパフォーマンス指標を用いて、さまざまなカテゴリから合計13の手法を評価する。 以上の結果から,各手法の性能は,多くの既存手法で特定のデータセットに過度に適合していることが示唆された。 さらに、異なる公平性評価指標は、それぞれの焦点が異なるため、評価結果が著しく異なる。 全体として,前処理法と内処理法は後処理法より優れ,前処理法は最高の性能を示す。 本研究は,深層学習モデルの公平性を高めるための総合的な推奨を提供する。 複数の次元からこの問題にアプローチし、一様評価プラットフォームを提供することを目標とし、研究者に一連の影響を通じてより効果的な公平性ソリューションを探求するよう促す。

関連論文リスト

• A Benchmark for Fairness-Aware Graph Learning [58.515305543487386]
  本稿では,10の代表的な公正性を考慮したグラフ学習手法に関する広範なベンチマークを示す。 我々の詳細な分析は、既存の手法の強みと限界に関する重要な洞察を明らかにしている。
  論文  参考訳（メタデータ） (2024-07-16T18:43:43Z)
• Standardizing Your Training Process for Human Activity Recognition Models: A Comprehensive Review in the Tunable Factors [4.199844472131922]
  ウェアラブルヒューマンアクティビティ認識(WHAR)分野における現代ディープラーニング研究の総括的レビューを行う。 この結果から,モデルトレーニングプロトコルが提供する詳細が欠如していることが示唆された。 分析から得られた知見をもとに,WHARモデルに適合した新たな統合トレーニング手順を定義する。
  論文  参考訳（メタデータ） (2024-01-10T17:45:28Z)
• Better Understanding Differences in Attribution Methods via Systematic Evaluations [57.35035463793008]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
  論文  参考訳（メタデータ） (2023-03-21T14:24:58Z)
• Towards Better Understanding Attribution Methods [77.1487219861185]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 また,いくつかの属性法の性能を著しく向上する処理後平滑化ステップを提案する。
  論文  参考訳（メタデータ） (2022-05-20T20:50:17Z)
• On Modality Bias Recognition and Reduction [70.69194431713825]
  マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。 本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。 本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-02-25T13:47:09Z)
• Through the Data Management Lens: Experimental Analysis and Evaluation of Fair Classification [75.49600684537117]
  データ管理研究は、データとアルゴリズムの公平性に関連するトピックに対する存在感と関心が高まっている。 我々は,その正しさ,公平性,効率性,スケーラビリティ,安定性よりも,13の公正な分類アプローチと追加の変種を幅広く分析している。 我々の分析は、異なるメトリクスとハイレベルなアプローチ特性がパフォーマンスの異なる側面に与える影響に関する新しい洞察を強調します。
  論文  参考訳（メタデータ） (2021-01-18T22:55:40Z)
• Recent Progress in Appearance-based Action Recognition [73.6405863243707]
  アクション認識は、ビデオ内の様々な人間の行動を特定するタスクである。 最近の外見に基づく手法は、正確な行動認識に向けて有望な進歩を遂げている。
  論文  参考訳（メタデータ） (2020-11-25T10:18:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。