論文の概要: How Robust is your Fair Model? Exploring the Robustness of Diverse Fairness Strategies
- arxiv url: http://arxiv.org/abs/2207.04581v4
- Date: Fri, 31 May 2024 23:31:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-04 23:55:24.636510
- Title: How Robust is your Fair Model? Exploring the Robustness of Diverse Fairness Strategies
- Title(参考訳): フェアモデルがいかにロバストか? ディバースフェアネス戦略のロバスト性を探る
- Authors: Edward Small, Wei Shao, Zeliang Zhang, Peihan Liu, Jeffrey Chan, Kacper Sokol, Flora Salim,
- Abstract要約: 本稿では,様々な公正度最適化戦略のロバスト性(ロバスト性比)を測定するための新しい基準を提案する。
我々は,5つのベンチマークフェアネスデータセットに対して,最もポピュラーなフェアネス戦略の3つを用いて,最もポピュラーなフェアネス定義の4つについて,広範な実験を行った。
実験により, しきい値の最適化に依存するフェアネス法は, 評価された全てのデータセットのノイズに非常に敏感であることが実証された。
これは他の2つの手法とは対照的であり、低騒音のシナリオではより公平ではなく、高騒音ではより公平である。
- 参考スコア(独自算出の注目度): 9.435795017647907
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: With the introduction of machine learning in high-stakes decision making, ensuring algorithmic fairness has become an increasingly important problem to solve. In response to this, many mathematical definitions of fairness have been proposed, and a variety of optimisation techniques have been developed, all designed to maximise a defined notion of fairness. However, fair solutions are reliant on the quality of the training data, and can be highly sensitive to noise. Recent studies have shown that robustness (the ability for a model to perform well on unseen data) plays a significant role in the type of strategy that should be used when approaching a new problem and, hence, measuring the robustness of these strategies has become a fundamental problem. In this work, we therefore propose a new criterion to measure the robustness of various fairness optimisation strategies - the robustness ratio. We conduct multiple extensive experiments on five bench mark fairness data sets using three of the most popular fairness strategies with respect to four of the most popular definitions of fairness. Our experiments empirically show that fairness methods that rely on threshold optimisation are very sensitive to noise in all the evaluated data sets, despite mostly outperforming other methods. This is in contrast to the other two methods, which are less fair for low noise scenarios but fairer for high noise ones. To the best of our knowledge, we are the first to quantitatively evaluate the robustness of fairness optimisation strategies. This can potentially can serve as a guideline in choosing the most suitable fairness strategy for various data sets.
- Abstract(参考訳): 機械学習がハイテイクな意思決定に導入されたことにより、アルゴリズムの公平性を保証することが、解決すべき課題としてますます重要になっている。
これに対し、フェアネスの数学的定義が多数提案され、フェアネスの定義を最大化するために様々な最適化技術が開発されている。
しかし、公正なソリューションはトレーニングデータの品質に依存しており、ノイズに非常に敏感である。
近年の研究では、新しい問題にアプローチする際に使用するべき戦略のタイプにおいて、ロバスト性(モデルが不明瞭なデータに対してうまく機能する能力)が重要な役割を果たすことが示されており、そのため、これらの戦略のロバスト性を測定することが根本的な問題となっている。
そこで本研究では,様々なフェアネス最適化戦略のロバスト性(ロバスト性比)を測定するための新しい基準を提案する。
我々は,5つのベンチマークフェアネスデータセットに対して,最もポピュラーなフェアネス戦略の3つを用いて,最もポピュラーなフェアネス定義の4つについて,広範な実験を行った。
実験により, しきい値の最適化に依存するフェアネス法は, 他の手法よりも優れているにもかかわらず, 評価された全てのデータセットのノイズに非常に敏感であることが実証された。
これは他の2つの手法とは対照的であり、低騒音のシナリオではより公平ではなく、高騒音ではより公平である。
私たちの知識を最大限に活用するために、フェアネス最適化戦略の頑健さを定量的に評価するのは、私たちが初めてです。
これは、様々なデータセットに対して最も適切な公正戦略を選択する際のガイドラインとして機能する可能性がある。
関連論文リスト
- Towards Fairness-Aware Adversarial Learning [13.932705960012846]
フェアネス・アウェア・アドバーサリアル・ラーニング(FAAL)という新しい学習パラダイムを提案する。
提案手法は,異なるカテゴリ間で最悪の分布を求めることを目的としており,高い確率で上界性能が得られることを保証している。
特にFAALは、不公平なロバストモデルを2つのエポックで公平に調整できるが、全体的なクリーンで堅牢なアキュラシーを損なうことはない。
論文 参考訳(メタデータ) (2024-02-27T18:01:59Z) - Falcon: Fair Active Learning using Multi-armed Bandits [9.895979687746376]
本稿では,戦略サンプル選択による機械学習モデルの公平性向上を目的としたデータ中心型手法を提案する。
実験の結果、ファルコンはフェアネスと精度で既存のフェアアクティブな学習手法を著しく上回っていることがわかった。
特に、ファルコンだけが精度と公平性の間の適切なトレードオフをサポートしており、最大のフェアネススコアは2番目に高い結果よりも1.8-4.5倍高い。
論文 参考訳(メタデータ) (2024-01-23T12:48:27Z) - Fair Few-shot Learning with Auxiliary Sets [53.30014767684218]
多くの機械学習(ML)タスクでは、ラベル付きデータサンプルしか収集できないため、フェアネスのパフォーマンスが低下する可能性がある。
本稿では,限定的なトレーニングサンプルを用いたフェアネス認識学習課題をemphfair few-shot Learning問題として定義する。
そこで我々は,学習した知識をメタテストタスクに一般化し,様々なメタトレーニングタスクに公平な知識を蓄積する新しいフレームワークを考案した。
論文 参考訳(メタデータ) (2023-08-28T06:31:37Z) - Fairness through Aleatoric Uncertainty [18.95295731419523]
フェアネス・ユーティリティ・トレードオフを改善するために、アレタリック不確実性(例えば、データのあいまいさ)を活用するという考え方を紹介します。
我々の中心的な仮説は、アレタリック不確実性はアルゴリズムの公正性の鍵となる要素であるということである。
次に,アレータリック不確実性が高い場合の公平性を向上し,他の分野での有効性を向上させるための基本モデルを提案する。
論文 参考訳(メタデータ) (2023-04-07T13:50:57Z) - Group Fairness with Uncertainty in Sensitive Attributes [34.608332397776245]
公正な予測モデルは、ハイテイクなアプリケーションにおける少数派グループに対する偏見のある決定を緩和するために不可欠である。
本稿では, 感度特性の不確実性にも拘わらず, フェアネスの目標レベルを達成するブートストラップに基づくアルゴリズムを提案する。
本アルゴリズムは離散的属性と連続的属性の両方に適用可能であり,実世界の分類や回帰作業に有効である。
論文 参考訳(メタデータ) (2023-02-16T04:33:00Z) - Practical Approaches for Fair Learning with Multitype and Multivariate
Sensitive Attributes [70.6326967720747]
現実世界に展開された機械学習アルゴリズムが不公平さや意図しない社会的結果をもたらすことはないことを保証することが重要である。
本稿では,カーネルHilbert Spacesの相互共分散演算子上に構築されたフェアネス尺度であるFairCOCCOを紹介する。
実世界のデータセットにおける予測能力と公正性のバランスをとる上で、最先端技術に対する一貫した改善を実証的に示す。
論文 参考訳(メタデータ) (2022-11-11T11:28:46Z) - Improving Robust Fairness via Balance Adversarial Training [51.67643171193376]
対人訓練 (AT) 法は, 対人攻撃に対して有効であるが, 異なるクラス間での精度と頑健さの相違が激しい。
本稿では,頑健な公正性問題に対処するために,BAT(Adversarial Training)を提案する。
論文 参考訳(メタデータ) (2022-09-15T14:44:48Z) - Beyond Individual and Group Fairness [90.4666341812857]
本稿では,不公平な不公平な苦情に導かれる公平さの新しいデータ駆動モデルを提案する。
我々のモデルは、複数のフェアネス基準をサポートし、それらの潜在的な不整合を考慮に入れている。
論文 参考訳(メタデータ) (2020-08-21T14:14:44Z) - Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking
Fairness and Algorithm Utility [54.179859639868646]
Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。
学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。
本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
論文 参考訳(メタデータ) (2020-06-15T10:08:39Z) - Robust Optimization for Fairness with Noisy Protected Groups [85.13255550021495]
ノイズが保護されたグループラベルに頼った結果について検討した。
頑健な最適化を用いた2つの新しいアプローチを提案する。
頑健なアプローチは、単純アプローチよりも真のグループ公平性を保証することが示される。
論文 参考訳(メタデータ) (2020-02-21T14:58:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。