論文の概要: Beyond Accuracy-Fairness: Stop evaluating bias mitigation methods solely on between-group metrics

• arxiv url: http://arxiv.org/abs/2401.13391v1
• Date: Wed, 24 Jan 2024 11:41:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-25 14:41:49.114493
• Title: Beyond Accuracy-Fairness: Stop evaluating bias mitigation methods solely on between-group metrics
• Title（参考訳）: 正確さを超えて:グループ間メトリクスのみに基づくバイアス緩和手法の評価をやめる
• Authors: Sofie Goethals, Toon Calders, David Martens
• Abstract要約: 本稿では,偏差緩和手法の評価に有効な指標に挑戦する。 グループ内での変更を考慮せず、その結果の予測ラベルは現実のシナリオを反映するに足りていない、と我々は主張する。
• 参考スコア（独自算出の注目度）: 3.706222947143855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Artificial Intelligence (AI) finds widespread applications across various domains, sparking concerns about fairness in its deployment. While fairness in AI remains a central concern, the prevailing discourse often emphasizes outcome-based metrics without a nuanced consideration of the differential impacts within subgroups. Bias mitigation techniques do not only affect the ranking of pairs of instances across sensitive groups, but often also significantly affect the ranking of instances within these groups. Such changes are hard to explain and raise concerns regarding the validity of the intervention. Unfortunately, these effects largely remain under the radar in the accuracy-fairness evaluation framework that is usually applied. This paper challenges the prevailing metrics for assessing bias mitigation techniques, arguing that they do not take into account the changes within-groups and that the resulting prediction labels fall short of reflecting real-world scenarios. We propose a paradigm shift: initially, we should focus on generating the most precise ranking for each subgroup. Following this, individuals should be chosen from these rankings to meet both fairness standards and practical considerations.
• Abstract（参考訳）: AI(Artificial Intelligence)は、さまざまなドメインにまたがる広範なアプリケーションを見つけ、デプロイメントの公正性に対する懸念を喚起する。 AIにおける公平性は依然として中心的な関心事であるが、一般的な議論では、サブグループ内の差分の影響を考慮せずに結果に基づくメトリクスを強調することが多い。 バイアス緩和手法は、センシティブなグループ間でのインスタンスペアのランキングに影響を与えるだけでなく、しばしばこれらのグループ内のインスタンスのランキングにも大きな影響を与える。 このような変更は、介入の有効性について説明し、懸念を提起するのは難しい。 残念なことに、これらの効果は、通常適用される精度・公正性評価フレームワークにおいて、主にレーダーの下にある。 本稿では,グループ内の変化を考慮せず,その結果の予測ラベルが現実のシナリオを反映するに足らないとして,バイアス緩和手法を評価するための一般的な指標に挑戦する。 まず、各サブグループに対して最も正確なランキングを生成することに重点を置くべきです。 その後、公正基準と実践的考察の両方を満たすために、これらのランクから個人を選ぶべきである。

関連論文リスト

• The Disparate Benefits of Deep Ensembles [11.303233667605586]
  本稿では,Deep Ensemblesのパフォーマンス向上とフェアネスの相互作用について検討する。 異なる利益効果(disparate benefit effect)と呼ぶものにおいて、それぞれが異なるグループを不均一に好んでいることが分かっています。 この不公平さを軽減するために,ポストプロセッシングが有効な方法であることを示す。
  論文  参考訳（メタデータ） (2024-10-17T17:53:01Z)
• Explaining Knock-on Effects of Bias Mitigation [13.46387356280467]
  機械学習システムでは、バイアス緩和アプローチは特権と特権のないグループ間で成果をより公平にすることを目的としている。 本稿では,緩和介入を適用した場合のコホートの影響を特徴付けることを目的とする。 モデルライフサイクルの様々な段階で機能するバイアス緩和戦略について検討する。 検討の結果,全ての緩和策が非自明な事例,すなわち緩和努力のみでは望ましくない結果に悪影響を及ぼすことが明らかとなった。
  論文  参考訳（メタデータ） (2023-12-01T18:40:37Z)
• When mitigating bias is unfair: multiplicity and arbitrariness in algorithmic group fairness [8.367620276482056]
  本稿では,5次元によるバイアス緩和を評価するFRAME(FaiRness Arbitrariness and Multiplicity Evaluation)フレームワークを紹介する。 FRAMEをキーデータセット全体にわたる様々なバイアス緩和アプローチに適用することにより、デバイアス手法の挙動に顕著な違いを示すことができる。 これらの知見は、現在の公平性基準の限界と、偏見過程における固有の仲裁性を強調している。
  論文  参考訳（メタデータ） (2023-02-14T16:53:52Z)
• Benchmarking common uncertainty estimation methods with histopathological images under domain shift and label noise [62.997667081978825]
  リスクの高い環境では、深層学習モデルは不確実性を判断し、誤分類の可能性がかなり高い場合に入力を拒否しなければなりません。 我々は,全スライド画像の分類において,最もよく使われている不確実性と頑健さの厳密な評価を行う。 我々は一般的に,手法のアンサンブルが,ドメインシフトやラベルノイズに対するロバスト性の向上とともに,より良い不確実性評価につながることを観察する。
  論文  参考訳（メタデータ） (2023-01-03T11:34:36Z)
• Systematic Evaluation of Predictive Fairness [60.0947291284978]
  バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。 複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。 データ条件が相対モデルの性能に強い影響を与えることがわかった。
  論文  参考訳（メタデータ） (2022-10-17T05:40:13Z)
• Imputation Strategies Under Clinical Presence: Impact on Algorithmic Fairness [6.218860613388414]
  偏見は医学的な歴史を 表しています 不平等なケアが 辺境的なグループに影響を与えています 本研究は,提案手法がグループ間の再構成誤差や下流予測のアルゴリズム的公正性に与える影響について検討する。
  論文  参考訳（メタデータ） (2022-08-13T13:34:05Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)
• Through the Data Management Lens: Experimental Analysis and Evaluation of Fair Classification [75.49600684537117]
  データ管理研究は、データとアルゴリズムの公平性に関連するトピックに対する存在感と関心が高まっている。 我々は,その正しさ,公平性,効率性,スケーラビリティ,安定性よりも,13の公正な分類アプローチと追加の変種を幅広く分析している。 我々の分析は、異なるメトリクスとハイレベルなアプローチ特性がパフォーマンスの異なる側面に与える影響に関する新しい洞察を強調します。
  論文  参考訳（メタデータ） (2021-01-18T22:55:40Z)
• One-vs.-One Mitigation of Intersectional Bias: A General Method to Extend Fairness-Aware Binary Classification [0.48733623015338234]
  1-vs.ワン・マイティゲーション(英: One-vs. One Mitigation)は、二項分類のためのフェアネス認識機械学習と、センシティブ属性に関連する各サブグループの比較プロセスである。 本手法は,すべての設定において従来の手法よりも交叉バイアスを緩和する。
  論文  参考訳（メタデータ） (2020-10-26T11:35:39Z)
• Towards Robust Fine-grained Recognition by Maximal Separation of Discriminative Features [72.72840552588134]
  本研究は, 粒度認識ネットワークにおけるクラス間の潜伏表現の近接性を, 敵攻撃の成功の鍵となる要因として同定する。 注意に基づく正規化機構を導入し、異なるクラスの識別潜在特徴を最大限に分離する。
  論文  参考訳（メタデータ） (2020-06-10T18:34:45Z)
• Learning Overlapping Representations for the Estimation of Individualized Treatment Effects [97.42686600929211]
  観測データから代替案の可能性を推定することは難しい問題である。 入力のドメイン不変表現を学習するアルゴリズムは、しばしば不適切であることを示す。 我々は,様々なベンチマークデータセットの最先端性を大幅に向上させる,ディープカーネル回帰アルゴリズムと後続正規化フレームワークを開発した。
  論文  参考訳（メタデータ） (2020-01-14T12:56:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。