論文の概要: FairlyUncertain: A Comprehensive Benchmark of Uncertainty in Algorithmic Fairness

• arxiv url: http://arxiv.org/abs/2410.02005v1
• Date: Wed, 2 Oct 2024 20:15:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 09:34:57.634858
• Title: FairlyUncertain: A Comprehensive Benchmark of Uncertainty in Algorithmic Fairness
• Title（参考訳）: Fairly Uncertain: アルゴリズムフェアネスにおける不確実性の総合的なベンチマーク
• Authors: Lucas Rosenblatt, R. Teal Witter,
• Abstract要約: フェアネスにおける不確実性評価のための公理的ベンチマークであるFairlyUncertainを紹介する。 我々のベンチマークは、予測の不確実性推定は学習パイプライン間で一貫性があり、観測されたランダム性に調整されるべきである、と示唆している。
• 参考スコア（独自算出の注目度）: 4.14360329494344
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fair predictive algorithms hinge on both equality and trust, yet inherent uncertainty in real-world data challenges our ability to make consistent, fair, and calibrated decisions. While fairly managing predictive error has been extensively explored, some recent work has begun to address the challenge of fairly accounting for irreducible prediction uncertainty. However, a clear taxonomy and well-specified objectives for integrating uncertainty into fairness remains undefined. We address this gap by introducing FairlyUncertain, an axiomatic benchmark for evaluating uncertainty estimates in fairness. Our benchmark posits that fair predictive uncertainty estimates should be consistent across learning pipelines and calibrated to observed randomness. Through extensive experiments on ten popular fairness datasets, our evaluation reveals: (1) A theoretically justified and simple method for estimating uncertainty in binary settings is more consistent and calibrated than prior work; (2) Abstaining from binary predictions, even with improved uncertainty estimates, reduces error but does not alleviate outcome imbalances between demographic groups; (3) Incorporating consistent and calibrated uncertainty estimates in regression tasks improves fairness without any explicit fairness interventions. Additionally, our benchmark package is designed to be extensible and open-source, to grow with the field. By providing a standardized framework for assessing the interplay between uncertainty and fairness, FairlyUncertain paves the way for more equitable and trustworthy machine learning practices.
• Abstract（参考訳）: 公正な予測アルゴリズムは、平等と信頼の両方に寄り添うが、現実のデータに固有の不確実性は、一貫性があり、公平で、校正された決定を下す能力に挑戦する。 予測誤差をかなりよく管理する手法が広く研究されているが、いくつかの最近の研究は、予測の不確実性を正確に説明することの難しさに対処し始めている。 しかし、不確実性を公平に統合するための明確な分類と明確な目的は未定のままである。 フェアネスにおける不確実性推定を評価するための公理的ベンチマークであるFairlyUncertainを導入することで、このギャップに対処する。 我々のベンチマークは、予測の不確実性推定は学習パイプライン間で一貫性があり、観測されたランダム性に調整されるべきである、と示唆している。 評価の結果,(1)2値設定の不確かさを推定する理論的正当かつ簡易な手法は,従来の作業よりも一貫性と校正性が高いこと,(2)不確実性の推定が改善しても2値予測の達成は誤差を低減させるが,集団間の結果の不均衡を緩和しないこと,(3)回帰作業における一貫的および校正的不確かさ推定を明示的公正さの介入なしに改善すること,などが明らかになった。 さらに、我々のベンチマークパッケージは、拡張可能でオープンソースで、フィールドとともに成長するように設計されています。 不確実性と公正性の間の相互作用を評価するための標準化されたフレームワークを提供することで、FairlyUncertainはより公平で信頼性の高い機械学習プラクティスの道を開く。

関連論文リスト

• Calibrated Probabilistic Forecasts for Arbitrary Sequences [58.54729945445505]
  実際のデータストリームは、分散シフトやフィードバックループ、敵アクターによって予測不可能に変化する可能性がある。 データがどのように進化するかに関わらず、有効な不確実性推定を保証するための予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-27T21:46:42Z)
• Equal Opportunity of Coverage in Fair Regression [50.76908018786335]
  我々は、予測の不確実性の下で公正な機械学習(ML)を研究し、信頼性と信頼性のある意思決定を可能にする。 本研究は,(1)類似した結果の異なる集団に対するカバー率が近いこと,(2)人口全体のカバー率が一定水準にあること,の2つの特性を達成することを目的としたカバーの平等機会(EOC)を提案する。
  論文  参考訳（メタデータ） (2023-11-03T21:19:59Z)
• Understanding Fairness Surrogate Functions in Algorithmic Fairness [21.555040357521907]
  フェアネスの定義とフェアネスのサロゲート関数の間には、サロゲートとフェアネスのギャップがあることが示される。 我々は、不公平を緩和するギャップを反復的に減少させる「バランスド・サロゲート」という、新規で一般的なアルゴリズムを精査する。
  論文  参考訳（メタデータ） (2023-10-17T12:40:53Z)
• Fairness through Aleatoric Uncertainty [18.95295731419523]
  フェアネス・ユーティリティ・トレードオフを改善するために、アレタリック不確実性(例えば、データのあいまいさ)を活用するという考え方を紹介します。 我々の中心的な仮説は、アレタリック不確実性はアルゴリズムの公正性の鍵となる要素であるということである。 次に,アレータリック不確実性が高い場合の公平性を向上し,他の分野での有効性を向上させるための基本モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-07T13:50:57Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)
• Identifying Incorrect Classifications with Balanced Uncertainty [21.130311978327196]
  不確実性推定は、コストに敏感なディープラーニングアプリケーションには不可欠である。 本研究では,不確実性推定における不均衡を2種類の分布バイアスとしてモデル化するための分布不均衡を提案する。 そこで我々は,新たな分布的焦点損失目標を持つ不確実性推定器を学習する,バランスト・トゥルー・クラス確率フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-15T11:52:31Z)
• Logit-based Uncertainty Measure in Classification [18.224344440110862]
  我々は,ロジット不確実性と呼ばれる分類タスクに対して,新しい,信頼性が高く,不可知な不確実性尺度を導入する。 この新たな不確実性対策は,従来の課題に対する不確実性対策よりも優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2021-07-06T19:07:16Z)
• Approaching Neural Network Uncertainty Realism [53.308409014122816]
  自動運転車などの安全クリティカルなシステムには、定量化または少なくとも上限の不確実性が不可欠です。 マハラノビス距離に基づく統計的テストにより、厳しい品質基準である不確実性リアリズムを評価します。 自動車分野に採用し、プレーンエンコーダデコーダモデルと比較して、不確実性リアリズムを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2021-01-08T11:56:12Z)
• Discriminative Jackknife: Quantifying Uncertainty in Deep Learning via Higher-Order Influence Functions [121.10450359856242]
  我々は、モデル損失関数の影響関数を利用して、予測信頼区間のジャックニフェ(または、アウト・ワン・アウト)推定器を構築する頻繁な手順を開発する。 1)および(2)を満たすDJは、幅広いディープラーニングモデルに適用可能であり、実装が容易であり、モデルトレーニングに干渉したり、精度を妥協したりすることなく、ポストホックな方法で適用することができる。
  論文  参考訳（メタデータ） (2020-06-29T13:36:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。