論文の概要: Uncertainty-based Fairness Measures

• arxiv url: http://arxiv.org/abs/2312.11299v1
• Date: Mon, 18 Dec 2023 15:49:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 19:30:34.721787
• Title: Uncertainty-based Fairness Measures
• Title（参考訳）: 不確実性に基づく公正対策
• Authors: Selim Kuzucu, Jiaee Cheong, Hatice Gunes, Sinan Kalkan
• Abstract要約: 機械学習(ML)モデルの異常予測は、現実の環境で広く受け入れられることを妨げる。 本稿では,MLモデルが既存の点ベース公正度尺度と同等であるように見えるが,予測の不確実性の観点からは人口集団に偏っていることを示す。
• 参考スコア（独自算出の注目度）: 15.964921228103243
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unfair predictions of machine learning (ML) models impede their broad acceptance in real-world settings. Tackling this arduous challenge first necessitates defining what it means for an ML model to be fair. This has been addressed by the ML community with various measures of fairness that depend on the prediction outcomes of the ML models, either at the group level or the individual level. These fairness measures are limited in that they utilize point predictions, neglecting their variances, or uncertainties, making them susceptible to noise, missingness and shifts in data. In this paper, we first show that an ML model may appear to be fair with existing point-based fairness measures but biased against a demographic group in terms of prediction uncertainties. Then, we introduce new fairness measures based on different types of uncertainties, namely, aleatoric uncertainty and epistemic uncertainty. We demonstrate on many datasets that (i) our uncertainty-based measures are complementary to existing measures of fairness, and (ii) they provide more insights about the underlying issues leading to bias.
• Abstract（参考訳）: 機械学習(ML)モデルの異常予測は、現実の環境で広く受け入れられることを妨げる。 この困難な課題に対処するには、まずMLモデルが公正であることの意味を定義する必要がある。 これは、MLモデルの予測結果、グループレベルまたは個人レベルでの予測結果に依存する様々な公平性の尺度によって、MLコミュニティによって対処されてきた。 これらの公平さの尺度は、ポイント予測、ばらつきや不確実性を無視し、ノイズ、欠如、データのシフトに影響を受けやすいという点で制限されている。 本稿では,MLモデルが既存の点ベース公正度尺度と同等であるように見えるが,予測の不確実性の観点からは人口集団に偏っていることを示す。 次に,様々な不確実性,すなわちアレエータ的不確実性と認識的不確実性に基づく新しい公平性尺度を提案する。 私たちは多くのデータセットを実演します (i)我々の不確実性に基づく措置は、既存の公正度対策と相補的であり、 (ii)バイアスにつながる根本的な問題に関する洞察を提供する。

関連論文リスト

• On Information-Theoretic Measures of Predictive Uncertainty [5.8034373350518775]
  その重要性にも拘わらず、予測の不確実性の正しい測定に関するコンセンサスはいまだに解明されていない。 提案手法は, 予測の不確かさを, (I) 予測モデル (II) 真の予測分布の近似の2つの要因により分類する。 本研究では, 誤分類検出, 選択的予測, アウト・オブ・ディストリビューション検出など, 典型的な不確実性推定設定において, これらの指標を実証的に評価する。
  論文  参考訳（メタデータ） (2024-10-14T17:52:18Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Uncertainty Estimation and Quantification for LLMs: A Simple Supervised Approach [6.209293868095268]
  LLMにおける不確実性推定と校正の問題について検討する。 LLMの応答の不確かさを推定するためにラベル付きデータセットを利用する教師付きアプローチを提案する。 本手法は,ブラックボックス,グレイボックス,ホワイトボックスなど,モデルアクセシビリティの異なるレベルに適応し,実装が容易である。
  論文  参考訳（メタデータ） (2024-04-24T17:10:35Z)
• Language Model Cascades: Token-level uncertainty and beyond [65.38515344964647]
  言語モデル(LM)の最近の進歩により、複雑なNLPタスクの品質が大幅に向上した。 Cascadingは、より好ましいコスト品質のトレードオフを達成するためのシンプルな戦略を提供する。 トークンレベルの不確実性を学習後遅延ルールに組み込むことで,単純な集約戦略を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2024-04-15T21:02:48Z)
• Second-Order Uncertainty Quantification: Variance-Based Measures [2.3999111269325266]
  本稿では,分類問題における二階分布に基づく不確かさの定量化に分散に基づく新しい手法を提案する。 この尺度の特徴は、クラスベースレベルでの不確実性を推論する能力であり、不確実な意思決定が必要な状況において有用である。
  論文  参考訳（メタデータ） (2023-12-30T16:30:52Z)
• Introducing an Improved Information-Theoretic Measure of Predictive Uncertainty [6.3398383724486544]
  予測の不確実性は、ベイズ平均(BMA)予測分布のエントロピーによってよく測定される。 これらの制限を克服するために理論的に根ざした尺度を導入する。 提案手法は, 制御された合成タスクにおいて, より合理的に振る舞う。
  論文  参考訳（メタデータ） (2023-11-14T16:55:12Z)
• Learning for Counterfactual Fairness from Observational Data [62.43249746968616]
  公正な機械学習は、人種、性別、年齢などの特定の保護された(感受性のある)属性によって記述されるある種のサブグループに対して、学習モデルのバイアスを取り除くことを目的としている。 カウンターファクトフェアネスを達成するための既存の手法の前提条件は、データに対する因果モデルの事前の人間の知識である。 本研究では,新しいフレームワークCLAIREを提案することにより,因果関係を付与せずに観測データから対実的に公正な予測を行う問題に対処する。
  論文  参考訳（メタデータ） (2023-07-17T04:08:29Z)
• Measuring Fairness Under Unawareness of Sensitive Attributes: A Quantification-Based Approach [131.20444904674494]
  センシティブな属性の無意識下でのグループフェアネスを測定する問題に取り組む。 定量化手法は, フェアネスと無意識の問題に対処するのに特に適していることを示す。
  論文  参考訳（メタデータ） (2021-09-17T13:45:46Z)
• Statistical inference for individual fairness [24.622418924551315]
  機械学習モデルにおける個々人の公平性の違反を検出する問題に注目する。 我々は,対向コスト関数のための一連の推論ツールを開発した。 実世界のケーススタディでツールの有用性を実証します。
  論文  参考訳（メタデータ） (2021-03-30T22:49:25Z)
• DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
  認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。 一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T23:50:35Z)
• When Does Uncertainty Matter?: Understanding the Impact of Predictive Uncertainty in ML Assisted Decision Making [68.19284302320146]
  我々は,異なるレベルの専門知識を持つ人々が,異なるタイプの予測不確実性にどう反応するかを評価するために,ユーザスタディを実施している。 その結果,後続の予測分布を示すことは,MLモデルの予測との相違点が小さくなることがわかった。 このことは、後続の予測分布は、人間の分布の種類や専門性を考慮し、注意を払って使用するべき有用な決定支援として役立つ可能性があることを示唆している。
  論文  参考訳（メタデータ） (2020-11-12T02:23:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。