論文の概要: De-biasing "bias" measurement

• arxiv url: http://arxiv.org/abs/2205.05770v1
• Date: Wed, 11 May 2022 20:51:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-13 14:26:12.006360
• Title: De-biasing "bias" measurement
• Title（参考訳）: バイアス測定の非バイアス化
• Authors: Kristian Lum, Yunfeng Zhang, Amanda Bower
• Abstract要約: グループワイドモデルの性能格差を測定するために用いられる指標は、それらが表す基礎となる量の統計的偏りの推定値であることを示す。 本稿では,グループ間におけるモデル性能のばらつきの非バイアス推定と不確実性定量化を行う「二重補正分散推定器」を提案する。
• 参考スコア（独自算出の注目度）: 20.049916973204102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When a model's performance differs across socially or culturally relevant groups--like race, gender, or the intersections of many such groups--it is often called "biased." While much of the work in algorithmic fairness over the last several years has focused on developing various definitions of model fairness (the absence of group-wise model performance disparities) and eliminating such "bias," much less work has gone into rigorously measuring it. In practice, it important to have high quality, human digestible measures of model performance disparities and associated uncertainty quantification about them that can serve as inputs into multi-faceted decision-making processes. In this paper, we show both mathematically and through simulation that many of the metrics used to measure group-wise model performance disparities are themselves statistically biased estimators of the underlying quantities they purport to represent. We argue that this can cause misleading conclusions about the relative group-wise model performance disparities along different dimensions, especially in cases where some sensitive variables consist of categories with few members. We propose the "double-corrected" variance estimator, which provides unbiased estimates and uncertainty quantification of the variance of model performance across groups. It is conceptually simple and easily implementable without statistical software package or numerical optimization. We demonstrate the utility of this approach through simulation and show on a real dataset that while statistically biased estimators of model group-wise model performance disparities indicate statistically significant between-group model performance disparities, when accounting for statistical bias in the estimator, the estimated group-wise disparities in model performance are no longer statistically significant.
• Abstract（参考訳）: モデルのパフォーマンスが社会的または文化的に関係のあるグループ、例えば人種、性別、あるいは多くのグループの交差点で異なる場合、それはしばしば「バイアスド」と呼ばれる。 過去数年間のアルゴリズムフェアネスの研究の多くは、モデルフェアネスの様々な定義(グループワイドのモデル性能格差が欠如している)の開発と、そのような「バイアス」の排除に重点を置いてきたが、厳密な測定を行う作業ははるかに少ない。 実際には、多面的意思決定プロセスへの入力として機能しうる、高品質で人間の消化可能なモデル性能の相違と関連する不確実性の定量化が重要である。 本稿では,集団モデルの性能差を測定するために用いられる指標の多くが,それらが表す基礎となる量の統計的偏りの推定値であることを示す。 これは、特にメンバー数が少ないカテゴリからなる敏感な変数の場合、異なる次元に沿った相対的なグループ毎のモデルパフォーマンスの差について誤解を招く結果をもたらす可能性がある。 本稿では,グループ間のモデル性能のばらつきの非バイアス推定と不確実性定量化を行う「二重補正分散推定器」を提案する。 概念的にはシンプルで、統計ソフトウェアパッケージや数値最適化なしで容易に実装できる。 シミュレーションにより本手法の有効性を実証し,モデル群別モデル性能差の統計的偏差は群間モデル性能差の統計的に有意であることを示す一方で,モデル性能の統計的偏差を推定した群別モデル性能差は,もはや統計的に有意ではないことを示す。

関連論文リスト

• Fast Model Debias with Machine Unlearning [54.32026474971696]
  ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。 既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。 バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T08:10:57Z)
• Is Your Model "MADD"? A Novel Metric to Evaluate Algorithmic Fairness for Predictive Student Models [0.0]
  本稿では,モデルの識別行動を分析するために,モデル絶対密度距離(MADD)を提案する。 オンライン授業における学生の成功を予測するための共通課題に対するアプローチを,いくつかの共通予測分類モデルを用いて評価した。
  論文  参考訳（メタデータ） (2023-05-24T16:55:49Z)
• Think Twice: Measuring the Efficiency of Eliminating Prediction Shortcuts of Question Answering Models [3.9052860539161918]
  そこで本研究では,任意の特徴量に対するモデルのスケール依存度を簡易に測定する手法を提案する。 質問回答(QA: Question Answering)における各種事前学習モデルとデバイアス法について、既知の予測バイアスと新たに発見された予測バイアスの集合に対するロバスト性を評価する。 既存のデバイアス法は、選択された刺激的特徴への依存を軽減することができるが、これらの手法のOOD性能向上は、偏りのある特徴への依存を緩和することによって説明できない。
  論文  参考訳（メタデータ） (2023-05-11T14:35:00Z)
• Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
  データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。 異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。 このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
  論文  参考訳（メタデータ） (2023-03-30T17:30:42Z)
• Simplicity Bias Leads to Amplified Performance Disparities [8.60453031364566]
  SGDで訓練されたモデルは、単純さに偏りがあることを示し、多数派の学習を優先させる。 モデルは、単純なデータセットのクラスやグループを優先順位付けし、複雑なものを見つけることを犠牲にすることができる。
  論文  参考訳（メタデータ） (2022-12-13T15:24:41Z)
• Estimating Structural Disparities for Face Models [54.062512989859265]
  機械学習では、異なるサブ人口間でのモデルの性能や結果の差を測定することで、しばしば異質度の測定が定義される。 本研究では、人間の顔に訓練されたコンピュータビジョンモデルや、顔属性予測や影響推定などのタスクについて、そのような分析を行う。
  論文  参考訳（メタデータ） (2022-04-13T05:30:53Z)
• Expected Validation Performance and Estimation of a Random Variable's Maximum [48.83713377993604]
  予測された検証性能に対する3つの統計的推定器を解析する。 偏りのない推定器は最も分散度が高く、最小分散度を持つ推定器は最大のバイアスを持つ。 2つの偏りのある推定器は、最も少ない誤った結論につながる。
  論文  参考訳（メタデータ） (2021-10-01T18:48:47Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• An Investigation of Why Overparameterization Exacerbates Spurious Correlations [98.3066727301239]
  この動作を駆動するトレーニングデータの2つの重要な特性を特定します。 モデルの"記憶"に対する帰納的バイアスが,パラメータ化の超過を損なう可能性を示す。
  論文  参考訳（メタデータ） (2020-05-09T01:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。