論文の概要: Evaluating Fairness of Machine Learning Models Under Uncertain and Incomplete Information

• arxiv url: http://arxiv.org/abs/2102.08410v1
• Date: Tue, 16 Feb 2021 19:02:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-18 19:28:44.209306
• Title: Evaluating Fairness of Machine Learning Models Under Uncertain and Incomplete Information
• Title（参考訳）: 不確実・不完全情報に基づく機械学習モデルの公平性評価
• Authors: Pranjal Awasthi, Alex Beutel, Matthaeus Kleindessner, Jamie Morgenstern, Xuezhi Wang
• Abstract要約: 属性分類器のテスト精度は下流モデルにおけるバイアス推定の有効性と常に相関しているとは限らない。 我々の分析は,属性分類器の誤りを可能な限り不均一に分配したいという状況において,意外かつ直感的な意味を持っている。
• 参考スコア（独自算出の注目度）: 25.739240011015923
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training and evaluation of fair classifiers is a challenging problem. This is partly due to the fact that most fairness metrics of interest depend on both the sensitive attribute information and label information of the data points. In many scenarios it is not possible to collect large datasets with such information. An alternate approach that is commonly used is to separately train an attribute classifier on data with sensitive attribute information, and then use it later in the ML pipeline to evaluate the bias of a given classifier. While such decoupling helps alleviate the problem of demographic scarcity, it raises several natural questions such as: how should the attribute classifier be trained?, and how should one use a given attribute classifier for accurate bias estimation? In this work we study this question from both theoretical and empirical perspectives. We first experimentally demonstrate that the test accuracy of the attribute classifier is not always correlated with its effectiveness in bias estimation for a downstream model. In order to further investigate this phenomenon, we analyze an idealized theoretical model and characterize the structure of the optimal classifier. Our analysis has surprising and counter-intuitive implications where in certain regimes one might want to distribute the error of the attribute classifier as unevenly as possible among the different subgroups. Based on our analysis we develop heuristics for both training and using attribute classifiers for bias estimation in the data scarce regime. We empirically demonstrate the effectiveness of our approach on real and simulated data.
• Abstract（参考訳）: 公正な分類器の訓練と評価は難しい問題です。 これは、関心のある公平さの指標が、センシティブな属性情報とデータポイントのラベル情報の両方に依存しているためでもある。 多くのシナリオでは、そのような情報で大規模なデータセットを収集することはできない。 一般的に使用される別のアプローチは、敏感な属性情報を持つデータで属性分類器を個別に訓練し、後でMLパイプラインでそれを使用して与えられた分類器のバイアスを評価することです。 このような分離は人口不足の問題を緩和する上で有効だが、次のような自然な疑問を提起する。 属性分類器をトレーニングすべきか、正確なバイアス推定に属性分類器をどのように使用するべきか? 本研究では,理論的および実証的な視点からこの問題を研究する。 まず,属性分類器のテスト精度が,下流モデルにおけるバイアス推定の有効性と必ずしも相関しないことを実験的に証明した。 この現象をさらに調査するために,理想化理論モデルを解析し,最適分類器の構造を特徴付ける。 私たちの分析は、特定の体制において、属性分類器のエラーを可能な限り異なるサブグループに分散させたい場合、驚きと反直感的な意味を持ちます。 本分析では,データ不足状態におけるバイアス推定のための属性分類器とトレーニングのためのヒューリスティックスを開発した。 実データおよびシミュレーションデータに対するアプローチの有効性を実証的に実証する。

関連論文リスト

• Balancing Fairness and Accuracy in Data-Restricted Binary Classification [14.439413517433891]
  本稿では,4つの実践シナリオ下での精度と公平性のトレードオフをモデル化する枠組みを提案する。 3つのデータセットの実験では、トレードオフを定量化するためのツールとして提案されたフレームワークの有用性が示されている。
  論文  参考訳（メタデータ） (2024-03-12T15:01:27Z)
• Causal Effect Regularization: Automated Detection and Removal of Spurious Attributes [13.852987916253685]
  多くの分類データセットでは、タスクラベルはいくつかの入力属性と突発的に相関している。 本稿では,ラベルに対する因果関係を推定することにより,スプリアス属性を自動的に識別する手法を提案する。 本手法は, 因果効果のノイズ評価においても, 突発性特性への依存を緩和する。
  論文  参考訳（メタデータ） (2023-06-19T17:17:42Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• Hyper-parameter Tuning for Fair Classification without Sensitive Attribute Access [12.447577504758485]
  トレーニングデータや検証データの機密属性にアクセスすることなく、公平な分類器を訓練するフレームワークを提案する。 我々は,これらのプロキシラベルが平均精度制約下での公平性を最大化するために利用できることを理論的,実証的に示す。
  論文  参考訳（メタデータ） (2023-02-02T19:45:50Z)
• Semi-FairVAE: Semi-supervised Fair Representation Learning with Adversarial Variational Autoencoder [92.67156911466397]
  逆変分オートエンコーダに基づく半教師付き公正表現学習手法を提案する。 我々は、バイアス認識モデルを用いて、機密属性の固有バイアス情報をキャプチャする。 また、偏見のないモデルを用いて、対立学習を用いて偏見情報を取り除き、偏見のない公正表現を学習する。
  論文  参考訳（メタデータ） (2022-04-01T15:57:47Z)
• Selecting the suitable resampling strategy for imbalanced data classification regarding dataset properties [62.997667081978825]
  医学、情報検索、サイバーセキュリティ、ソーシャルメディアなどの多くのアプリケーションドメインでは、分類モデルの導入に使用されるデータセットは、各クラスのインスタンスの不平等な分布を持つことが多い。 この状況は不均衡データ分類と呼ばれ、少数民族の例では予測性能が低い。 オーバーサンプリングとアンダーサンプリングの技術は、各クラスの例の数とバランスをとることでこの問題に対処する、よく知られた戦略である。
  論文  参考訳（メタデータ） (2021-12-15T18:56:39Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• You Can Still Achieve Fairness Without Sensitive Attributes: Exploring Biases in Non-Sensitive Features [29.94644351343916]
  本稿では,これらの特徴を同時利用して正確な予測とモデルの正則化を行う新しいフレームワークを提案する。 実世界のデータセットにおける実験結果は,提案モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-04-29T17:52:11Z)
• Robustness to Spurious Correlations in Text Classification via Automatically Generated Counterfactuals [8.827892752465958]
  自動生成された反実データを用いてトレーニングデータを増強し、堅牢なテキスト分類器のトレーニングを提案する。 因果的特徴を強調し,非因果的特徴を強調することで,ロバスト分類器は有意義で信頼性の高い予測を行うことを示す。
  論文  参考訳（メタデータ） (2020-12-18T03:57:32Z)
• Theoretical Insights Into Multiclass Classification: A High-dimensional Asymptotic View [82.80085730891126]
  線形多クラス分類の最初の現代的精度解析を行う。 分析の結果,分類精度は分布に依存していることがわかった。 得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
  論文  参考訳（メタデータ） (2020-11-16T05:17:29Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。