論文の概要: Is Your Classifier Actually Biased? Measuring Fairness under Uncertainty with Bernstein Bounds

• arxiv url: http://arxiv.org/abs/2004.12332v1
• Date: Sun, 26 Apr 2020 09:45:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 13:00:50.186144
• Title: Is Your Classifier Actually Biased? Measuring Fairness under Uncertainty with Bernstein Bounds
• Title（参考訳）: あなたの分類は本当にバイアスか? ベルンシュタイン境界による不確実性下での公平性の測定
• Authors: Kawin Ethayarajh
• Abstract要約: 我々は、偏差推定の不確かさを信頼区間としてベルンシュタイン境界を用いて表現する。 95%の信頼区間が真のバイアスを常に束縛しているという経験的証拠を提供する。 以上の結果から,現在偏差を測定するために使用されているデータセットは,最も厳密な場合を除き,偏差を確定的に識別するには小さすぎることが示唆された。
• 参考スコア（独自算出の注目度）: 21.598196899084268
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most NLP datasets are not annotated with protected attributes such as gender, making it difficult to measure classification bias using standard measures of fairness (e.g., equal opportunity). However, manually annotating a large dataset with a protected attribute is slow and expensive. Instead of annotating all the examples, can we annotate a subset of them and use that sample to estimate the bias? While it is possible to do so, the smaller this annotated sample is, the less certain we are that the estimate is close to the true bias. In this work, we propose using Bernstein bounds to represent this uncertainty about the bias estimate as a confidence interval. We provide empirical evidence that a 95% confidence interval derived this way consistently bounds the true bias. In quantifying this uncertainty, our method, which we call Bernstein-bounded unfairness, helps prevent classifiers from being deemed biased or unbiased when there is insufficient evidence to make either claim. Our findings suggest that the datasets currently used to measure specific biases are too small to conclusively identify bias except in the most egregious cases. For example, consider a co-reference resolution system that is 5% more accurate on gender-stereotypical sentences -- to claim it is biased with 95% confidence, we need a bias-specific dataset that is 3.8 times larger than WinoBias, the largest available.
• Abstract（参考訳）: ほとんどのnlpデータセットは、性別などの保護された属性でアノテートされていないため、公平性の標準尺度(例えば等機会)を用いて分類バイアスを測定することは困難である。 しかし、大きなデータセットを保護属性で手動でアノテートするのは遅くて高価である。 すべての例をアノテートする代わりに、サブセットにアノテートして、そのサンプルを使ってバイアスを見積もることができますか? そうすることは可能だが、この注釈付きサンプルが小さくなればなるほど、推定が真のバイアスに近いという確信は薄くなる。 本研究では、偏差推定に関するこの不確かさを信頼区間としてベルンシュタイン境界を用いることを提案する。 この方法で引き起こされた95%の信頼区間が真のバイアスを一貫して束縛するという経験的証拠を提供する。 この不確実性を定量化するために、私たちがベルンシュタイン境界不公平(Bernstein-bounded fairness)と呼ぶ手法は、いずれの主張も不十分な証拠がある場合に、分類器が偏見や偏見を受けないことを防ぐのに役立つ。 以上の結果から,現在特定のバイアスの測定に使用されているデータセットは,最も偏りのあるケースを除き,決定的にバイアスを識別するには小さすぎることが示唆された。 例えば、ジェンダー・ステレオタイプ的な文で5%精度の高い共参照解決システムを考えると、95%の信頼でバイアスを受けていると主張するためには、最大利用可能なWinoBiasの3.8倍のバイアス特異的データセットが必要です。

関連論文リスト

• Revisiting the Dataset Bias Problem from a Statistical Perspective [72.94990819287551]
  統計的観点から「データセットバイアス」問題を考察する。 問題の主な原因は、クラス属性 u と非クラス属性 b の強い相関関係である。 本稿では,各試料nの目的をフラクタル1p(u_n|b_n)で重み付けするか,その試料をフラクタル1p(u_n|b_n)に比例してサンプリングすることにより,データセットバイアスを軽減することを提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:58:06Z)
• Hybrid Sample Synthesis-based Debiasing of Classifier in Limited Data Setting [5.837881923712393]
  本稿では,バイアスに関する事前情報を持たない,より実践的な設定に焦点を当てる。 この設定では、モデルがバイアス予測を発生させるようなバイアスアライメントされたサンプルが多数存在する。 トレーニングデータに制限がある場合、バイアスアライメントされたサンプルの影響がモデル予測にさらに強くなる可能性がある。
  論文  参考訳（メタデータ） (2023-12-13T17:04:16Z)
• Mitigating Bias for Question Answering Models by Tracking Bias Influence [84.66462028537475]
  本稿では,複数選択QAモデルのバイアスを軽減するためのBMBIを提案する。 バイアスのある例から学んだ場合、モデルがよりバイアスに傾くように傾くという直感に基づいて、クエリインスタンスのバイアスレベルを測定します。 本手法は,複数のバイアスカテゴリにまたがる複数のQA定式化に適用可能であることを示す。
  論文  参考訳（メタデータ） (2023-10-13T00:49:09Z)
• On Fairness and Stability: Is Estimator Variance a Friend or a Foe? [6.751310968561177]
  分散度におけるグループワイドパリティに基づく新しいパフォーマンス指標群を提案する。 フェアネス分析による不確実性定量化手法を再現したオープンソースライブラリを開発し,リリースする。
  論文  参考訳（メタデータ） (2023-02-09T09:35:36Z)
• Unbiased Supervised Contrastive Learning [10.728852691100338]
  本研究では,バイアスに頑健な表現を学習する問題に取り組む。 まず、偏りのあるデータを扱う際に、最近の対照的な損失がなぜ失敗するのかを明らかにするための、マージンに基づく理論的枠組みを提案する。 教師付きコントラスト損失(epsilon-SupInfoNCE)を新たに定式化し,正試料と負試料の最小距離をより正確に制御する。 理論的な枠組みのおかげで、極めて偏りのあるデータでもうまく機能する新しい偏りのある正規化損失であるFairKLも提案する。
  論文  参考訳（メタデータ） (2022-11-10T13:44:57Z)
• Bias Mimicking: A Simple Sampling Approach for Bias Mitigation [57.17709477668213]
  本稿では,新しいクラス条件サンプリング手法であるBias Mimickingを紹介する。 Bias Mimickingは、4つのベンチマークで3%の精度でサンプリングの精度を向上する。
  論文  参考訳（メタデータ） (2022-09-30T17:33:00Z)
• Improving Evaluation of Debiasing in Image Classification [29.711865666774017]
  本研究は,画像分類におけるデバイアス評価を行う際には,いくつかの課題を解決する必要があることを示唆する。 このような問題に基づいて,チューニング基準に対する評価基準であるAlign-Conflict(AC)スコアを提案する。 われわれの発見と教訓は、未来の研究者に偏見を刺激し、最先端のパフォーマンスをさらに押し上げ、公正な比較を行うことを信じている。
  論文  参考訳（メタデータ） (2022-06-08T05:24:13Z)
• The SAME score: Improved cosine based bias score for word embeddings [49.75878234192369]
  埋め込みにおけるセマンティックバイアスのための新しいバイアススコアであるPetを紹介した。 本研究は,下水道作業における意味バイアスを測定し,社会的バイアスの潜在的な原因を特定することができることを示す。
  論文  参考訳（メタデータ） (2022-03-28T09:28:13Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• The Gap on GAP: Tackling the Problem of Differing Data Distributions in Bias-Measuring Datasets [58.53269361115974]
  バイアスモデルを検出する診断データセットは、自然言語処理におけるバイアス低減の重要な前提条件である。 収集されたデータの望ましくないパターンは、そのようなテストを誤ったものにします。 実験データにおけるそのようなパターンに対処するために, 実験サンプルを重み付けする理論的基礎的手法を提案する。
  論文  参考訳（メタデータ） (2020-11-03T16:50:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。