論文の概要: Auditing ML Models for Individual Bias and Unfairness
- arxiv url: http://arxiv.org/abs/2003.05048v1
- Date: Wed, 11 Mar 2020 00:35:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-24 13:38:24.247134
- Title: Auditing ML Models for Individual Bias and Unfairness
- Title(参考訳): 個人バイアスと不公平に対するMLモデルの検討
- Authors: Songkai Xue, Mikhail Yurochkin and Yuekai Sun
- Abstract要約: 本研究では,個人バイアス/不公平度に対するMLモデルの監査作業の形式化と,最適値のための一連の推論ツールの開発を行う。
ツールの有用性を実証するために、NorthpointeのCompactes recidivism予測器の性別と人種的偏見を明らかにする。
- 参考スコア(独自算出の注目度): 46.94549066382216
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the task of auditing ML models for individual bias/unfairness. We
formalize the task in an optimization problem and develop a suite of
inferential tools for the optimal value. Our tools permit us to obtain
asymptotic confidence intervals and hypothesis tests that cover the
target/control the Type I error rate exactly. To demonstrate the utility of our
tools, we use them to reveal the gender and racial biases in Northpointe's
COMPAS recidivism prediction instrument.
- Abstract(参考訳): 個人バイアス/不公平度に対するMLモデル監査の課題を考察する。
最適化問題においてタスクを形式化し,最適値に対する推論ツール群を開発する。
我々のツールは、I型エラー率を正確に制御する漸近的信頼区間と仮説テストを得ることを可能にする。
ツールの有用性を実証するために、northpointeのcompas recidivism prediction instrumentの性別と人種バイアスを明らかにするためにそれらを使用します。
関連論文リスト
- Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。
FASTは最先端のベースラインを超え、デバイアス性能が優れている。
これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
論文 参考訳(メタデータ) (2024-08-07T17:14:58Z) - Statistical Inference for Fairness Auditing [4.318555434063274]
我々は、このタスクを複数の仮説テストの観点から「フェアネス監査」とみなしている。
ブートストラップを用いて,グループ間のパフォーマンス格差を同時にバインドする方法を示す。
本手法は,モデルアンダーパフォーマンスの影響を受けるサブポピュレーションのフラグ付けや,モデルが適切に機能するサブポピュレーションの認証に利用できる。
論文 参考訳(メタデータ) (2023-05-05T17:54:22Z) - Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。
合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
論文 参考訳(メタデータ) (2023-02-23T18:57:14Z) - A Sandbox Tool to Bias(Stress)-Test Fairness Algorithms [19.86635585740634]
バイアス注入型サンドボックスツールの概念と実装について, 各種バイアスの公平性について検討する。
既存のツールキットとは異なり、私たちのツールはMLパイプラインに事実上バイアスを注入する制御された環境を提供します。
特に、バイアス注入前において、偏りのない状態の真のラベルに介入した後に生じる予測を比較することで、与えられた治療法が注入されたバイアスを軽減することができるかどうかを検証できる。
論文 参考訳(メタデータ) (2022-04-21T16:12:19Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Test-time Collective Prediction [73.74982509510961]
マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。
エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。
我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
論文 参考訳(メタデータ) (2021-06-22T18:29:58Z) - Statistical inference for individual fairness [24.622418924551315]
機械学習モデルにおける個々人の公平性の違反を検出する問題に注目する。
我々は,対向コスト関数のための一連の推論ツールを開発した。
実世界のケーススタディでツールの有用性を実証します。
論文 参考訳(メタデータ) (2021-03-30T22:49:25Z) - Prediction Confidence from Neighbors [0.0]
機械学習(ML)モデルがOoD(out-of-distribution)サンプルから正しい予測を抽出することができないことは、重要なアプリケーションにMLを適用する上で大きな障害となる。
特徴空間距離は予測に自信を与える有意義な尺度であることを示す。
これにより、重要なアプリケーションにおけるモデルの早期かつ安全なデプロイが可能になり、常に変化する条件下でのモデルのデプロイには不可欠である。
論文 参考訳(メタデータ) (2020-03-31T09:26:09Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳(メタデータ) (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。