論文の概要: Characterizing Fairness Over the Set of Good Models Under Selective Labels

• arxiv url: http://arxiv.org/abs/2101.00352v2
• Date: Wed, 13 Jan 2021 00:25:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 07:21:33.063314
• Title: Characterizing Fairness Over the Set of Good Models Under Selective Labels
• Title（参考訳）: 選択ラベルによる良いモデルの集合上の公正性の評価
• Authors: Amanda Coston and Ashesh Rambachan and Alexandra Chouldechova
• Abstract要約: 同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
• 参考スコア（独自算出の注目度）: 69.64662540443162
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Algorithmic risk assessments are increasingly used to make and inform decisions in a wide variety of high-stakes settings. In practice, there is often a multitude of predictive models that deliver similar overall performance, an empirical phenomenon commonly known as the "Rashomon Effect." While many competing models may perform similarly overall, they may have different properties over various subgroups, and therefore have drastically different predictive fairness properties. In this paper, we develop a framework for characterizing predictive fairness properties over the set of models that deliver similar overall performance, or "the set of good models." We provide tractable algorithms to compute the range of attainable group-level predictive disparities and the disparity minimizing model over the set of good models. We extend our framework to address the empirically relevant challenge of selectively labelled data in the setting where the selection decision and outcome are unconfounded given the observed data features. We illustrate our methods in two empirical applications. In a real world credit-scoring task, we build a model with lower predictive disparities than the benchmark model, and demonstrate the benefits of properly accounting for the selective labels problem. In a recidivism risk prediction task, we audit an existing risk score, and find that it generates larger predictive disparities than any model in the set of good models.
• Abstract（参考訳）: アルゴリズムによるリスクアセスメントは、さまざまな高リスク設定で意思決定を行い、通知するためにますます使われています。 実際には、「羅生門効果」として知られる経験的現象である同様の総合的な性能をもたらす予測モデルが多数存在することが多い。 多くの競合モデルも同様に振る舞うが、それらは様々な部分群に対して異なる性質を持ち、従って予測的公正性が著しく異なる。 本稿では,同様の全体的な性能を提供するモデル群,すなわち「良いモデルの集合」に対して,予測的公平性特性を特徴付けるフレームワークを開発した。 我々は、到達可能なグループレベルの予測格差の範囲を計算するための抽出可能なアルゴリズムと、良いモデルの集合上での差最小化モデルを提供する。 我々は、観測データの特徴から、選択決定と結果が未確立の環境で、選択的にラベル付けされたデータに対処するために、我々のフレームワークを拡張した。 本手法を実証的な2つの応用例で説明する。 実世界の信用評価タスクでは,ベンチマークモデルよりも予測格差の低いモデルを構築し,選択ラベル問題を適切に考慮する利点を実証する。 recidivism risk predictionタスクでは、既存のリスクスコアを監査し、良質なモデルセットのどのモデルよりも大きな予測の不一致を生み出すことを確認します。

関連論文リスト

• Predictive Churn with the Set of Good Models [64.05949860750235]
  近似機械学習モデルの集合に対する競合予測の効果について検討する。 ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。 当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
  論文  参考訳（メタデータ） (2024-02-12T16:15:25Z)
• Deep Neural Network Benchmarks for Selective Classification [27.098996474946446]
  複数の選択的な分類フレームワークが存在し、その多くはディープニューラルネットワークアーキテクチャに依存している。 提案手法は,選択誤差率,経験的カバレッジ,拒否されたインスタンスのクラス分布,アウト・オブ・ディストリビューション・インスタンスの性能など,いくつかの基準を用いて評価する。
  論文  参考訳（メタデータ） (2024-01-23T12:15:47Z)
• FairGridSearch: A Framework to Compare Fairness-Enhancing Models [0.0]
  本稿では、二項分類に焦点を当て、公平性向上モデルを比較するための新しいフレームワークであるFairGridSearchを提案する。 この研究は、FairGridSearchを3つの一般的なデータセット(Adult, COMPAS, German Credit)に適用し、計量選択、基底推定器の選択、分類しきい値がモデルフェアネスに与える影響を分析する。
  論文  参考訳（メタデータ） (2024-01-04T10:29:02Z)
• fairml: A Statistician's Take on Fair Machine Learning Modelling [0.0]
  本稿では,これまでの研究(Scutari, Panero, Proissl 2022)および関連モデルを文献で実装したfairmlパッケージについて述べる。 Fairmlは古典的な統計モデルと ペナル化された回帰結果に基づいて設計されています フェアネスを強制するために使われる制約は、推定をモデル化することであり、望まれるモデルファミリと各アプリケーションに対するフェアネス定義の混合とマッチングを可能にする。
  論文  参考訳（メタデータ） (2023-05-03T09:59:53Z)
• Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers [66.36045164286854]
  既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。 適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
  論文  参考訳（メタデータ） (2022-10-28T17:52:10Z)
• Cross-model Fairness: Empirical Study of Fairness and Ethics Under Model Multiplicity [10.144058870887061]
  1つの予測器が等しく機能するモデルのグループからアドホックに選択された場合、個人は害を受ける可能性があると我々は主張する。 これらの不公平性は実生活で容易に発見でき、技術的手段だけで緩和することは困難である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-03-14T14:33:39Z)
• Selecting the suitable resampling strategy for imbalanced data classification regarding dataset properties [62.997667081978825]
  医学、情報検索、サイバーセキュリティ、ソーシャルメディアなどの多くのアプリケーションドメインでは、分類モデルの導入に使用されるデータセットは、各クラスのインスタンスの不平等な分布を持つことが多い。 この状況は不均衡データ分類と呼ばれ、少数民族の例では予測性能が低い。 オーバーサンプリングとアンダーサンプリングの技術は、各クラスの例の数とバランスをとることでこの問題に対処する、よく知られた戦略である。
  論文  参考訳（メタデータ） (2021-12-15T18:56:39Z)
• How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating and Auditing Generative Models [95.8037674226622]
  ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。 当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
  論文  参考訳（メタデータ） (2021-02-17T18:25:30Z)
• Beyond Individual and Group Fairness [90.4666341812857]
  本稿では,不公平な不公平な苦情に導かれる公平さの新しいデータ駆動モデルを提案する。 我々のモデルは、複数のフェアネス基準をサポートし、それらの潜在的な不整合を考慮に入れている。
  論文  参考訳（メタデータ） (2020-08-21T14:14:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。