論文の概要: Non-Comparative Fairness for Human-Auditing and Its Relation to Traditional Fairness Notions

• arxiv url: http://arxiv.org/abs/2107.01277v1
• Date: Tue, 29 Jun 2021 20:05:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-11 11:37:13.515395
• Title: Non-Comparative Fairness for Human-Auditing and Its Relation to Traditional Fairness Notions
• Title（参考訳）: ノンコンプリート・フェアネスと伝統的フェアネス概念との関係
• Authors: Mukund Telukunta, Venkata Sriram Siddhardh Nadendla
• Abstract要約: 本稿では,非比較正義の原理に基づく新たな公正概念を提案する。 比較公正性の観点から,任意のMLSを公平とみなすことができることを示す。 また、逆は個々人の公平さの文脈で真であることを示す。
• 参考スコア（独自算出の注目度）: 1.8275108630751837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bias evaluation in machine-learning based services (MLS) based on traditional algorithmic fairness notions that rely on comparative principles is practically difficult, making it necessary to rely on human auditor feedback. However, in spite of taking rigorous training on various comparative fairness notions, human auditors are known to disagree on various aspects of fairness notions in practice, making it difficult to collect reliable feedback. This paper offers a paradigm shift to the domain of algorithmic fairness via proposing a new fairness notion based on the principle of non-comparative justice. In contrary to traditional fairness notions where the outcomes of two individuals/groups are compared, our proposed notion compares the MLS' outcome with a desired outcome for each input. This desired outcome naturally describes a human auditor's expectation, and can be easily used to evaluate MLS on crowd-auditing platforms. We show that any MLS can be deemed fair from the perspective of comparative fairness (be it in terms of individual fairness, statistical parity, equal opportunity or calibration) if it is non-comparatively fair with respect to a fair auditor. We also show that the converse holds true in the context of individual fairness. Given that such an evaluation relies on the trustworthiness of the auditor, we also present an approach to identify fair and reliable auditors by estimating their biases with respect to a given set of sensitive attributes, as well as quantify the uncertainty in the estimation of biases within a given MLS. Furthermore, all of the above results are also validated on COMPAS, German credit and Adult Census Income datasets.
• Abstract（参考訳）: 機械学習に基づくサービス(MLS)におけるバイアス評価は、比較原理に依存する従来のアルゴリズム的公正の概念に基づくものであり、人間の監査者フィードバックに頼る必要がある。 しかし、比較公正概念の厳密な訓練を受けながら、実際にフェアネス概念の様々な側面について意見が一致しないことが知られているため、信頼できるフィードバックを集めることは困難である。 本稿では,非比較正義の原理に基づく新しい公正概念を提案することによって,アルゴリズムフェアネス領域へのパラダイムシフトを提供する。 2つの個人/グループの結果を比較する伝統的な公正概念とは対照的に、提案した概念はMLSの結果と入力毎に望ましい結果を比較する。 この望ましい結果は,人の期待を自然に表現し,クラウドオーディションプラットフォーム上でのMLSの評価に利用することができる。 比較公正性(個別公正性、統計的パリティ、等機会性、キャリブレーションなど)の観点からは、公平視できるmlsは、公正監査者に対して比較的公平でない場合である。 また、逆は個人的公正の文脈で真であることを示す。 このような評価が監査人の信頼性に依拠していることを考慮し、所定の属性のセットに対するバイアスを推定し、与えられたMLS内のバイアスの推定の不確実性を定量化することにより、公正で信頼性の高い監査者を識別するアプローチを提案する。 さらに、上記の結果の全ては、compas、ドイツのクレジットおよび成人国勢調査の所得データでも検証されている。

関連論文リスト

• Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• A Normative Framework for Benchmarking Consumer Fairness in Large Language Model Recommender System [9.470545149911072]
  本稿では,LCMを利用したリコメンデータシステムにおいて,消費者の公正性をベンチマークするための規範的フレームワークを提案する。 このギャップは公平性に関する任意の結論につながる可能性があると我々は主張する。 MovieLensデータセットの消費者の公正性に関する実験は、年齢ベースの推奨において公平さの偏りを明らかにしている。
  論文  参考訳（メタデータ） (2024-05-03T16:25:27Z)
• Fairness in Ranking under Disparate Uncertainty [24.401219403555814]
  我々は、基礎となる関連モデルの不確実性がオプション群間で異なる場合、ランク付けは不公平をもたらす可能性があると論じる。 ランク付けのための新しい公正基準として平等ランク付け(EOR)を提案する。 異なる不確実性が存在する場合でも、EORは関連する選択肢の中でグループワイドフェア・宝くじに対応していることを示す。
  論文  参考訳（メタデータ） (2023-09-04T13:49:48Z)
• DualFair: Fair Representation Learning at Both Group and Individual Levels via Contrastive Self-supervision [73.80009454050858]
  この研究は、DualFairと呼ばれる自己教師型モデルを提示し、学習された表現から性別や人種などのセンシティブな属性をデバイアスすることができる。 我々のモデルは、グループフェアネスと対実フェアネスという2つのフェアネス基準を共同で最適化する。
  論文  参考訳（メタデータ） (2023-03-15T07:13:54Z)
• Evaluate Confidence Instead of Perplexity for Zero-shot Commonsense Reasoning [85.1541170468617]
  本稿では,コモンセンス推論の性質を再考し,新しいコモンセンス推論尺度であるNon-Replacement Confidence(NRC)を提案する。 提案手法は,2つのコモンセンス推論ベンチマークデータセットと,さらに7つのコモンセンス質問応答データセットに対してゼロショット性能を向上する。
  論文  参考訳（メタデータ） (2022-08-23T14:42:14Z)
• Error Parity Fairness: Testing for Group Fairness in Regression Tasks [5.076419064097733]
  この研究は、回帰フェアネスの概念としてエラーパリティを示し、グループフェアネスを評価するためのテスト手法を導入する。 続いて、いくつかの統計上のグループを比較し、格差を探索し、影響されたグループを特定するのに適した置換テストが実施される。 全体として、提案された回帰公正性テスト手法は、公正な機械学習文献のギャップを埋め、より大きなアカウンタビリティ評価とアルゴリズム監査の一部として機能する可能性がある。
  論文  参考訳（メタデータ） (2022-08-16T17:47:20Z)
• Algorithmic Fairness and Vertical Equity: Income Fairness with IRS Tax Audit Models [73.24381010980606]
  本研究は、IRSによる税務監査選択を通知するシステムの文脈におけるアルゴリズムフェアネスの問題について検討する。 監査を選択するための柔軟な機械学習手法が、垂直エクイティにどのように影響するかを示す。 この結果は,公共セクター全体でのアルゴリズムツールの設計に影響を及ぼす。
  論文  参考訳（メタデータ） (2022-06-20T16:27:06Z)
• Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
  加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。 この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
  論文  参考訳（メタデータ） (2022-03-16T15:00:33Z)
• On Learning and Enforcing Latent Assessment Models using Binary Feedback from Human Auditors Regarding Black-Box Classifiers [1.116812194101501]
  本稿では,人間監査者による2値フィードバックを特徴付ける潜在評価モデル (LAM) を提案する。 個人と集団の公正性の概念は、監査人の本質的な判断が本質的に公正性の概念を満足している限り保証されていることを証明する。 また、LAMと従来の公正の概念との関係を3つのよく知られたデータセットで示す。
  論文  参考訳（メタデータ） (2022-02-16T18:54:32Z)
• Equality before the Law: Legal Judgment Consistency Analysis for Fairness [55.91612739713396]
  本論文では,LInCo(Legal Inconsistency Coefficient)の判定不整合性評価指標を提案する。 法的な判断予測(LJP)モデルを用いて異なる集団の裁判官をシミュレートし、異なる集団で訓練されたLJPモデルによる判断結果の不一致を判断する。 私達はLInCoを実際の場合の不一致を探検するために使用し、次の観察に来ます:(1)地域およびジェンダーの不一致は法制度でありますが、ジェンダーの不一致は地方不一致より大いにより少しです。
  論文  参考訳（メタデータ） (2021-03-25T14:28:00Z)
• On the Identification of Fair Auditors to Evaluate Recommender Systems based on a Novel Non-Comparative Fairness Notion [1.116812194101501]
  意思決定支援システムは、多くの実践的な展開の文脈で差別的であることが判明した。 非比較正義の原理に基づく新しい公正概念を提案する。 提案したフェアネスの概念は、比較フェアネスの概念の観点からも保証を提供することを示す。
  論文  参考訳（メタデータ） (2020-09-09T16:04:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。