論文の概要: On Learning and Enforcing Latent Assessment Models using Binary Feedback
from Human Auditors Regarding Black-Box Classifiers
- arxiv url: http://arxiv.org/abs/2202.08250v1
- Date: Wed, 16 Feb 2022 18:54:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-17 16:23:06.164424
- Title: On Learning and Enforcing Latent Assessment Models using Binary Feedback
from Human Auditors Regarding Black-Box Classifiers
- Title（参考訳）: ブラックボックス分類に関する監査人からの2元フィードバックを用いた潜在性評価モデルの学習と実施について
- Authors: Mukund Telukunta, Venkata Sriram Siddhardh Nadendla
- Abstract要約: 本稿では,人間監査者による2値フィードバックを特徴付ける潜在評価モデル (LAM) を提案する。
個人と集団の公正性の概念は、監査人の本質的な判断が本質的に公正性の概念を満足している限り保証されていることを証明する。
また、LAMと従来の公正の概念との関係を3つのよく知られたデータセットで示す。
- 参考スコア（独自算出の注目度）: 1.116812194101501
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Algorithmic fairness literature presents numerous mathematical notions and
metrics, and also points to a tradeoff between them while satisficing some or
all of them simultaneously. Furthermore, the contextual nature of fairness
notions makes it difficult to automate bias evaluation in diverse algorithmic
systems. Therefore, in this paper, we propose a novel model called latent
assessment model (LAM) to characterize binary feedback provided by human
auditors, by assuming that the auditor compares the classifier's output to his
or her own intrinsic judgment for each input. We prove that individual and
group fairness notions are guaranteed as long as the auditor's intrinsic
judgments inherently satisfy the fairness notion at hand, and are relatively
similar to the classifier's evaluations. We also demonstrate this relationship
between LAM and traditional fairness notions on three well-known datasets,
namely COMPAS, German credit and Adult Census Income datasets. Furthermore, we
also derive the minimum number of feedback samples needed to obtain PAC
learning guarantees to estimate LAM for black-box classifiers. These guarantees
are also validated via training standard machine learning algorithms on real
binary feedback elicited from 400 human auditors regarding COMPAS.
- Abstract（参考訳）: アルゴリズム的公平性文学は、多くの数学的概念とメトリクスを示し、それらの間のトレードオフを指摘し、それらのいくつかまたはすべてを同時に満足させる。
さらに、公平性の概念の文脈的性質は、様々なアルゴリズムシステムにおいてバイアス評価の自動化を困難にしている。
そこで本稿では,人間の監査者が提供する二元フィードバックを特徴付ける潜在評価モデル(lam)と呼ばれる新しいモデルを提案する。
個人と集団の公平性の概念は、監査人の内在的な判断が本質的にフェアネスの概念を満たしている限り保証され、分類者の評価と比較的類似していることを証明する。
また、lamと従来のフェアネス概念との関係を、3つのよく知られたデータセット(compas, german credit, adult census income dataset)で示している。
さらに,ブラックボックス分類器のram推定のためのpac学習保証を得るために必要な最小フィードバックサンプル数も導出する。
これらの保証は、400人の人間の監査人によるcompasに関する実際のバイナリフィードバックに基づいて、標準的な機械学習アルゴリズムをトレーニングすることで検証される。
関連論文リスト
- Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。
主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。
3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文 参考訳（メタデータ） (2024-04-04T15:36:53Z) - Evaluating the Fairness of Discriminative Foundation Models in Computer
Vision [51.176061115977774]
本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。
そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。
具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
論文 参考訳（メタデータ） (2023-10-18T10:32:39Z) - FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets [69.91340332545094]
FLASKは、人間に基づく評価とモデルに基づく評価の両方のためのきめ細かい評価プロトコルである。
モデル性能の全体像を得るためには,評価の微粒化が重要であることを実験的に観察する。
論文 参考訳（メタデータ） (2023-07-20T14:56:35Z) - DualFair: Fair Representation Learning at Both Group and Individual
Levels via Contrastive Self-supervision [73.80009454050858]
この研究は、DualFairと呼ばれる自己教師型モデルを提示し、学習された表現から性別や人種などのセンシティブな属性をデバイアスすることができる。
我々のモデルは、グループフェアネスと対実フェアネスという2つのフェアネス基準を共同で最適化する。
論文 参考訳（メタデータ） (2023-03-15T07:13:54Z) - Fairness Evaluation in Text Classification: Machine Learning
Practitioner Perspectives of Individual and Group Fairness [34.071324739205096]
モデルを評価するために使用する戦略を理解するために、機械学習の実践者たちと研究を行っている。
個人的経験を含む公平性評価戦略や,モデルの公正性をテストするために,ユーザがアイデンティティトークンのグループをどのように形成するかを見いだす。
論文 参考訳（メタデータ） (2023-03-01T17:12:49Z) - Utilizing supervised models to infer consensus labels and their quality
from data with multiple annotators [16.79939549201032]
分類のための実世界のデータは、しばしば複数のアノテータによってラベル付けされる。
このようなデータを推定するための簡単なアプローチであるCROWDLABを紹介します。
提案手法は,(1)-(3)に対して,多くの代替アルゴリズムよりも優れた推定値を提供する。
論文 参考訳（メタデータ） (2022-10-13T07:54:07Z) - Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。
この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
論文 参考訳（メタデータ） (2022-03-16T15:00:33Z) - Non-Comparative Fairness for Human-Auditing and Its Relation to
Traditional Fairness Notions [1.8275108630751837]
本稿では,非比較正義の原理に基づく新たな公正概念を提案する。
比較公正性の観点から,任意のMLSを公平とみなすことができることを示す。
また、逆は個々人の公平さの文脈で真であることを示す。
論文 参考訳（メタデータ） (2021-06-29T20:05:22Z) - Visualizing Classifier Adjacency Relations: A Case Study in Speaker
Verification and Voice Anti-Spoofing [72.4445825335561]
任意のバイナリ分類器によって生成される検出スコアから2次元表現を導出する簡単な方法を提案する。
ランク相関に基づいて,任意のスコアを用いた分類器の視覚的比較を容易にする。
提案手法は完全に汎用的であり,任意の検出タスクに適用可能だが,自動話者検証と音声アンチスプーフィングシステムによるスコアを用いた手法を実証する。
論文 参考訳（メタデータ） (2021-06-11T13:03:33Z) - Fairness by Explicability and Adversarial SHAP Learning [0.0]
本稿では,外部監査役の役割とモデル説明可能性を強調するフェアネスの新たな定義を提案する。
逆代理モデルのSHAP値から構築した正規化を用いてモデルバイアスを緩和するフレームワークを開発する。
合成データセット、UCIアダルト(国勢調査)データセット、実世界の信用評価データセットである。
論文 参考訳（メタデータ） (2020-03-11T14:36:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。