論文の概要: Fair Performance Metric Elicitation
- arxiv url: http://arxiv.org/abs/2006.12732v3
- Date: Tue, 3 Nov 2020 06:14:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 22:00:07.384463
- Title: Fair Performance Metric Elicitation
- Title(参考訳): 公正なパフォーマンス指標の導出
- Authors: Gaurush Hiranandani, Harikrishna Narasimhan, Oluwasanmi Koyejo
- Abstract要約: 我々は、計量赤道レンズによる公正度指標の選択について考察する。
マルチクラス分類問題に対して,グループフェアのパフォーマンス指標を抽出する新しい手法を提案する。
- 参考スコア(独自算出の注目度): 29.785862520452955
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: What is a fair performance metric? We consider the choice of fairness metrics
through the lens of metric elicitation -- a principled framework for selecting
performance metrics that best reflect implicit preferences. The use of metric
elicitation enables a practitioner to tune the performance and fairness metrics
to the task, context, and population at hand. Specifically, we propose a novel
strategy to elicit group-fair performance metrics for multiclass classification
problems with multiple sensitive groups that also includes selecting the
trade-off between predictive performance and fairness violation. The proposed
elicitation strategy requires only relative preference feedback and is robust
to both finite sample and feedback noise.
- Abstract(参考訳): 公正なパフォーマンス指標は何ですか?
暗黙の選好を最も反映したパフォーマンス指標を選択するための原則的なフレームワークである、メトリクスの誘惑のレンズによる公正度メトリクスの選択を検討します。
メトリック・エリケーションを用いることで、実践者は、タスク、コンテキスト、人口に対して、パフォーマンスと公平性のメトリクスを調整できる。
具体的には,複数のセンシティブなグループを持つ複数クラス分類問題に対して,予測性能と公平性違反のトレードオフを選択することを含むグループフェア性能指標を抽出する新しい手法を提案する。
提案手法は, 相対的選好フィードバックのみを必要とし, 有限サンプルとフィードバックノイズの両方に対して頑健である。
関連論文リスト
- Evaluating the Fairness of Discriminative Foundation Models in Computer
Vision [51.176061115977774]
本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。
そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。
具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
論文 参考訳(メタデータ) (2023-10-18T10:32:39Z) - Properties of Group Fairness Metrics for Rankings [4.479834103607384]
フェアランキングの文脈において,既存のグループフェアネス指標の比較分析を行った。
我々は、グループフェアネスのメトリクスに対して13のプロパティのセットを設計する、公理的なアプローチをとる。
これらの指標のほとんどは、提案された性質の小さな部分集合のみを満たすことを実証する。
論文 参考訳(メタデータ) (2022-12-29T15:50:18Z) - Fairness via Adversarial Attribute Neighbourhood Robust Learning [49.93775302674591]
本稿では,分類ヘッドを損なうために,UnderlineRobust underlineAdversarial underlineAttribute underlineNeighbourhood (RAAN)損失を原則として提案する。
論文 参考訳(メタデータ) (2022-10-12T23:39:28Z) - Classification Performance Metric Elicitation and its Applications [5.5637552942511155]
その実践的関心にもかかわらず、機械学習アプリケーションのためのメトリクスの選択方法に関する正式なガイダンスは限られている。
この論文は、暗黙のユーザの嗜好を最も反映したパフォーマンスメトリックを選択するための原則的なフレームワークとして、メトリクスの誘惑を概説している。
論文 参考訳(メタデータ) (2022-08-19T03:57:17Z) - Experiments on Generalizability of User-Oriented Fairness in Recommender
Systems [2.0932879442844476]
公正を意識した推薦システムは、異なるユーザーグループを同様に扱うことを目的としている。
本稿では,ユーザ中心の公平度を再評価するフレームワークを提案する。
我々は、ユーザ(NDCGなど)とアイテム(新規性、アイテムフェアネスなど)の両方から、フレームワークの再ランク付けによる最終的なレコメンデーションを評価する。
論文 参考訳(メタデータ) (2022-05-17T12:36:30Z) - On the Intrinsic and Extrinsic Fairness Evaluation Metrics for
Contextualized Language Representations [74.70957445600936]
様々な自然言語処理タスクの公平度を測定するために、複数のメトリクスが導入された。
これらの指標は,(1)下流アプリケーションにおけるフェアネスを評価する遠因性指標と,(2)上流言語表現モデルにおけるフェアネスを推定する遠因性指標の2つのカテゴリに大別することができる。
論文 参考訳(メタデータ) (2022-03-25T22:17:43Z) - Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。
この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
論文 参考訳(メタデータ) (2022-03-16T15:00:33Z) - Fair Tree Learning [0.15229257192293202]
様々な最適化基準は、分類性能と公正度を組み合わせている。
現在の公正決定木法は、分類タスクと公正度測定の両方において、一定の閾値を最適化するのみである。
そこで本研究では,一様人口分布パリティと呼ばれるしきい値非依存の公平度尺度と,SCAFF – Splitting Criterion AUC for Fairnessと題する分割基準を提案する。
論文 参考訳(メタデータ) (2021-10-18T13:40:25Z) - ReMP: Rectified Metric Propagation for Few-Shot Learning [67.96021109377809]
修正されたメートル法空間は、トレーニングからテストまでのメートル法一貫性を維持するために学習される。
多くの分析結果から、目的の単純な修正がかなりの性能向上をもたらすことが示唆された。
提案したReMPは効率的で効率的であり、様々な標準的な数発の学習データセットで芸術の状態を上回ります。
論文 参考訳(メタデータ) (2020-12-02T00:07:53Z) - Quadratic Metric Elicitation for Fairness and Beyond [28.1407078984806]
本稿では,速度の2次関数によって定義される,よりフレキシブルなマルチクラスメトリクスを抽出するための戦略を開発する。
本稿では,2次違反に基づくグループフェアメトリクスの抽出への応用について述べる。
論文 参考訳(メタデータ) (2020-11-03T07:22:15Z) - Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking
Fairness and Algorithm Utility [54.179859639868646]
Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。
学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。
本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
論文 参考訳(メタデータ) (2020-06-15T10:08:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。