論文の概要: Properties of Group Fairness Metrics for Rankings

• arxiv url: http://arxiv.org/abs/2212.14351v1
• Date: Thu, 29 Dec 2022 15:50:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 17:51:30.809824
• Title: Properties of Group Fairness Metrics for Rankings
• Title（参考訳）: ランク付けのためのグループフェアネス指標の特性
• Authors: Tobias Schumacher, Marlene Lutz, Sandipan Sikdar, Markus Strohmaier
• Abstract要約: フェアランキングの文脈において,既存のグループフェアネス指標の比較分析を行った。 我々は、グループフェアネスのメトリクスに対して13のプロパティのセットを設計する、公理的なアプローチをとる。 これらの指標のほとんどは、提案された性質の小さな部分集合のみを満たすことを実証する。
• 参考スコア（独自算出の注目度）: 4.479834103607384
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, several metrics have been developed for evaluating group fairness of rankings. Given that these metrics were developed with different application contexts and ranking algorithms in mind, it is not straightforward which metric to choose for a given scenario. In this paper, we perform a comprehensive comparative analysis of existing group fairness metrics developed in the context of fair ranking. By virtue of their diverse application contexts, we argue that such a comparative analysis is not straightforward. Hence, we take an axiomatic approach whereby we design a set of thirteen properties for group fairness metrics that consider different ranking settings. A metric can then be selected depending on whether it satisfies all or a subset of these properties. We apply these properties on eleven existing group fairness metrics, and through both empirical and theoretical results we demonstrate that most of these metrics only satisfy a small subset of the proposed properties. These findings highlight limitations of existing metrics, and provide insights into how to evaluate and interpret different fairness metrics in practical deployment. The proposed properties can also assist practitioners in selecting appropriate metrics for evaluating fairness in a specific application.
• Abstract（参考訳）: 近年,ランク付けのグループフェアネスを評価する指標が開発されている。 これらのメトリクスが異なるアプリケーションコンテキストとランキングアルゴリズムを念頭に開発されていることを考慮すれば、どのメトリクスが特定のシナリオを選択するかは簡単ではない。 本稿では,公正ランキングの文脈で開発された既存グループフェアネス指標の総合的比較分析を行う。 多様なアプリケーションコンテキストにより、このような比較分析は簡単ではないと我々は主張する。 そこで我々は,異なるランキング設定を考慮したグループフェアネス指標の13のプロパティセットを設計する,公理的なアプローチを採っている。 計量はそれらの性質のすべての部分集合を満たすかどうかによって選択できる。 我々は、これらの性質を既存の11つの群フェアネス指標に適用し、経験的および理論的結果の両方を通して、これらの指標のほとんどが提案された性質の小さな部分集合のみを満たすことを示す。 これらの発見は、既存のメトリクスの制限を強調し、実践的なデプロイメントにおいて、異なる公正度メトリクスを評価し、解釈する方法に関する洞察を提供する。 提案する特性は、特定のアプリケーションでフェアネスを評価するための適切な指標を選択する際にも役立つ。

関連論文リスト

• Ranking evaluation metrics from a group-theoretic perspective [5.333192842860574]
  一般的に使用される指標において、不整合評価や潜在的な不信の原因となる事例を示す。 分析では,不整合性評価を不信の原因とみなすべきではないことを強調し,評価指標のランク付けに光を当てた。
  論文  参考訳（メタデータ） (2024-08-14T09:06:58Z)
• On the Intrinsic and Extrinsic Fairness Evaluation Metrics for Contextualized Language Representations [74.70957445600936]
  様々な自然言語処理タスクの公平度を測定するために、複数のメトリクスが導入された。 これらの指標は,(1)下流アプリケーションにおけるフェアネスを評価する遠因性指標と,(2)上流言語表現モデルにおけるフェアネスを推定する遠因性指標の2つのカテゴリに大別することができる。
  論文  参考訳（メタデータ） (2022-03-25T22:17:43Z)
• Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
  加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。 この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
  論文  参考訳（メタデータ） (2022-03-16T15:00:33Z)
• Measuring Disparate Outcomes of Content Recommendation Algorithms with Distributional Inequality Metrics [5.74271110290378]
  我々は,経済学,分布不平等指標,およびTwitterのアルゴリズム・タイムラインにおけるコンテンツ露出の差異を測定する能力から,一連の指標を評価した。 これらのメトリクスを用いて、ユーザ間の歪んだ結果に強く寄与するコンテンツ提案アルゴリズムを特定できることを示す。
  論文  参考訳（メタデータ） (2022-02-03T14:41:39Z)
• QAFactEval: Improved QA-Based Factual Consistency Evaluation for Summarization [116.56171113972944]
  QAベースのメトリクスのコンポーネントを慎重に選択することは、パフォーマンスにとって重要であることを示す。 提案手法は,最良性能のエンテーメントに基づく測定値を改善し,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-12-16T00:38:35Z)
• Estimation of Fair Ranking Metrics with Incomplete Judgments [70.37717864975387]
  本研究では,4つの評価指標のサンプリング手法と推定手法を提案する。 ラベル付きアイテムの数が極めて少ない場合でも動作可能な頑健で偏りのない推定器を定式化する。
  論文  参考訳（メタデータ） (2021-08-11T10:57:00Z)
• Fair Performance Metric Elicitation [29.785862520452955]
  我々は、計量赤道レンズによる公正度指標の選択について考察する。 マルチクラス分類問題に対して,グループフェアのパフォーマンス指標を抽出する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-06-23T04:03:24Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)
• Overview of the TREC 2019 Fair Ranking Track [65.15263872493799]
  TREC Fair Ranking トラックの目標は、異なるコンテンツプロバイダに対する公正性の観点から、検索システムを評価するベンチマークを開発することであった。 本稿では,タスク定義やデータ記述,アノテーションプロセスなどを含むトラックの概要について述べる。
  論文  参考訳（メタデータ） (2020-03-25T21:34:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。