論文の概要: Measuring Bias in a Ranked List using Term-based Representations
- arxiv url: http://arxiv.org/abs/2403.05975v1
- Date: Sat, 9 Mar 2024 18:24:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 11:31:26.001320
- Title: Measuring Bias in a Ranked List using Term-based Representations
- Title（参考訳）: 項ベース表現を用いたランキングリストにおけるバイアスの測定
- Authors: Amin Abolghasemi, Leif Azzopardi, Arian Askari, Maarten de Rijke,
Suzan Verberne
- Abstract要約: TExFAIR (term exposure-based fairness) と呼ばれる新しい尺度を提案する。
TExFAIRは、ランクリスト内のグループの項ベースの表現に基づいて公正度を測定する。
実験の結果,TExFAIRとNFaiRRの相関は認められず,TExFAIRはNFaiRRと異なる寸法の公正度を測っていることがわかった。
- 参考スコア（独自算出の注目度）: 50.69722973236967
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In most recent studies, gender bias in document ranking is evaluated with the
NFaiRR metric, which measures bias in a ranked list based on an aggregation
over the unbiasedness scores of each ranked document. This perspective in
measuring the bias of a ranked list has a key limitation: individual documents
of a ranked list might be biased while the ranked list as a whole balances the
groups' representations. To address this issue, we propose a novel metric
called TExFAIR (term exposure-based fairness), which is based on two new
extensions to a generic fairness evaluation framework, attention-weighted
ranking fairness (AWRF). TExFAIR assesses fairness based on the term-based
representation of groups in a ranked list: (i) an explicit definition of
associating documents to groups based on probabilistic term-level associations,
and (ii) a rank-biased discounting factor (RBDF) for counting
non-representative documents towards the measurement of the fairness of a
ranked list. We assess TExFAIR on the task of measuring gender bias in passage
ranking, and study the relationship between TExFAIR and NFaiRR. Our experiments
show that there is no strong correlation between TExFAIR and NFaiRR, which
indicates that TExFAIR measures a different dimension of fairness than NFaiRR.
With TExFAIR, we extend the AWRF framework to allow for the evaluation of
fairness in settings with term-based representations of groups in documents in
a ranked list.
- Abstract（参考訳）: 最近の研究では、文書のランク付けにおける性別バイアスを、各ランク付けされた文書の不偏度スコアの集計に基づいてランク付けリストのバイアスを測定するnfairrメトリックを用いて評価している。
ランク付けされたリストの個々のドキュメントは偏りがあり、ランク付けされたリストはグループの表現のバランスをとる。
この問題に対処するために,一般の公正度評価フレームワーク(AWRF)に対する2つの新たな拡張に基づく,TExFAIR (term exposure-based fairness) と呼ばれる新しい尺度を提案する。
TExFAIRは、ランクリスト内のグループの項ベースの表現に基づいてフェアネスを評価する。
一 確率的項レベルの関連に基づく団体に文書を関連付けることの明示的定義、及び
二 ランクリストの公平度の測定に向けて非表示文書を数えるためのランクバイアス割引係数(RBDF)
パスランキングにおける性別バイアスの測定課題であるtexfairを評価し,texfairとnfairrの関係について検討した。
実験の結果,TExFAIRとNFaiRRの相関は認められず,TExFAIRはNFaiRRと異なる寸法の公正度を測っていることがわかった。
TExFAIRでは、文書内のグループを項ベースで表現した設定における公平性の評価を可能にするために、AWRFフレームワークを拡張した。
関連論文リスト
- Optimizing Group-Fair Plackett-Luce Ranking Models for Relevance and
Ex-Post Fairness [5.349671569838342]
学習からランクへの学習において、関連性のみを最適化することは、特定のカテゴリの項目に表現的害をもたらす可能性がある。
本稿では,与えられた表現制約を満たすランキングに対して,期待される妥当性を最大化する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-08-25T08:27:43Z) - Bipartite Ranking Fairness through a Model Agnostic Ordering Adjustment [54.179859639868646]
本稿では,二部類ランキングにおける公平性を実現するためのモデルに依存しない後処理フレームワークxOrderを提案する。
xOrderは、教師なしおよび教師なしの公正度メトリックを含む、さまざまな分類モデルとランキングフェアネスメトリクスと互換性がある。
提案アルゴリズムを,4つのベンチマークデータセットと2つの実世界の患者電子健康記録リポジトリ上で評価した。
論文 参考訳（メタデータ） (2023-07-27T07:42:44Z) - Matched Pair Calibration for Ranking Fairness [2.580183306478581]
マッチングペアキャリブレーションと呼ばれるスコアベースランキングシステムにおける公平性テストを提案する。
本稿では,2進分類設定からランク付けまで,キャリブレーションの公平さの直観を一般化する方法について述べる。
論文 参考訳（メタデータ） (2023-06-06T15:32:30Z) - Learning List-Level Domain-Invariant Representations for Ranking [59.3544317373004]
リストレベルのアライメント -- より高いレベルのリストでドメイン不変表現を学習する。
利点は2つある: これは、ランク付けに縛られる最初のドメイン適応の一般化をもたらし、その結果、提案法に対する理論的支援を提供する。
論文 参考訳（メタデータ） (2022-12-21T04:49:55Z) - MANI-Rank: Multiple Attribute and Intersectional Group Fairness for
Consensus Ranking [6.231376714841276]
ランキングにおけるグループフェアネス、特にランクアグリゲーションは、その初期段階にある。
近年の研究では、ランキングを組み合わせるための公正なランクアグリゲーションの概念が導入されたが、候補が1つの二項保護属性を持つ場合に限られている。
しかし、すべてのランク付け者の好みを表すコンセンサスランキングを作成する方法は、依然として未解決の問題である。
我々は、このオープンなマルチ属性フェアコンセンサスランキング問題を初めて定義し、解決する。
論文 参考訳（メタデータ） (2022-07-20T16:36:20Z) - Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。
この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
論文 参考訳（メタデータ） (2022-03-16T15:00:33Z) - Overview of the TREC 2020 Fair Ranking Track [64.16623297717642]
本稿は、NIST TREC 2020 Fair Ranking trackの概要を示す。
フェア・ランキング・トラックの中心的な目標は、様々な作家グループに公正な露出を提供することである。
論文 参考訳（メタデータ） (2021-08-11T10:22:05Z) - Uncovering Latent Biases in Text: Method and Application to Peer Review [38.726731935235584]
本稿では,サブグループメンバーシップ指標の可視性に起因するテキストのバイアスを定量化する新しいフレームワークを提案する。
評価された機械学習会議からのピアレビューのテキストにおけるバイアスの定量化に,我々のフレームワークを適用した。
論文 参考訳（メタデータ） (2020-10-29T01:24:19Z) - Overview of the TREC 2019 Fair Ranking Track [65.15263872493799]
TREC Fair Ranking トラックの目標は、異なるコンテンツプロバイダに対する公正性の観点から、検索システムを評価するベンチマークを開発することであった。
本稿では,タスク定義やデータ記述,アノテーションプロセスなどを含むトラックの概要について述べる。
論文 参考訳（メタデータ） (2020-03-25T21:34:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。