論文の概要: Matched Pair Calibration for Ranking Fairness

• arxiv url: http://arxiv.org/abs/2306.03775v2
• Date: Tue, 20 Jun 2023 14:20:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 01:12:10.031361
• Title: Matched Pair Calibration for Ranking Fairness
• Title（参考訳）: ランキングフェアネスのためのマッチングペア校正
• Authors: Hannah Korevaar, Chris McConnell, Edmund Tong, Erik Brinkman, Alana Shine, Misam Abbas, Blossom Metevier, Sam Corbett-Davies, Khalid El-Arini
• Abstract要約: マッチングペアキャリブレーションと呼ばれるスコアベースランキングシステムにおける公平性テストを提案する。 本稿では,2進分類設定からランク付けまで,キャリブレーションの公平さの直観を一般化する方法について述べる。
• 参考スコア（独自算出の注目度）: 2.022446133565904
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a test of fairness in score-based ranking systems called matched pair calibration. Our approach constructs a set of matched item pairs with minimal confounding differences between subgroups before computing an appropriate measure of ranking error over the set. The matching step ensures that we compare subgroup outcomes between identically scored items so that measured performance differences directly imply unfairness in subgroup-level exposures. We show how our approach generalizes the fairness intuitions of calibration from a binary classification setting to ranking and connect our approach to other proposals for ranking fairness measures. Moreover, our strategy shows how the logic of marginal outcome tests extends to cases where the analyst has access to model scores. Lastly, we provide an example of applying matched pair calibration to a real-word ranking data set to demonstrate its efficacy in detecting ranking bias.
• Abstract（参考訳）: マッチングペアキャリブレーションと呼ばれるスコアベースランキングシステムにおける公平性テストを提案する。 本手法は,集合上のランク付け誤差の適切な尺度を計算する前に,部分群間の差異を最小化するマッチングアイテムペアを構成する。 一致ステップにより、評価結果の差がサブグループレベルの露光において直接不公平であることを暗示する。 本手法は,二分分類設定からランク付けまでの校正の公平さ直観を一般化する方法を示し,公平度尺度の他の提案と結びつける。 さらに,提案手法は,分析者がモデルスコアにアクセス可能な場合に,限界結果テストの論理がどのように拡張されるかを示す。 最後に,実単語ランキングデータセットにマッチしたペアキャリブレーションを適用し,ランキングバイアスの検出に有効性を示す例を示す。

関連論文リスト

• A structured regression approach for evaluating model performance across intersectional subgroups [53.91682617836498]
  分散評価(disaggregated evaluation)は、AIフェアネスアセスメントにおける中心的なタスクであり、AIシステムのさまざまなサブグループ間でのパフォーマンスを測定することを目的としている。 非常に小さなサブグループであっても,信頼性の高いシステム性能推定値が得られることを示す。
  論文  参考訳（メタデータ） (2024-01-26T14:21:45Z)
• Bipartite Ranking Fairness through a Model Agnostic Ordering Adjustment [54.179859639868646]
  本稿では,二部類ランキングにおける公平性を実現するためのモデルに依存しない後処理フレームワークxOrderを提案する。 xOrderは、教師なしおよび教師なしの公正度メトリックを含む、さまざまな分類モデルとランキングフェアネスメトリクスと互換性がある。 提案アルゴリズムを,4つのベンチマークデータセットと2つの実世界の患者電子健康記録リポジトリ上で評価した。
  論文  参考訳（メタデータ） (2023-07-27T07:42:44Z)
• On the Richness of Calibration [10.482805367361818]
  キャリブレーションスコアを設計する際の選択肢を明確にします。 これらを3つのグループ選択と,グループエラーの集約に関する選択にまとめる。 特に、予測ではなく、入力特徴に基づいてデータポイントをグループ化する可能性について検討する。 グループ化の適切な選択により、これらの新しいグローバルフェアネススコアは(サブ)グループや個人フェアネスの概念を提供することができることを実証する。
  論文  参考訳（メタデータ） (2023-02-08T15:19:46Z)
• Re-Examining System-Level Correlations of Automatic Summarization Evaluation Metrics [64.81682222169113]
  システムレベルの相関により, 要約品質の人的判断を再現する自動要約評価指標を確実に定量化する。 システムレベルの相関の定義が、実際にシステムを評価するためにメトリクスがどのように使われているかと矛盾する2つの方法を特定する。
  論文  参考訳（メタデータ） (2022-04-21T15:52:14Z)
• Repairing Regressors for Fair Binary Classification at Any Decision Threshold [8.322348511450366]
  同時にすべてのしきい値で公正なパフォーマンスを向上できることを示します。 本研究では,異なる保護群に対する分類の分布の類似度を捉える分布パリティの形式的尺度を導入する。 我々の主な成果は、最適輸送に基づく新しい後処理アルゴリズムを提案し、分散パリティを確実に最大化することである。
  論文  参考訳（メタデータ） (2022-03-14T20:53:35Z)
• Adaptive Sampling for Heterogeneous Rank Aggregation from Noisy Pairwise Comparisons [85.5955376526419]
  ランキングアグリゲーション問題では、各項目を比較する際に、様々な精度レベルが示される。 本稿では,ノイズのあるペアワイズ比較によってアイテムのランクを推定する,除去に基づくアクティブサンプリング戦略を提案する。 提案アルゴリズムは,商品の真のランキングを高い確率で返却できることを示す。
  論文  参考訳（メタデータ） (2021-10-08T13:51:55Z)
• Pairwise Fairness for Ordinal Regression [22.838858781036574]
  我々は,以前フェアランキングで考慮されていた2つのフェアネス概念を適応させ,どちらの概念にもとづいてほぼフェアな予測者を訓練するための戦略を提案する。 我々の予測器は、スコアリング関数としきい値のセットからなるしきい値モデルから成り立っている。 提案手法は,精度-vs-fairness のトレードオフを効果的に探索することを可能にし,順序回帰の「不公平」な手法とよく比較できることを示す。
  論文  参考訳（メタデータ） (2021-05-07T10:33:42Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)
• MatchGAN: A Self-Supervised Semi-Supervised Conditional Generative Adversarial Network [51.84251358009803]
  本稿では,条件付き生成逆数ネットワーク(GAN)に対する,半教師付き環境下での自己教師型学習手法を提案する。 利用可能な数少ないラベル付きサンプルのラベル空間から無作為なラベルをサンプリングして拡張を行う。 本手法は,ベースラインのトレーニングに使用したラベル付きサンプルの20%に過ぎません。
  論文  参考訳（メタデータ） (2020-06-11T17:14:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。