論文の概要: Estimation of Fair Ranking Metrics with Incomplete Judgments

• arxiv url: http://arxiv.org/abs/2108.05152v1
• Date: Wed, 11 Aug 2021 10:57:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-12 13:14:29.452525
• Title: Estimation of Fair Ranking Metrics with Incomplete Judgments
• Title（参考訳）: 不完全判断による公正ランキング指標の推定
• Authors: \"Omer K{\i}rnap, Fernando Diaz, Asia Biega, Michael Ekstrand, Ben Carterette, Emine Y{\i}lmaz
• Abstract要約: 本研究では,4つの評価指標のサンプリング手法と推定手法を提案する。 ラベル付きアイテムの数が極めて少ない場合でも動作可能な頑健で偏りのない推定器を定式化する。
• 参考スコア（独自算出の注目度）: 70.37717864975387
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There is increasing attention to evaluating the fairness of search system ranking decisions. These metrics often consider the membership of items to particular groups, often identified using protected attributes such as gender or ethnicity. To date, these metrics typically assume the availability and completeness of protected attribute labels of items. However, the protected attributes of individuals are rarely present, limiting the application of fair ranking metrics in large scale systems. In order to address this problem, we propose a sampling strategy and estimation technique for four fair ranking metrics. We formulate a robust and unbiased estimator which can operate even with very limited number of labeled items. We evaluate our approach using both simulated and real world data. Our experimental results demonstrate that our method can estimate this family of fair ranking metrics and provides a robust, reliable alternative to exhaustive or random data annotation.
• Abstract（参考訳）: 検索システムのランキング決定の公平性を評価することに注目が集まっている。 これらの指標は特定のグループへのアイテムの帰属を考慮し、しばしば性別や民族などの保護された属性を用いて識別される。 これらのメトリクスは一般的に、アイテムの保護された属性ラベルの可用性と完全性を前提としています。 しかし、個人の保護された属性はほとんど存在せず、大規模システムにおける公正なランキングメトリクスの適用を制限する。 この問題に対処するために,4つの公正ランキング指標に対するサンプリング戦略と推定手法を提案する。 非常に限られた数のラベル付きアイテムでも動作可能なロバストで偏りのない推定器を定式化する。 本手法はシミュレーションデータと実世界データの両方を用いて評価する。 実験の結果,本手法は公平なランキング指標の族を推定でき,徹底的あるいは無作為なデータアノテーションに代わるロバストで信頼性の高い代替手段を提供することができた。

関連論文リスト

• Ranking evaluation metrics from a group-theoretic perspective [5.333192842860574]
  一般的に使用される指標において、不整合評価や潜在的な不信の原因となる事例を示す。 分析では,不整合性評価を不信の原因とみなすべきではないことを強調し,評価指標のランク付けに光を当てた。
  論文  参考訳（メタデータ） (2024-08-14T09:06:58Z)
• Measuring Fairness in Large-Scale Recommendation Systems with Missing Labels [8.921669180278274]
  大規模レコメンデーションシステムでは、多数のアイテムが製品ごとに正確なユーザの好みを把握できないため、ラベルの欠落がよくある問題となる。 それまでの手法では、これらのサンプルが欠落したラベルを負として扱うことが多かったが、これは真理の公平さの基準から大きく逸脱する可能性がある。 そこで本研究では,最小のランダム化トラフィックを用いてフェアネスの指標を正確に推定する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-07T20:14:13Z)
• Practical Bias Mitigation through Proxy Sensitive Attribute Label Generation [0.0]
  本稿では,非教師なし埋め込み生成の2段階的アプローチとクラスタリングによるプロキシ・センシティブなラベルの取得を提案する。 我々の研究の有効性は、バイアスが感度属性と相関する非感度属性を通して伝播するという仮定に依存している。 実験結果から、Fair MixupやAdversarial Debiasingといった既存のアルゴリズムによるバイアス緩和は、導出されたプロキシラベルに匹敵する結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-12-26T10:54:15Z)
• On the Universal Adversarial Perturbations for Efficient Data-free Adversarial Detection [55.73320979733527]
  本稿では,UAPに対して正常サンプルと逆サンプルの異なる応答を誘導する,データに依存しない逆検出フレームワークを提案する。 実験結果から,本手法は様々なテキスト分類タスクにおいて,競合検出性能を実現することが示された。
  論文  参考訳（メタデータ） (2023-06-27T02:54:07Z)
• Properties of Group Fairness Metrics for Rankings [4.479834103607384]
  フェアランキングの文脈において,既存のグループフェアネス指標の比較分析を行った。 我々は、グループフェアネスのメトリクスに対して13のプロパティのセットを設計する、公理的なアプローチをとる。 これらの指標のほとんどは、提案された性質の小さな部分集合のみを満たすことを実証する。
  論文  参考訳（メタデータ） (2022-12-29T15:50:18Z)
• Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
  加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。 この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
  論文  参考訳（メタデータ） (2022-03-16T15:00:33Z)
• Measuring Disparate Outcomes of Content Recommendation Algorithms with Distributional Inequality Metrics [5.74271110290378]
  我々は,経済学,分布不平等指標,およびTwitterのアルゴリズム・タイムラインにおけるコンテンツ露出の差異を測定する能力から,一連の指標を評価した。 これらのメトリクスを用いて、ユーザ間の歪んだ結果に強く寄与するコンテンツ提案アルゴリズムを特定できることを示す。
  論文  参考訳（メタデータ） (2022-02-03T14:41:39Z)
• Measuring Fairness Under Unawareness of Sensitive Attributes: A Quantification-Based Approach [131.20444904674494]
  センシティブな属性の無意識下でのグループフェアネスを測定する問題に取り組む。 定量化手法は, フェアネスと無意識の問題に対処するのに特に適していることを示す。
  論文  参考訳（メタデータ） (2021-09-17T13:45:46Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)
• PONE: A Novel Automatic Evaluation Metric for Open-Domain Generative Dialogue Systems [48.99561874529323]
  オープンドメイン生成対話システムの評価には3つの方法がある。 体系的な比較が欠如しているため、どの指標がより効果的であるかは明らかでない。 本稿では,人間の判断との相関性を大幅に改善できる,新しい,実現可能な学習基準を提案する。
  論文  参考訳（メタデータ） (2020-04-06T04:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。