論文の概要: Joint Evaluation of Fairness and Relevance in Recommender Systems with Pareto Frontier

• arxiv url: http://arxiv.org/abs/2502.11921v1
• Date: Mon, 17 Feb 2025 15:33:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:08:09.704221
• Title: Joint Evaluation of Fairness and Relevance in Recommender Systems with Pareto Frontier
• Title（参考訳）: パレートフロンティアを用いたレコメンダシステムの公正性と妥当性の連成評価
• Authors: Theresia Veronika Rampisela, Tuukka Ruotsalo, Maria Maistro, Christina Lioma,
• Abstract要約: 推薦システム(RS)における公正性と妥当性を共同評価するための新しいアプローチを提案する。 我々のアプローチはモジュラーで直感的であり、既存の測度で計算できる。 4つのRSモデル、3つの再ランク戦略、6つのデータセットによる実験は、既存のメトリクスがソリューションと矛盾していることを示している。
• 参考スコア（独自算出の注目度）: 12.013380880264439
• License:
• Abstract: Fairness and relevance are two important aspects of recommender systems (RSs). Typically, they are evaluated either (i) separately by individual measures of fairness and relevance, or (ii) jointly using a single measure that accounts for fairness with respect to relevance. However, approach (i) often does not provide a reliable joint estimate of the goodness of the models, as it has two different best models: one for fairness and another for relevance. Approach (ii) is also problematic because these measures tend to be ad-hoc and do not relate well to traditional relevance measures, like NDCG. Motivated by this, we present a new approach for jointly evaluating fairness and relevance in RSs: Distance to Pareto Frontier (DPFR). Given some user-item interaction data, we compute their Pareto frontier for a pair of existing relevance and fairness measures, and then use the distance from the frontier as a measure of the jointly achievable fairness and relevance. Our approach is modular and intuitive as it can be computed with existing measures. Experiments with 4 RS models, 3 re-ranking strategies, and 6 datasets show that existing metrics have inconsistent associations with our Pareto-optimal solution, making DPFR a more robust and theoretically well-founded joint measure for assessing fairness and relevance. Our code: https://github.com/theresiavr/DPFR-recsys-evaluation
• Abstract（参考訳）: 公正性と妥当性はレコメンダシステム(RS)の2つの重要な側面である。 通常、それらが評価される。 一 公正及び関連性の個別の措置により別々に行うこと、又は 二 関連性に関する公正を考慮に入れた一つの尺度を共同で使用すること。 しかし、アプローチ i) 正当性と妥当性の2つの異なる最良のモデルがあるため、モデルの良さを信頼できる共同見積もりを提供しないことが多い。 アプローチ (ii)また,これらの尺度は非ホックであり,NDCGのような従来の関連尺度とはあまり関係がないため,問題となる。 そこで本研究では,パレートフロンティア(DPFR)の公平性と妥当性を共同評価するための新たなアプローチを提案する。 ユーザとイテムのインタラクションデータから,既存の妥当性と公正度を2つに表したParetoフロンティアを計算し,フロンティアからの距離を,共同で達成可能な公正度と妥当性の尺度として利用する。 我々のアプローチはモジュラーで直感的であり、既存の測度で計算できる。 4つのRSモデル、3つの再ランク戦略、6つのデータセットによる実験は、既存のメトリクスが我々のパレート最適解と矛盾していることを示している。 コード:https://github.com/theresiavr/DPFR-recsys-evaluation

関連論文リスト

• Revisiting Reciprocal Recommender Systems: Metrics, Formulation, and Method [60.364834418531366]
  RRSの性能を包括的かつ正確に評価する5つの新しい評価指標を提案する。 因果的観点からRSを定式化し、二元的介入として勧告を定式化する。 提案手法では,結果の一致を最大化する手法を提案する。
  論文  参考訳（メタデータ） (2024-08-19T07:21:02Z)
• Top-K Pairwise Ranking: Bridging the Gap Among Ranking-Based Measures for Multi-Label Classification [120.37051160567277]
  本稿では,Top-K Pairwise Ranking(TKPR)という新しい尺度を提案する。 一連の分析により、TKPRは既存のランキングベースの尺度と互換性があることが示されている。 一方,データ依存縮約法という新しい手法に基づいて,提案手法の急激な一般化を確立する。
  論文  参考訳（メタデータ） (2024-07-09T09:36:37Z)
• Can We Trust Recommender System Fairness Evaluation? The Role of Fairness and Relevance [12.013380880264439]
  レコメンデーターシステム(RS)の2つの主要な目的と妥当性と公正性 最近の研究は、関連性(フェアネスのみ)から独立したRSフェアネスの尺度や、関連性(ジョイント対策)を条件としたRSフェアネスの尺度を提案している。 RSの妥当性と公正性に関するすべての共同評価尺度を収集し、どのように一致しているかを問う。 実世界の4つのデータセットと4つのレコメンデーションに対して、これらの測定の振る舞いを初めて経験的に研究する。
  論文  参考訳（メタデータ） (2024-05-28T15:25:04Z)
• Intersectional Two-sided Fairness in Recommendation [41.96733939002468]
  IFR(Inter-sectional Two-sided Fairness Recommendation)と呼ばれる新しいアプローチを提案する。 提案手法は,不利な群を知覚するシャープネス・アウェア・ロスを利用して協調的損失バランスを用いて,異なる交叉群に対して一貫した識別能力を開発する。 提案手法は, 両面の不公平性を効果的に軽減し, 従来手法よりも一貫して優れていた。
  論文  参考訳（メタデータ） (2024-02-05T08:56:24Z)
• Standardized Interpretable Fairness Measures for Continuous Risk Scores [4.192037827105842]
  本稿では、ワッサーシュタイン距離に基づく合理的な解釈を伴う連続的なスコアに対する公正度尺度の標準化版を提案する。 我々の測度は計算が容易で、グループ格差の強さを定量化し、解釈するのにも適しており、異なるモデル、データセット、タイムポイントのバイアスを比較するのにも適しています。
  論文  参考訳（メタデータ） (2023-08-22T12:01:49Z)
• C-PMI: Conditional Pointwise Mutual Information for Turn-level Dialogue Evaluation [68.59356746305255]
  本稿では,システムとユーザ間のターンレベルインタラクションを測定するための,モデルに依存しない新しいアプローチを提案する。 提案手法は,既存の評価システムと比較して,人間の判断との相関性を大幅に改善する。
  論文  参考訳（メタデータ） (2023-06-27T06:58:03Z)
• Fairness meets Cross-Domain Learning: a new perspective on Models and Metrics [80.07271410743806]
  クロスドメイン学習(CD)とモデルフェアネスの関係について検討する。 いくつかの人口集団にまたがる顔画像と医療画像のベンチマークと、分類とローカライゼーションタスクについて紹介する。 本研究は,3つの最先端フェアネスアルゴリズムとともに,14のCDアプローチをカバーし,前者が後者に勝ることを示す。
  論文  参考訳（メタデータ） (2023-03-25T09:34:05Z)
• Simpson's Paradox in Recommender Fairness: Reconciling differences between per-user and aggregated evaluations [16.053419956606557]
  ランク付けとレコメンダシステムにおける公平性という2つの概念は、反対の結論につながる可能性があると論じる。 我々はこれらの概念を整理し、テンションはアイテムが関係するユーザの分布の違いによるものであることを示す。 この新たな理解に基づいて、実践者はどちらの概念にも興味を持っているかもしれないが、ユーザ単位のメトリクスで課題に直面しているかもしれない。
  論文  参考訳（メタデータ） (2022-10-14T12:43:32Z)
• Towards a multi-stakeholder value-based assessment framework for algorithmic systems [76.79703106646967]
  我々は、価値間の近さと緊張を可視化する価値に基づくアセスメントフレームワークを開発する。 我々は、幅広い利害関係者に評価と検討のプロセスを開放しつつ、それらの運用方法に関するガイドラインを提示する。
  論文  参考訳（メタデータ） (2022-05-09T19:28:32Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。