論文の概要: Robustness Analysis of Pareto-based Joint Evaluation of Fairness and Relevance in Recommender Systems

• arxiv url: http://arxiv.org/abs/2610.27850v1
• Date: Tue, 20 Oct 2026 08:31:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.719748
• Title: Robustness Analysis of Pareto-based Joint Evaluation of Fairness and Relevance in Recommender Systems
• Title（参考訳）: レコメンダシステムにおけるパレートベース共同評価のロバスト性解析
• Abstract要約: パレートフロンティアへの距離(DPFR)は、RSの公平性と妥当性を共同評価するための新しいアプローチである。 DPFRは既存の共同評価手法よりも頑健であることを示す。 DPFRと共同で公正さと妥当性を評価するためのガイドラインを提供する。
• 参考スコア（独自算出の注目度）: 16.858097936239904
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recommender Systems (RSs) can be evaluated for many aspects, two of them being recommendation relevance and fairness. These two aspects can be evaluated either in isolation, using a measure for each aspect; or jointly with a single`relevance-aware' fairness measure that quantifies fairness with respect to relevance. Yet, neither approach provides a simultaneous evaluation of both relevance and fairness: the first approach may result in two different rankings of models, each corresponding to an evaluation aspect; the second approach often provides an imbalanced evaluation of the two aspects. To address this gap, we propose Distance to Pareto Frontier (DPFR), a new approach to jointly evaluate RS fairness and relevance. DPFR is based on a Pareto frontier of relevance and fairness scores from existing measures. The frontier is generated from user-item interaction data and represents various Pareto-optimal trade-offs between the two aspects. Thus, the distance from a point in the frontier provides a joint score of fairness and relevance. As DPFR can be used with existing measures, it is modular and intuitive. Our experiments with 4 recommenders and 3 fairness-aware re-rankers on 6 real-world datasets reveal inconsistent associations between existing measures and DPFR, showing that they are not reliable proxies for evaluations based on Pareto optimality. We further examine the robustness of DPFR as a joint evaluation approach for fairness and relevance by conducting experiments with artificial recommendations and with various fairness-relevance trade-offs, as well as by analysing DPFR's agreement to simple measures of fairness and relevance. These analyses show that DPFR is more robust than existing joint evaluation approaches. Finally, we provide guidelines for evaluating fairness and relevance jointly with DPFR. Our code: https://github.com/theresiavr/robustness-DPFR-recsys-evaluation.
• Abstract（参考訳）: Recommender Systems (RS) は様々な面で評価できる。 これらの2つの側面は、個別に評価したり、それぞれの側面の尺度を用いて評価したり、あるいは、関連性に関して公正を定量化する単一の「関連認識」公正度尺度と共同で評価することができる。 しかし、どちらのアプローチも妥当性と公平性の両方を同時に評価しない: 第一のアプローチは、評価の側面に対応するモデルの2つの異なるランク付けをもたらすかもしれない;第二のアプローチは、しばしば2つの側面のバランスの取れない評価を与える。 このギャップに対処するため,我々はパレートフロンティア(DPFR, Distance to Pareto Frontier)を提案する。 DPFRは、既存の措置による妥当性と公正性のスコアのパレートフロンティアに基づいている。 フロンティアは、ユーザとイテムのインタラクションデータから生成され、この2つの側面間のさまざまなパレートと最適のトレードオフを表す。 したがって、フロンティアの点からの距離は、公正性と関連性の合同スコアを与える。 DPFRは既存の測度で使用できるため、モジュラーで直感的である。 実世界の6つのデータセットに対する4つの推奨者および3つの公正な再ランカによる実験により、既存の測度とDPFRとの一貫性のない関係が明らかとなり、パレートの最適性に基づいた評価のための信頼性の高いプロキシではないことが示された。 さらに, DPFRの健全性評価手法として, 人為的勧告, 様々なフェアネス関連トレードオフによる実験を行い, 簡便なフェアネスおよび関連性の尺度に対するDPFRの合意を分析することにより, DPFRのロバスト性について検討する。 これらの結果から,DPFRは既存の共同評価手法よりも頑健であることがわかった。 最後に,DPFRと協調して公正さと妥当性を評価するためのガイドラインを提案する。 コード:https://github.com/theresiavr/robustness-DPFR-recsys-evaluation。

関連論文リスト

• CSPF: A Constrained Shared-Private Fusion Method for Non-Verifiable Preference Evaluation [2.110528880760769]
  Constrained Shared-Private Fusion (CSPF) は異種凍結報酬モデルを相補的評価器として扱う融合法である。 CSPFは、各専門家信号を共有および専門家のプライベートな表現に分解し、クロスエキスパートアライメントを促進する。 全体として、CSPFは、隠された状態の表現を融合させることにより、より表現力のある選好評価の基盤となることを示唆している。
  論文  参考訳（メタデータ） (2026-07-23T02:39:11Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• Joint Evaluation of Fairness and Relevance in Recommender Systems with Pareto Frontier [12.013380880264439]
  推薦システム(RS)における公正性と妥当性を共同評価するための新しいアプローチを提案する。 我々のアプローチはモジュラーで直感的であり、既存の測度で計算できる。 4つのRSモデル、3つの再ランク戦略、6つのデータセットによる実験は、既存のメトリクスがソリューションと矛盾していることを示している。
  論文  参考訳（メタデータ） (2025-02-17T15:33:28Z)
• Revisiting Reciprocal Recommender Systems: Metrics, Formulation, and Method [60.364834418531366]
  RRSの性能を包括的かつ正確に評価する5つの新しい評価指標を提案する。 因果的観点からRSを定式化し、二元的介入として勧告を定式化する。 提案手法では,結果の一致を最大化する手法を提案する。
  論文  参考訳（メタデータ） (2024-08-19T07:21:02Z)
• Top-K Pairwise Ranking: Bridging the Gap Among Ranking-Based Measures for Multi-Label Classification [120.37051160567277]
  本稿では,Top-K Pairwise Ranking(TKPR)という新しい尺度を提案する。 一連の分析により、TKPRは既存のランキングベースの尺度と互換性があることが示されている。 一方,データ依存縮約法という新しい手法に基づいて,提案手法の急激な一般化を確立する。
  論文  参考訳（メタデータ） (2024-07-09T09:36:37Z)
• Intersectional Two-sided Fairness in Recommendation [41.96733939002468]
  IFR(Inter-sectional Two-sided Fairness Recommendation)と呼ばれる新しいアプローチを提案する。 提案手法は,不利な群を知覚するシャープネス・アウェア・ロスを利用して協調的損失バランスを用いて,異なる交叉群に対して一貫した識別能力を開発する。 提案手法は, 両面の不公平性を効果的に軽減し, 従来手法よりも一貫して優れていた。
  論文  参考訳（メタデータ） (2024-02-05T08:56:24Z)
• C-PMI: Conditional Pointwise Mutual Information for Turn-level Dialogue Evaluation [68.59356746305255]
  本稿では,システムとユーザ間のターンレベルインタラクションを測定するための,モデルに依存しない新しいアプローチを提案する。 提案手法は,既存の評価システムと比較して,人間の判断との相関性を大幅に改善する。
  論文  参考訳（メタデータ） (2023-06-27T06:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。