論文の概要: CFaiRLLM: Consumer Fairness Evaluation in Large-Language Model Recommender System

• arxiv url: http://arxiv.org/abs/2403.05668v2
• Date: Tue, 10 Dec 2024 16:00:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:32:51.749561
• Title: CFaiRLLM: Consumer Fairness Evaluation in Large-Language Model Recommender System
• Title（参考訳）: CFaiRLLM:大規模モデルレコメンダシステムにおける消費者公正性評価
• Authors: Yashar Deldjoo, Tommaso di Noia,
• Abstract要約: 本研究は,Large Language Model (LLM) ベースのレコメンデータシステムにおける公平性評価に関する過去の研究に批判的な立場を取る。 CFaiRLLMは、真の嗜好アライメントを組み込むだけでなく、交叉フェアネスを厳格に検証する拡張評価フレームワークである。
• 参考スコア（独自算出の注目度）: 16.84754752395103
• License:
• Abstract: This work takes a critical stance on previous studies concerning fairness evaluation in Large Language Model (LLM)-based recommender systems, which have primarily assessed consumer fairness by comparing recommendation lists generated with and without sensitive user attributes. Such approaches implicitly treat discrepancies in recommended items as biases, overlooking whether these changes might stem from genuine personalization aligned with true preferences of users. Moreover, these earlier studies typically address single sensitive attributes in isolation, neglecting the complex interplay of intersectional identities. In response to these shortcomings, we introduce CFaiRLLM, an enhanced evaluation framework that not only incorporates true preference alignment but also rigorously examines intersectional fairness by considering overlapping sensitive attributes. Additionally, CFaiRLLM introduces diverse user profile sampling strategies-random, top-rated, and recency-focused-to better understand the impact of profile generation fed to LLMs in light of inherent token limitations in these systems. Given that fairness depends on accurately understanding users' tastes and preferences,, these strategies provide a more realistic assessment of fairness within RecLLMs. The results demonstrated that true preference alignment offers a more personalized and fair assessment compared to similarity-based measures, revealing significant disparities when sensitive and intersectional attributes are incorporated. Notably, our study finds that intersectional attributes amplify fairness gaps more prominently, especially in less structured domains such as music recommendations in LastFM.
• Abstract（参考訳）: 本研究は,Large Language Model (LLM) をベースとしたリコメンデーションシステムにおけるフェアネス評価に関する過去の研究に対して批判的な立場を取る。 このようなアプローチは、推奨項目における不一致を偏見として暗黙的に扱い、これらの変更が真の個人化に由来するかどうかを見極めている。 さらに、これらの初期の研究は、典型的には孤立した単一感度の属性に対処し、交叉アイデンティティの複雑な相互作用を無視した。 CFaiRLLMは,真の嗜好アライメントを組み込むだけでなく,重なり合う感度特性を考慮し,交差点の公平性を厳密に検証するフレームワークである。 さらに、CFaiRLLMは、これらのシステムに固有のトークン制限を考慮して、LLMに供給されるプロファイル生成の影響をよりよく理解するために、ランダム、トップレーティング、リレーレンシーにフォーカスした多様なユーザープロファイルサンプリング戦略を導入している。 フェアネスはユーザの好みや好みを正確に理解することに依存しているため、これらの戦略はRecLLM内のフェアネスをよりリアルに評価する。 その結果、真の嗜好アライメントは類似度に基づく尺度よりもパーソナライズされ公平な評価が得られ、センシティブな属性と交叉的な属性が組み込まれた場合の有意な相違が明らかとなった。 特に,LastFMにおける音楽レコメンデーションなどの低構造領域において,交差特性が公平性ギャップをより顕著に増幅することを発見した。

関連論文リスト

• Diverging Preferences: When do Annotators Disagree and do Models Know? [92.24651142187989]
  我々は,4つのハイレベルクラスにまたがる10のカテゴリにまたがる相違点の分類法を開発した。 意見の相違の大部分は、標準的な報酬モデリングアプローチに反対している。 本研究は,選好の変化を識別し,評価とトレーニングへの影響を緩和する手法を開発する。
  論文  参考訳（メタデータ） (2024-10-18T17:32:22Z)
• Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
  本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。 目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-08-14T11:29:47Z)
• Fairer Preferences Elicit Improved Human-Aligned Large Language Model Judgments [41.25558612970942]
  大規模言語モデル (LLMs) が優先バイアスを示し, 設計に敏感であることを示す。 この現象に触発された自動ゼロショット評価指向のプロンプト最適化フレームワークZEPOを提案する。
  論文  参考訳（メタデータ） (2024-06-17T09:48:53Z)
• A Normative Framework for Benchmarking Consumer Fairness in Large Language Model Recommender System [9.470545149911072]
  本稿では,LCMを利用したリコメンデータシステムにおいて,消費者の公正性をベンチマークするための規範的フレームワークを提案する。 このギャップは公平性に関する任意の結論につながる可能性があると我々は主張する。 MovieLensデータセットの消費者の公正性に関する実験は、年齢ベースの推奨において公平さの偏りを明らかにしている。
  論文  参考訳（メタデータ） (2024-05-03T16:25:27Z)
• Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
  Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。 RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
  論文  参考訳（メタデータ） (2024-02-12T22:47:57Z)
• A Personalized Framework for Consumer and Producer Group Fairness Optimization in Recommender Systems [13.89038866451741]
  本稿では,CP-FairRankを提案する。CP-FairRankは,消費者と生産者の双方の公正性制約をシームレスに統合する最適化アルゴリズムである。 提案手法は, 消費者および生産者の公正性を, 全体的な推薦品質を損なうことなく向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-02-01T10:42:05Z)
• Marginal Debiased Network for Fair Visual Recognition [59.05212866862219]
  本稿では,デバイアス表現を学習するための新しい限界脱バイアスネットワーク(MDN)を提案する。 我々のMDNは、表現不足のサンプルに対して顕著な性能を達成できる。
  論文  参考訳（メタデータ） (2024-01-04T08:57:09Z)
• Is ChatGPT Fair for Recommendation? Evaluating Fairness in Large Language Model Recommendation [52.62492168507781]
  LLM(FaiRLLM)を用いたFairness of Recommendationと呼ばれる新しいベンチマークを提案する。 このベンチマークは、慎重に作成されたメトリクスと、8つの機密属性を考慮に入れたデータセットで構成されている。 FaiRLLMベンチマークを用いて、ChatGPTの評価を行い、レコメンデーションを生成する際には、いくつかの機密属性に対して不公平であることがわかった。
  論文  参考訳（メタデータ） (2023-05-12T16:54:36Z)
• Fairness via Adversarial Attribute Neighbourhood Robust Learning [49.93775302674591]
  本稿では,分類ヘッドを損なうために,UnderlineRobust underlineAdversarial underlineAttribute underlineNeighbourhood (RAAN)損失を原則として提案する。
  論文  参考訳（メタデータ） (2022-10-12T23:39:28Z)
• Opportunistic Multi-aspect Fairness through Personalized Re-ranking [5.8562079474220665]
  複数の公正度次元にわたる個人の嗜好を学習するフェアネス・アウェア・レコメンデーションに対する再ランクのアプローチを提案する。 我々は,我々の正当性とメートル法に依存しないアプローチが,従来よりも正確性と公平性の間のトレードオフを良好に達成していることを示す。
  論文  参考訳（メタデータ） (2020-05-21T04:25:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。