論文の概要: Toward Holistic Evaluation of Recommender Systems Powered by Generative Models

• arxiv url: http://arxiv.org/abs/2504.06667v1
• Date: Wed, 09 Apr 2025 08:08:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 13:05:18.111132
• Title: Toward Holistic Evaluation of Recommender Systems Powered by Generative Models
• Title（参考訳）: 生成モデルによるレコメンダシステムの全体的評価に向けて
• Authors: Yashar Deldjoo, Nikhil Mehta, Maheswaran Sathiamoorthy, Shuai Zhang, Pablo Castells, Julian McAuley,
• Abstract要約: 生成モデル(Gen-RecSys)はオープンなコンテンツを生成する。 従来の精度測定では、事実の正確性、コンテンツの安全性、ユーザ意図との整合性を計測できません。 本稿では,シナリオベースの評価とマルチメトリックチェックの関連性を含む総合評価手法を提案する。
• 参考スコア（独自算出の注目度）: 29.797042093096277
• License:
• Abstract: Recommender systems powered by generative models (Gen-RecSys) extend beyond classical item ranking by producing open-ended content, which simultaneously unlocks richer user experiences and introduces new risks. On one hand, these systems can enhance personalization and appeal through dynamic explanations and multi-turn dialogues. On the other hand, they might venture into unknown territory-hallucinating nonexistent items, amplifying bias, or leaking private information. Traditional accuracy metrics cannot fully capture these challenges, as they fail to measure factual correctness, content safety, or alignment with user intent. This paper makes two main contributions. First, we categorize the evaluation challenges of Gen-RecSys into two groups: (i) existing concerns that are exacerbated by generative outputs (e.g., bias, privacy) and (ii) entirely new risks (e.g., item hallucinations, contradictory explanations). Second, we propose a holistic evaluation approach that includes scenario-based assessments and multi-metric checks-incorporating relevance, factual grounding, bias detection, and policy compliance. Our goal is to provide a guiding framework so researchers and practitioners can thoroughly assess Gen-RecSys, ensuring effective personalization and responsible deployment.
• Abstract（参考訳）: 生成モデル(Gen-RecSys)を利用したレコメンダシステムは、オープンエンドコンテンツを作成することによって、古典的なアイテムランキングを超えて、リッチなユーザエクスペリエンスを同時に解放し、新たなリスクをもたらす。 一方、これらのシステムは、動的説明やマルチターン対話を通じてパーソナライズと魅力を高めることができる。 一方、彼らは未知の領域を埋め尽くしたり、偏見を増幅したり、個人情報を漏らしたりするかもしれない。 従来の精度測定では、事実の正確性、コンテンツの安全性、ユーザ意図との整合性などの測定に失敗するため、これらの課題を完全に把握することはできない。 本論文の主な貢献は2つある。 まず、Gen-RecSysの評価課題を2つのグループに分類する。 一 生成出力(例えば、バイアス、プライバシー)によって悪化する既存の関心事及び (二)全く新しいリスク(例:幻覚、矛盾する説明) 第2に,シナリオベース評価とマルチメトリックチェックを取り入れた総合評価手法を提案する。 我々のゴールは、研究者や実践者がGen-RecSysを徹底的に評価し、効果的なパーソナライゼーションと責任あるデプロイメントを保証するためのガイドフレームワークを提供することです。

関連論文リスト

• A Critical Review of Predominant Bias in Neural Networks [19.555188118439883]
  この2つのバイアスには、永続的で、広範囲にまたがるが、未調査の混乱が存在することが分かりました。 これら2つの偏りの数学的定義を2つ提供し、これらの定義を活用して総合的な論文リストを統一することにより、明確さの回復を目指す。
  論文  参考訳（メタデータ） (2025-02-16T07:55:19Z)
• Learning Recommender Systems with Soft Target: A Decoupled Perspective [49.83787742587449]
  そこで本研究では,ソフトラベルを活用することで,目的を2つの側面として捉えるために,分離されたソフトラベル最適化フレームワークを提案する。 本稿では,ラベル伝搬アルゴリズムをモデル化したソフトラベル生成アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-09T04:20:15Z)
• Trustworthiness in Retrieval-Augmented Generation Systems: A Survey [59.26328612791924]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の開発において、急速に重要なパラダイムへと成長してきた。 本稿では,RAGシステムの信頼性を,事実性,堅牢性,公正性,透明性,説明責任,プライバシの6つの面で評価する統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2024-09-16T09:06:44Z)
• Identifying and Mitigating Social Bias Knowledge in Language Models [52.52955281662332]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• Source Echo Chamber: Exploring the Escalation of Source Bias in User, Data, and Recommender System Feedback Loop [65.23044868332693]
  本稿では,ソースバイアスがレコメンデーションシステムの領域に与える影響について検討する。 ソースバイアスの頻度を示し、ソースバイアスを増幅した潜在的デジタルエコーチャンバーを明らかにする。 我々は,HGCとAIGCの両方に対してモデル不均一性を維持するブラックボックスデバイアス法を導入する。
  論文  参考訳（メタデータ） (2024-05-28T09:34:50Z)
• Managing multi-facet bias in collaborative filtering recommender systems [0.0]
  アイテムグループ間のバイアスドレコメンデーションは、システムに対するユーザの不満を引き起こすとともに、アイテムプロバイダの利益を脅かす可能性がある。 本研究の目的は,最先端の協調フィルタリング推薦アルゴリズムの出力における地理的起源と人気に関する新たなタイプの交叉バイアスを管理することである。 2つの実世界の映画と書籍のデータセットに関する大規模な実験は、アイテムの生産大陸に富んだものであり、提案アルゴリズムが精度と上記のバイアスの両タイプの間に合理的なバランスをとっていることを示している。
  論文  参考訳（メタデータ） (2023-02-21T10:06:01Z)
• Debiasing Recommendation by Learning Identifiable Latent Confounders [49.16119112336605]
  コンバウンディングバイアスは、ユーザの露出とフィードバックの両方に影響を与える未測定変数の存在によって生じる。 既存の手法では,(1) 未測定変数について不確定な仮定を行うか,(2) 潜伏した共同創設者を直接ユーザの露出から推測する。 本稿では、上記の非識別問題の解決にプロキシ変数の集合を利用する新しい方法、すなわち、識別可能なデコノウ(iDCF)を提案する。
  論文  参考訳（メタデータ） (2023-02-10T05:10:26Z)
• Joint Multisided Exposure Fairness for Recommendation [76.75990595228666]
  本稿では,消費者と生産者の両面から共同で問題をモデル化する,露出公正度尺度のファミリを定式化する。 具体的には、双方の利害関係者に対するグループ属性について、個別のユーザや項目を超えて、より体系的なバイアスを推奨するフェアネスの懸念を識別し緩和する。
  論文  参考訳（メタデータ） (2022-04-29T19:13:23Z)
• From Intrinsic to Counterfactual: On the Explainability of Contextualized Recommender Systems [43.93801836660617]
  本研究では、コンテキスト的特徴(例えば、ユーザからの項目レビュー)を活用することで、一連の説明可能なレコメンデータシステムを設計できることを示す。 モデルの透明性を段階的に変化させる3つの方法として,ホワイトボックス,グレーボックス,ブラックボックスの3種類を提案する。 我々のモデルは高い競争力のあるランキング性能を達成し、多数の量的指標と定性的な視覚化の観点から正確かつ効果的な説明を生成する。
  論文  参考訳（メタデータ） (2021-10-28T01:54:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。