論文の概要: A Comprehensive Survey of Evaluation Techniques for Recommendation Systems

• arxiv url: http://arxiv.org/abs/2312.16015v2
• Date: Fri, 12 Jan 2024 09:19:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 21:18:05.439884
• Title: A Comprehensive Survey of Evaluation Techniques for Recommendation Systems
• Title（参考訳）: 勧告システムの評価手法に関する総合的調査
• Authors: Aryan Jadon and Avinash Patil
• Abstract要約: 本稿では,システム性能の異なる側面を捉えた,総合的なメトリクススイートを紹介する。 私たちは、現在の評価プラクティスの長所と短所を特定し、さまざまなメトリクスにまたがってレコメンデーションシステムを最適化するときに現れる、微妙なトレードオフを強調します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The effectiveness of recommendation systems is pivotal to user engagement and satisfaction in online platforms. As these recommendation systems increasingly influence user choices, their evaluation transcends mere technical performance and becomes central to business success. This paper addresses the multifaceted nature of recommendations system evaluation by introducing a comprehensive suite of metrics, each tailored to capture a distinct aspect of system performance. We discuss * Similarity Metrics: to quantify the precision of content-based filtering mechanisms and assess the accuracy of collaborative filtering techniques. * Candidate Generation Metrics: to evaluate how effectively the system identifies a broad yet relevant range of items. * Predictive Metrics: to assess the accuracy of forecasted user preferences. * Ranking Metrics: to evaluate the effectiveness of the order in which recommendations are presented. * Business Metrics: to align the performance of the recommendation system with economic objectives. Our approach emphasizes the contextual application of these metrics and their interdependencies. In this paper, we identify the strengths and limitations of current evaluation practices and highlight the nuanced trade-offs that emerge when optimizing recommendation systems across different metrics. The paper concludes by proposing a framework for selecting and interpreting these metrics to not only improve system performance but also to advance business goals. This work is to aid researchers and practitioners in critically assessing recommendation systems and fosters the development of more nuanced, effective, and economically viable personalization strategies. Our code is available at GitHub - https://github.com/aryan-jadon/Evaluation-Metrics-for-Recommendation-Systems.
• Abstract（参考訳）: 推薦システムの有効性は、オンラインプラットフォームにおけるユーザのエンゲージメントと満足度に大きく寄与する。 これらのレコメンデーションシステムはユーザーの選択にますます影響を与え、その評価は単なる技術的パフォーマンスを超越し、ビジネスの成功の中心となる。 本稿では,レコメンデーションシステム評価の多面的性質を,システム性能の異なる側面を捉えるために調整された総合的なメトリクススイートを導入することで解決する。 類似度指標:コンテンツベースのフィルタリング機構の精度を定量化し,協調フィルタリング手法の精度を評価する。 * 候補生成メトリクス: システムがどの程度広く関連する項目を効果的に識別するかを評価する。 ※予測基準:予測されたユーザの好みの精度を評価する。 ※格付け基準:勧告が提示される順序の有効性を評価する。 ※ビジネスメトリクス:レコメンデーションシステムのパフォーマンスを経済的目的と整合させる。 我々のアプローチは、これらのメトリクスとその相互依存性の文脈的適用を強調する。 本稿では,現在の評価手法の強みと限界を明らかにし,異なる指標にまたがるレコメンデーションシステムを最適化する際に生じる微妙なトレードオフを強調する。 本論文は,これらの指標の選択と解釈のためのフレームワークを提案し,システム性能の向上だけでなく,ビジネス目標の達成にも寄与する。 この研究は、研究者や実践者がレコメンデーションシステムを批判的に評価し、よりニュアンスで効果的で経済的に実行可能なパーソナライズ戦略の開発を促進することを目的としている。 私たちのコードはGitHubhttps://github.com/aryan-jadon/Evaluation-Metrics-for-Recommendation-Systemsで利用可能です。

関連論文リスト

• Online and Offline Evaluations of Collaborative Filtering and Content Based Recommender Systems [0.0]
  本研究では,イランにおける大規模レコメンデーションシステムの比較分析を行った。 このシステムは、コンテンツベース、協調フィルタリング、トレンドベース手法、ハイブリッドアプローチを用いた、ユーザベースおよびアイテムベースのレコメンデーションを採用している。 評価方法は,手動による評価,ヒットレート@kやnDCGなどの評価指標を含むオフラインテスト,クリックスルーレート(CTR)によるオンラインテストなどである。
  論文  参考訳（メタデータ） (2024-11-02T20:05:31Z)
• Pessimistic Evaluation [58.736490198613154]
  情報アクセスシステムの評価は,情報アクセスの伝統に沿わない実用的価値を前提としている。 我々は,最悪のケースユーティリティに着目した情報アクセスシステムの悲観的評価を提唱する。
  論文  参考訳（メタデータ） (2024-10-17T15:40:09Z)
• Quantifying User Coherence: A Unified Framework for Cross-Domain Recommendation Analysis [69.37718774071793]
  本稿では,レコメンデーションシステムを理解するための新しい情報理論手法を提案する。 9つのデータセットで7つのレコメンデーションアルゴリズムを評価し、測定値と標準的なパフォーマンス指標の関係を明らかにする。
  論文  参考訳（メタデータ） (2024-10-03T13:02:07Z)
• A Unified Causal Framework for Auditing Recommender Systems for Ethical Concerns [40.793466500324904]
  我々は、因果レンズからのレコメンデータシステム監査を見て、監査基準を定義するための一般的なレシピを提供する。 この一般的な因果監査フレームワークでは、既存の監査指標を分類し、それらのギャップを識別する。 本稿では,ユーザ自身やユーザの推奨に影響を及ぼす能力を計測する,未来と過去の評価可能性と安定性の2つのクラスを提案する。
  論文  参考訳（メタデータ） (2024-09-20T04:37:36Z)
• Revisiting Reciprocal Recommender Systems: Metrics, Formulation, and Method [60.364834418531366]
  RRSの性能を包括的かつ正確に評価する5つの新しい評価指標を提案する。 因果的観点からRSを定式化し、二元的介入として勧告を定式化する。 提案手法では,結果の一致を最大化する手法を提案する。
  論文  参考訳（メタデータ） (2024-08-19T07:21:02Z)
• Review-based Recommender Systems: A Survey of Approaches, Challenges and Future Perspectives [11.835903510784735]
  レビューベースのレコメンデータシステムは、この分野において重要なサブフィールドとして現れている。 本稿では,これらのシステムを分類し,その特徴,有効性,限界を解析し,最先端の手法を要約する。 本稿では,マルチモーダルデータの統合,複数基準評価情報の統合,倫理的考察など,今後の研究の方向性を提案する。
  論文  参考訳（メタデータ） (2024-05-09T05:45:18Z)
• Bridging Offline-Online Evaluation with a Time-dependent and Popularity Bias-free Offline Metric for Recommenders [3.130722489512822]
  人気アイテムのペナルティ化と取引の時間を考慮したことで,ライブレコメンデーションシステムに最適なレコメンデーションモデルを選択する能力が大幅に向上することを示す。 本研究の目的は,レコメンデーションシステムの実際の応用に関係のあるオフライン評価と最適化基準を,学術コミュニティがよりよく理解できるようにすることである。
  論文  参考訳（メタデータ） (2023-08-14T01:37:02Z)
• A Survey on Fairness-aware Recommender Systems [59.23208133653637]
  本稿では,様々なレコメンデーションシナリオにおいてフェアネスの概念を提示し,現在の進歩を包括的に分類し,レコメンデーションシステムのさまざまな段階におけるフェアネスを促進するための典型的な手法を紹介する。 次に、フェアネスを意識したレコメンデーションシステムが実業界における産業応用に与える影響について検討する。
  論文  参考訳（メタデータ） (2023-06-01T07:08:22Z)
• Measuring "Why" in Recommender Systems: a Comprehensive Survey on the Evaluation of Explainable Recommendation [87.82664566721917]
  この調査は、IJCAI、AAAI、TheWebConf、Recsys、UMAP、IUIといったトップレベルのカンファレンスから100以上の論文に基づいています。
  論文  参考訳（メタデータ） (2022-02-14T02:58:55Z)
• FEBR: Expert-Based Recommendation Framework for beneficial and personalized content [77.86290991564829]
  推奨コンテンツの質を評価するための見習い学習フレームワークであるFEBR(Expert-Based Recommendation Framework)を提案する。 このフレームワークは、推奨評価環境において専門家(信頼できると仮定される)の実証された軌跡を利用して、未知のユーティリティ機能を回復する。 ユーザ関心シミュレーション環境(RecSim)によるソリューションの性能評価を行う。
  論文  参考訳（メタデータ） (2021-07-17T18:21:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。