論文の概要: A Comprehensive Survey of Evaluation Techniques for Recommendation Systems

• arxiv url: http://arxiv.org/abs/2312.16015v2
• Date: Fri, 12 Jan 2024 09:19:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 21:18:05.439884
• Title: A Comprehensive Survey of Evaluation Techniques for Recommendation Systems
• Title（参考訳）: 勧告システムの評価手法に関する総合的調査
• Authors: Aryan Jadon and Avinash Patil
• Abstract要約: 本稿では,システム性能の異なる側面を捉えた,総合的なメトリクススイートを紹介する。 私たちは、現在の評価プラクティスの長所と短所を特定し、さまざまなメトリクスにまたがってレコメンデーションシステムを最適化するときに現れる、微妙なトレードオフを強調します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The effectiveness of recommendation systems is pivotal to user engagement and satisfaction in online platforms. As these recommendation systems increasingly influence user choices, their evaluation transcends mere technical performance and becomes central to business success. This paper addresses the multifaceted nature of recommendations system evaluation by introducing a comprehensive suite of metrics, each tailored to capture a distinct aspect of system performance. We discuss * Similarity Metrics: to quantify the precision of content-based filtering mechanisms and assess the accuracy of collaborative filtering techniques. * Candidate Generation Metrics: to evaluate how effectively the system identifies a broad yet relevant range of items. * Predictive Metrics: to assess the accuracy of forecasted user preferences. * Ranking Metrics: to evaluate the effectiveness of the order in which recommendations are presented. * Business Metrics: to align the performance of the recommendation system with economic objectives. Our approach emphasizes the contextual application of these metrics and their interdependencies. In this paper, we identify the strengths and limitations of current evaluation practices and highlight the nuanced trade-offs that emerge when optimizing recommendation systems across different metrics. The paper concludes by proposing a framework for selecting and interpreting these metrics to not only improve system performance but also to advance business goals. This work is to aid researchers and practitioners in critically assessing recommendation systems and fosters the development of more nuanced, effective, and economically viable personalization strategies. Our code is available at GitHub - https://github.com/aryan-jadon/Evaluation-Metrics-for-Recommendation-Systems.
• Abstract（参考訳）: 推薦システムの有効性は、オンラインプラットフォームにおけるユーザのエンゲージメントと満足度に大きく寄与する。 これらのレコメンデーションシステムはユーザーの選択にますます影響を与え、その評価は単なる技術的パフォーマンスを超越し、ビジネスの成功の中心となる。 本稿では,レコメンデーションシステム評価の多面的性質を,システム性能の異なる側面を捉えるために調整された総合的なメトリクススイートを導入することで解決する。 類似度指標:コンテンツベースのフィルタリング機構の精度を定量化し,協調フィルタリング手法の精度を評価する。 * 候補生成メトリクス: システムがどの程度広く関連する項目を効果的に識別するかを評価する。 ※予測基準:予測されたユーザの好みの精度を評価する。 ※格付け基準:勧告が提示される順序の有効性を評価する。 ※ビジネスメトリクス:レコメンデーションシステムのパフォーマンスを経済的目的と整合させる。 我々のアプローチは、これらのメトリクスとその相互依存性の文脈的適用を強調する。 本稿では,現在の評価手法の強みと限界を明らかにし,異なる指標にまたがるレコメンデーションシステムを最適化する際に生じる微妙なトレードオフを強調する。 本論文は,これらの指標の選択と解釈のためのフレームワークを提案し,システム性能の向上だけでなく,ビジネス目標の達成にも寄与する。 この研究は、研究者や実践者がレコメンデーションシステムを批判的に評価し、よりニュアンスで効果的で経済的に実行可能なパーソナライズ戦略の開発を促進することを目的としている。 私たちのコードはGitHubhttps://github.com/aryan-jadon/Evaluation-Metrics-for-Recommendation-Systemsで利用可能です。

関連論文リスト

• Navigating the Evaluation Funnel to Optimize Iteration Speed for Recommender Systems [0.0]
  本稿では,レコメンデーションシステムの評価ファンネルに関する推論を簡略化する新しいフレームワークを提案する。 成功の定義を、成功に必要な最小限の基準に分解することで、不要なアイデアを早期に特定できることを示す。 偽造ログ、検証、検証、A/Bテスト、インターリーブといった、いわゆるオフラインおよびオンライン評価手法を精査する。
  論文  参考訳（メタデータ） (2024-04-03T17:15:45Z)
• RecRec: Algorithmic Recourse for Recommender Systems [41.97186998947909]
  特定の予測やレコメンデーションを行う上で、すべての利害関係者がモデルの理論的根拠を理解することが不可欠です。 これは、リコメンデーションシステムに依存するコンテンツプロバイダにとって特に当てはまります。 本稿では,コンテンツ提供者を対象としたレコメンデーションシステムのためのレコメンデーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-28T22:26:50Z)
• Impression-Aware Recommender Systems [57.38537491535016]
  新たなデータソースは、レコメンデーションシステムの品質を改善する新しい機会をもたらす。 研究者はインプレッションを使ってユーザーの好みを洗練させ、推奨システム研究の現在の制限を克服することができる。 本稿ではインプレッションを用いたレコメンデーションシステムに関する体系的な文献レビューを行う。
  論文  参考訳（メタデータ） (2023-08-15T16:16:02Z)
• Bridging Offline-Online Evaluation with a Time-dependent and Popularity Bias-free Offline Metric for Recommenders [3.130722489512822]
  人気アイテムのペナルティ化と取引の時間を考慮したことで,ライブレコメンデーションシステムに最適なレコメンデーションモデルを選択する能力が大幅に向上することを示す。 本研究の目的は,レコメンデーションシステムの実際の応用に関係のあるオフライン評価と最適化基準を,学術コミュニティがよりよく理解できるようにすることである。
  論文  参考訳（メタデータ） (2023-08-14T01:37:02Z)
• User-Controllable Recommendation via Counterfactual Retrospective and Prospective Explanations [96.45414741693119]
  本稿では,説明可能性と可制御性をシームレスに統合するユーザ制御型レコメンデータシステムを提案する。 反ファクト推論を通じて、ふりかえりと予測的な説明の両方を提供することで、ユーザーはシステムに対する制御をカスタマイズできる。
  論文  参考訳（メタデータ） (2023-08-02T01:13:36Z)
• A Survey on Fairness-aware Recommender Systems [59.23208133653637]
  本稿では,様々なレコメンデーションシナリオにおいてフェアネスの概念を提示し,現在の進歩を包括的に分類し,レコメンデーションシステムのさまざまな段階におけるフェアネスを促進するための典型的な手法を紹介する。 次に、フェアネスを意識したレコメンデーションシステムが実業界における産業応用に与える影響について検討する。
  論文  参考訳（メタデータ） (2023-06-01T07:08:22Z)
• A Review on Pushing the Limits of Baseline Recommendation Systems with the integration of Opinion Mining & Information Retrieval Techniques [0.0]
  Recommendation Systemsでは、利用者の期待にタイムリーかつ関連性がありながら、コミュニティ内のトレンドアイテムを識別することができる。 より優れた品質のレコメンデーションを達成するために、ディープラーニングの手法が提案されている。 研究者たちは、最も効果的なレコメンデーションを提供するために、標準レコメンデーションシステムの能力を拡大しようと試みている。
  論文  参考訳（メタデータ） (2022-05-03T22:13:33Z)
• Measuring "Why" in Recommender Systems: a Comprehensive Survey on the Evaluation of Explainable Recommendation [87.82664566721917]
  この調査は、IJCAI、AAAI、TheWebConf、Recsys、UMAP、IUIといったトップレベルのカンファレンスから100以上の論文に基づいています。
  論文  参考訳（メタデータ） (2022-02-14T02:58:55Z)
• FEBR: Expert-Based Recommendation Framework for beneficial and personalized content [77.86290991564829]
  推奨コンテンツの質を評価するための見習い学習フレームワークであるFEBR(Expert-Based Recommendation Framework)を提案する。 このフレームワークは、推奨評価環境において専門家(信頼できると仮定される)の実証された軌跡を利用して、未知のユーティリティ機能を回復する。 ユーザ関心シミュレーション環境(RecSim)によるソリューションの性能評価を行う。
  論文  参考訳（メタデータ） (2021-07-17T18:21:31Z)
• MARS-Gym: A Gym framework to model, train, and evaluate Recommender Systems for Marketplaces [51.123916699062384]
  MARS-Gymは、市場におけるレコメンデーションのための強化学習エージェントの構築と評価を行うオープンソースフレームワークである。 本稿では,Trivagoマーケットプレースデータセットにおいて,さまざまなベースラインエージェントの実装とメトリクス駆動による分析を行う。 学術研究と生産システムとのギャップを埋め、新しいアルゴリズムやアプリケーションの設計を容易にしたいと考えている。
  論文  参考訳（メタデータ） (2020-09-30T16:39:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。