論文の概要: A Comprehensive Survey of Evaluation Techniques for Recommendation
Systems
- arxiv url: http://arxiv.org/abs/2312.16015v1
- Date: Tue, 26 Dec 2023 11:57:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 15:08:14.469708
- Title: A Comprehensive Survey of Evaluation Techniques for Recommendation
Systems
- Title(参考訳): 勧告システムの評価手法に関する総合的調査
- Authors: Aryan Jadon and Avinash Patil
- Abstract要約: 本稿では,システム性能の異なる側面を捉えた,総合的なメトリクススイートを紹介する。
私たちは、現在の評価プラクティスの長所と短所を特定し、さまざまなメトリクスにまたがってレコメンデーションシステムを最適化するときに現れる、微妙なトレードオフを強調します。
この研究は、研究者や実践者がレコメンデーションシステムを批判的に評価し、よりニュアンスで効果的で経済的に実行可能なパーソナライズ戦略の開発を促進することを目的としている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The effectiveness of recommendation systems is pivotal to user engagement and
satisfaction in online platforms. As these recommendation systems increasingly
influence user choices, their evaluation transcends mere technical performance
and becomes central to business success. This paper addresses the multifaceted
nature of recommendation system evaluation by introducing a comprehensive suite
of metrics, each tailored to capture a distinct aspect of system performance.
We discuss similarity metrics that quantify the precision of content-based and
collaborative filtering mechanisms, along with candidate generation metrics
which measure how well the system identifies a broad yet pertinent range of
items. Following this, we delve into predictive metrics that assess the
accuracy of forecasted preferences, ranking metrics that evaluate the order in
which recommendations are presented, and business metrics that align system
performance with economic objectives.
Our approach emphasizes the contextual application of these metrics and their
interdependencies. In this paper, we identify the strengths and limitations of
current evaluation practices and highlight the nuanced trade-offs that emerge
when optimizing recommendation systems across different metrics. The paper
concludes by proposing a framework for selecting and interpreting these metrics
to not only improve system performance but also to advance business goals. This
work is to aid researchers and practitioners in critically assessing
recommendation systems and fosters the development of more nuanced, effective,
and economically viable personalization strategies. Our code is available at
GitHub -
https://github.com/aryan-jadon/Evaluation-Metrics-for-Recommendation-Systems.
- Abstract(参考訳): 推薦システムの有効性は、オンラインプラットフォームにおけるユーザのエンゲージメントと満足度に大きく寄与する。
これらのレコメンデーションシステムはユーザーの選択にますます影響を与え、その評価は単なる技術的パフォーマンスを超越し、ビジネスの成功の中心となる。
本稿では,レコメンデーションシステム評価の多面的性質を,システム性能の異なる側面を捉えるために調整された総合的なメトリクススイートを導入することで解決する。
本稿では,コンテントベースおよびコラボレーティブフィルタリング機構の精度を定量化する類似度指標と,システムによる幅広い関連項目の識別精度を測定する候補生成指標について考察する。
続いて,予測された選好の正確性を評価する予測指標,レコメンデーションが提示される順序を評価する指標,システムパフォーマンスと経済目標を合わせたビジネス指標について検討した。
我々のアプローチは、これらのメトリクスとその相互依存性の文脈的適用を強調する。
本稿では,現在の評価手法の強みと限界を明らかにし,異なる指標にまたがるレコメンデーションシステムを最適化する際に生じる微妙なトレードオフを強調する。
本論文は,これらの指標の選択と解釈のためのフレームワークを提案し,システム性能の向上だけでなく,ビジネス目標の達成にも寄与する。
この研究は、研究者や実践者がレコメンデーションシステムを批判的に評価し、よりニュアンスで効果的で経済的に実行可能なパーソナライズ戦略の開発を促進することを目的としている。
私たちのコードはGitHubhttps://github.com/aryan-jadon/Evaluation-Metrics-for-Recommendation-Systemsで利用可能です。
関連論文リスト
- Navigating the Evaluation Funnel to Optimize Iteration Speed for Recommender Systems [0.0]
本稿では,レコメンデーションシステムの評価ファンネルに関する推論を簡略化する新しいフレームワークを提案する。
成功の定義を、成功に必要な最小限の基準に分解することで、不要なアイデアを早期に特定できることを示す。
偽造ログ、検証、検証、A/Bテスト、インターリーブといった、いわゆるオフラインおよびオンライン評価手法を精査する。
論文 参考訳(メタデータ) (2024-04-03T17:15:45Z) - RecRec: Algorithmic Recourse for Recommender Systems [41.97186998947909]
特定の予測やレコメンデーションを行う上で、すべての利害関係者がモデルの理論的根拠を理解することが不可欠です。
これは、リコメンデーションシステムに依存するコンテンツプロバイダにとって特に当てはまります。
本稿では,コンテンツ提供者を対象としたレコメンデーションシステムのためのレコメンデーションフレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-28T22:26:50Z) - Impression-Aware Recommender Systems [57.38537491535016]
新たなデータソースは、レコメンデーションシステムの品質を改善する新しい機会をもたらす。
研究者はインプレッションを使ってユーザーの好みを洗練させ、推奨システム研究の現在の制限を克服することができる。
本稿ではインプレッションを用いたレコメンデーションシステムに関する体系的な文献レビューを行う。
論文 参考訳(メタデータ) (2023-08-15T16:16:02Z) - Bridging Offline-Online Evaluation with a Time-dependent and Popularity
Bias-free Offline Metric for Recommenders [3.130722489512822]
人気アイテムのペナルティ化と取引の時間を考慮したことで,ライブレコメンデーションシステムに最適なレコメンデーションモデルを選択する能力が大幅に向上することを示す。
本研究の目的は,レコメンデーションシステムの実際の応用に関係のあるオフライン評価と最適化基準を,学術コミュニティがよりよく理解できるようにすることである。
論文 参考訳(メタデータ) (2023-08-14T01:37:02Z) - User-Controllable Recommendation via Counterfactual Retrospective and
Prospective Explanations [96.45414741693119]
本稿では,説明可能性と可制御性をシームレスに統合するユーザ制御型レコメンデータシステムを提案する。
反ファクト推論を通じて、ふりかえりと予測的な説明の両方を提供することで、ユーザーはシステムに対する制御をカスタマイズできる。
論文 参考訳(メタデータ) (2023-08-02T01:13:36Z) - A Survey on Fairness-aware Recommender Systems [59.23208133653637]
本稿では,様々なレコメンデーションシナリオにおいてフェアネスの概念を提示し,現在の進歩を包括的に分類し,レコメンデーションシステムのさまざまな段階におけるフェアネスを促進するための典型的な手法を紹介する。
次に、フェアネスを意識したレコメンデーションシステムが実業界における産業応用に与える影響について検討する。
論文 参考訳(メタデータ) (2023-06-01T07:08:22Z) - A Review on Pushing the Limits of Baseline Recommendation Systems with
the integration of Opinion Mining & Information Retrieval Techniques [0.0]
Recommendation Systemsでは、利用者の期待にタイムリーかつ関連性がありながら、コミュニティ内のトレンドアイテムを識別することができる。
より優れた品質のレコメンデーションを達成するために、ディープラーニングの手法が提案されている。
研究者たちは、最も効果的なレコメンデーションを提供するために、標準レコメンデーションシステムの能力を拡大しようと試みている。
論文 参考訳(メタデータ) (2022-05-03T22:13:33Z) - Measuring "Why" in Recommender Systems: a Comprehensive Survey on the
Evaluation of Explainable Recommendation [87.82664566721917]
この調査は、IJCAI、AAAI、TheWebConf、Recsys、UMAP、IUIといったトップレベルのカンファレンスから100以上の論文に基づいています。
論文 参考訳(メタデータ) (2022-02-14T02:58:55Z) - FEBR: Expert-Based Recommendation Framework for beneficial and
personalized content [77.86290991564829]
推奨コンテンツの質を評価するための見習い学習フレームワークであるFEBR(Expert-Based Recommendation Framework)を提案する。
このフレームワークは、推奨評価環境において専門家(信頼できると仮定される)の実証された軌跡を利用して、未知のユーティリティ機能を回復する。
ユーザ関心シミュレーション環境(RecSim)によるソリューションの性能評価を行う。
論文 参考訳(メタデータ) (2021-07-17T18:21:31Z) - MARS-Gym: A Gym framework to model, train, and evaluate Recommender
Systems for Marketplaces [51.123916699062384]
MARS-Gymは、市場におけるレコメンデーションのための強化学習エージェントの構築と評価を行うオープンソースフレームワークである。
本稿では,Trivagoマーケットプレースデータセットにおいて,さまざまなベースラインエージェントの実装とメトリクス駆動による分析を行う。
学術研究と生産システムとのギャップを埋め、新しいアルゴリズムやアプリケーションの設計を容易にしたいと考えている。
論文 参考訳(メタデータ) (2020-09-30T16:39:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。