論文の概要: Are We Really Achieving Better Beyond-Accuracy Performance in Next Basket Recommendation?

• arxiv url: http://arxiv.org/abs/2405.01143v1
• Date: Thu, 02 May 2024 09:59:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 01:28:20.628245
• Title: Are We Really Achieving Better Beyond-Accuracy Performance in Next Basket Recommendation?
• Title（参考訳）: 私たちは、次のバスケットボール勧告で、より正確なパフォーマンスを達成するか?
• Authors: Ming Li, Yuanna Liu, Sami Jullien, Mozhdeh Ariannezhad, Mohammad Aliannejadi, Andrew Yates, Maarten de Rijke,
• Abstract要約: 次のバスケットレコメンデーション(NBR)は、ますます注目を集めている特別なタイプのシーケンシャルレコメンデーションである。 NBRに関する最近の研究は、繰り返し項目を推奨することと項目を探索することの間に大きなパフォーマンス差が見つかった。 本稿では,繰り返しアイテムを扱い,個別にアイテムを探索する2段階反復探索フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 57.91114305844153
• License:
• Abstract: Next basket recommendation (NBR) is a special type of sequential recommendation that is increasingly receiving attention. So far, most NBR studies have focused on optimizing the accuracy of the recommendation, whereas optimizing for beyond-accuracy metrics, e.g., item fairness and diversity remains largely unexplored. Recent studies into NBR have found a substantial performance difference between recommending repeat items and explore items. Repeat items contribute most of the users' perceived accuracy compared with explore items. Informed by these findings, we identify a potential "short-cut" to optimize for beyond-accuracy metrics while maintaining high accuracy. To leverage and verify the existence of such short-cuts, we propose a plug-and-play two-step repetition-exploration (TREx) framework that treats repeat items and explores items separately, where we design a simple yet highly effective repetition module to ensure high accuracy, while two exploration modules target optimizing only beyond-accuracy metrics. Experiments are performed on two widely-used datasets w.r.t. a range of beyond-accuracy metrics, viz. five fairness metrics and three diversity metrics. Our experimental results verify the effectiveness of TREx. Prima facie, this appears to be good news: we can achieve high accuracy and improved beyond-accuracy metrics at the same time. However, we argue that the real-world value of our algorithmic solution, TREx, is likely to be limited and reflect on the reasonableness of the evaluation setup. We end up challenging existing evaluation paradigms, particularly in the context of beyond-accuracy metrics, and provide insights for researchers to navigate potential pitfalls and determine reasonable metrics to consider when optimizing for accuracy and beyond-accuracy metrics.
• Abstract（参考訳）: 次のバスケットレコメンデーション(NBR)は、ますます注目を集めている特別なタイプのシーケンシャルレコメンデーションである。 これまでのところ、ほとんどのNBR研究は推奨の精度を最適化することに重点を置いているが、例えばアイテムフェアネスや多様性といった超精度の指標を最適化することは、ほとんど探索されていない。 NBRに関する最近の研究は、繰り返し項目を推奨することと項目を探索することの間に大きなパフォーマンス差が見つかった。 反復項目は探索項目と比較してユーザの認識精度の大部分に寄与する。 これらの知見により、高精度を維持しながら、超高精度なメトリクスを最適化する「ショートカット」の可能性を特定した。 このようなショートカットの存在を生かし、検証するために、繰り返しアイテムを扱い、個別にアイテムを探索する2段階反復探索(TREx)フレームワークを提案する。 実験は、広く使われている2つのデータセットで行われ、その範囲は、超精度のメトリクス、vz.5フェアネスのメトリクスと3つの多様性のメトリクスである。 TRExの有効性を実験的に検証した。 高い精度を達成でき、同時に超精度のメトリクスを改善できます。 しかし,提案手法の現実的価値であるTRExは限定的であり,評価設定の妥当性を反映する可能性が示唆されている。 最終的には既存の評価パラダイム、特に超精度メトリクスの文脈で挑戦し、研究者が潜在的な落とし穴をナビゲートし、精度と超精度メトリクスを最適化する際に考慮すべき合理的なメトリクスを決定するための洞察を提供する。

関連論文リスト

• Benchmarking Large Language Model Uncertainty for Prompt Optimization [4.151658495779136]
  本稿では,不確実性指標を評価するためのベンチマークデータセットを提案する。 現在のメトリクスは、正当性不確実性ではなく、出力の信頼性と多様性を反映したアンサー不確実性とより一致していることを示します。
  論文  参考訳（メタデータ） (2024-09-16T07:13:30Z)
• Preference Learning Algorithms Do Not Learn Preference Rankings [62.335733662381884]
  選好学習は、好ましくない出力よりも、好ましくない出力により高い確率を割り当てるようにモデルを訓練する、という従来の知恵を考察する。 多くの最先端の選好調整モデルでは、一般的な選好データセットでは60%未満のランキング精度が得られている。
  論文  参考訳（メタデータ） (2024-05-29T21:29:44Z)
• Aligning GPTRec with Beyond-Accuracy Goals with Reinforcement Learning [67.71952251641545]
  GPTRecはアイテム・バイ・イテムレコメンデーションのためのTop-Kモデルの代替品である。 GPTRecは,従来のグリーディ・リグレード手法よりも精度とセカンダリ・メトリクスのトレードオフが優れていることを示す。 2つのデータセットに対する実験により、GPTRecのNext-K生成アプローチは、古典的なグリージーな再ランク技術よりも精度と二次メトリクスのトレードオフが優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-07T19:47:48Z)
• Lower-Left Partial AUC: An Effective and Efficient Optimization Metric for Recommendation [52.45394284415614]
  我々は,AUCのように計算効率が良く,Top-Kランキングの指標と強く相関する新しい最適化指標であるLLPAUCを提案する。 LLPAUCはローワーレフト角のROC曲線の下の部分領域のみを考慮し、最適化はトップKに焦点をあてる。
  論文  参考訳（メタデータ） (2024-02-29T13:58:33Z)
• Recommendation Systems with Distribution-Free Reliability Guarantees [83.80644194980042]
  我々は、主に良いアイテムを含むことを厳格に保証されたアイテムのセットを返す方法を示す。 本手法は, 擬似発見率の厳密な有限サンプル制御によるランキングモデルを提供する。 我々はYahoo!のランキングとMSMarcoデータセットの学習方法を評価する。
  論文  参考訳（メタデータ） (2022-07-04T17:49:25Z)
• Determinantal Point Process Likelihoods for Sequential Recommendation [12.206748373325972]
  本稿では,DPP(Determinantal Point Process)の確率に基づく2つの新たな損失関数を提案する。 提案した損失関数を実世界の3つのデータセットで実験した結果、品質と多様性の指標の両方において、最先端のシーケンシャルなレコメンデーション手法よりも顕著な改善が見られた。
  論文  参考訳（メタデータ） (2022-04-25T11:20:10Z)
• Efficient Exploration in Binary and Preferential Bayesian Optimization [0.5076419064097732]
  BOアルゴリズムは,異なるタイプの不確かさを区別することが重要であることを示す。 本稿では,最先端のBO関数より優れた新たな獲得関数を提案する。
  論文  参考訳（メタデータ） (2021-10-18T14:44:34Z)
• Reenvisioning Collaborative Filtering vs Matrix Factorization [65.74881520196762]
  近年,行列因数分解に基づく協調フィルタリングモデルや,ニューラルネットワーク(ANN)を用いた類似性の学習が注目されている。 推薦エコシステム内でのANNの発表が最近疑問視され、効率性と有効性に関していくつかの比較がなされている。 本研究では,これらの手法が相補的評価次元に与える影響を解析しながら,超精度評価にもたらす可能性を示す。
  論文  参考訳（メタデータ） (2021-07-28T16:29:38Z)
• SQE: a Self Quality Evaluation Metric for Parameters Optimization in Multi-Object Tracking [25.723436561224297]
  本稿では,パラメータ最適化のための新しい自己品質評価指標SQEを提案する。 対照的に、我々の計量は軌道仮説の内部特性を反映し、真理を示さずに性能を追跡する。
  論文  参考訳（メタデータ） (2020-04-16T06:07:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。