論文の概要: gSASRec: Reducing Overconfidence in Sequential Recommendation Trained with Negative Sampling

• arxiv url: http://arxiv.org/abs/2308.07192v1
• Date: Mon, 14 Aug 2023 14:56:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 12:45:26.991162
• Title: gSASRec: Reducing Overconfidence in Sequential Recommendation Trained with Negative Sampling
• Title（参考訳）: gSASRec:負のサンプリングでトレーニングしたシークエンシャルレコメンデーションにおける過信を減らす
• Authors: Aleksandr Petrov and Craig Macdonald
• Abstract要約: 負のサンプリングで訓練されたモデルは、正の相互作用の確率を過大評価する傾向がある。 本稿では, 一般化二項クロスエントロピー損失関数(gBCE)を提案する。 本稿では,gSASRecが過信問題を示さない3つのデータセットについて詳細な実験を行った。
• 参考スコア（独自算出の注目度）: 67.71952251641545
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A large catalogue size is one of the central challenges in training recommendation models: a large number of items makes them memory and computationally inefficient to compute scores for all items during training, forcing these models to deploy negative sampling. However, negative sampling increases the proportion of positive interactions in the training data, and therefore models trained with negative sampling tend to overestimate the probabilities of positive interactions a phenomenon we call overconfidence. While the absolute values of the predicted scores or probabilities are not important for the ranking of retrieved recommendations, overconfident models may fail to estimate nuanced differences in the top-ranked items, resulting in degraded performance. In this paper, we show that overconfidence explains why the popular SASRec model underperforms when compared to BERT4Rec. This is contrary to the BERT4Rec authors explanation that the difference in performance is due to the bi-directional attention mechanism. To mitigate overconfidence, we propose a novel Generalised Binary Cross-Entropy Loss function (gBCE) and theoretically prove that it can mitigate overconfidence. We further propose the gSASRec model, an improvement over SASRec that deploys an increased number of negatives and the gBCE loss. We show through detailed experiments on three datasets that gSASRec does not exhibit the overconfidence problem. As a result, gSASRec can outperform BERT4Rec (e.g. +9.47% NDCG on the MovieLens-1M dataset), while requiring less training time (e.g. -73% training time on MovieLens-1M). Moreover, in contrast to BERT4Rec, gSASRec is suitable for large datasets that contain more than 1 million items.
• Abstract（参考訳）: 大規模なカタログサイズは、トレーニングレコメンデーションモデルにおける中心的な課題の1つである: 大量のアイテムは、トレーニング中にすべてのアイテムのスコアを計算するためにメモリと計算的に非効率にする。 しかし、負のサンプリングはトレーニングデータにおける正の相互作用の割合を増加させるため、負のサンプリングで訓練されたモデルは、過信と呼ばれる現象である正の相互作用の確率を過大評価する傾向にある。 検索された推奨項目のランク付けには,予測スコアや確率の絶対値が重要ではないが,信頼度の高いモデルでは上位項目のニュアンスの違いを推定できず,結果としてパフォーマンスが低下する可能性がある。 本稿では, BERT4Recと比較して, 人気のSASRecモデルが低性能である理由を, 自信過剰が説明できることを示す。 これはbert4recの著者たちの説明に反して、パフォーマンスの違いは双方向の注意機構によるものである。 過信を緩和するために,新しい2元クロスエントロピー損失関数(gBCE)を提案し,過信を緩和できることを理論的に証明する。 さらに, 負数の増加とgBCE損失を増大させるSASRecに対する改良であるgSASRecモデルを提案する。 本稿では,gSASRecが過信問題を示さない3つのデータセットについて詳細な実験を行った。 その結果、gSASRecはBERT4Rec(例:MovieLens-1Mデータセットで+9.47%のNDCG)を上回り、トレーニング時間(例:MovieLens-1Mで73%のトレーニング時間)を短縮できる。 さらに、BERT4Recとは対照的に、gSASRecは100万以上のアイテムを含む大規模なデータセットに適している。

関連論文リスト

• Turning Dross Into Gold Loss: is BERT4Rec really better than SASRec? [1.223779595809275]
  最先端の2つのベースラインはTransformerベースのモデルSASRecとBERT4Recである。 ほとんどの出版物では、BERT4RecはSASRecよりも優れたパフォーマンスを実現している。 SASRec は BERT4Rec より優れているが, 負のサンプルの数は 1 よりはるかに多いはずである。
  論文  参考訳（メタデータ） (2023-09-14T11:07:10Z)
• Unsupervised Dense Retrieval with Relevance-Aware Contrastive Pre-Training [81.3781338418574]
  関連性を考慮したコントラスト学習を提案する。 我々は、BEIRおよびオープンドメインQA検索ベンチマークにおいて、SOTAアン教師なしコントリバーモデルを一貫して改善する。 本手法は, 目標コーパスの事前訓練後, BM25に打ち勝つだけでなく, 優れた数発学習者として機能する。
  論文  参考訳（メタデータ） (2023-06-05T18:20:27Z)
• Improving Sequential Recommendation Models with an Enhanced Loss Function [9.573139673704766]
  逐次レコメンデーションモデルのための改良された損失関数を開発する。 2つの重要なオープンソースライブラリの実験を行う。 BERT4Recモデルの結果をBeautyデータセット上で再現する。
  論文  参考訳（メタデータ） (2023-01-03T07:18:54Z)
• Rethinking Missing Data: Aleatoric Uncertainty-Aware Recommendation [59.500347564280204]
  本稿では, Aleatoric Uncertainty-aware Recommendation (AUR) フレームワークを提案する。 AURは、新しい不確実性推定器と通常のレコメンデータモデルで構成されている。 誤ラベルの可能性がペアの可能性を反映しているため、AURは不確実性に応じてレコメンデーションを行う。
  論文  参考訳（メタデータ） (2022-09-22T04:32:51Z)
• Adversarial Unlearning: Reducing Confidence Along Adversarial Directions [88.46039795134993]
  本稿では,自己生成事例の信頼性を低下させる補完的な正規化戦略を提案する。 RCADと呼ばれるこの手法は、トレーニング損失を増やすために反対に選択された方向に沿って横たわっている流通外の事例に対する信頼性を低下させることを目的としている。 その単純さにもかかわらず、多くの分類ベンチマークでは、RCADを既存の技術に追加して、絶対値の1～3%の精度でテストできることがわかった。
  論文  参考訳（メタデータ） (2022-06-03T02:26:24Z)
• VSAC: Efficient and Accurate Estimator for H and F [68.65610177368617]
  VSACはRANSAC型頑健な推定器であり、多くの新奇性がある。 従来のすべてのプロセッサよりも大幅に高速で、CPU上では平均1-2msで動作する。 現在最も正確な2次元幾何学推定器である MAGSAC++ と同等の精度で2桁高速である。
  論文  参考訳（メタデータ） (2021-06-18T17:04:57Z)
• Efficiently Teaching an Effective Dense Retriever with Balanced Topic Aware Sampling [37.01593605084575]
  TAS-Balancedは、効率的なトピック認識クエリとバランスの取れたマージンサンプリング技術です。 本稿では,2つのTRECディープラーニングトラッククエリセットに対して,最先端の低レイテンシ(クエリ毎64ms)を実現するTAS-Balancedトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-04-14T16:49:18Z)
• MixPUL: Consistency-based Augmentation for Positive and Unlabeled Learning [8.7382177147041]
  本稿では, 整合性正規化に基づく簡易かつ効果的なデータ拡張手法である coinedalgo を提案する。 アルゴインコーポレートは、拡張データを生成するために、教師付きおよび教師なしの一貫性トレーニングを行う。 我々は,CIFAR-10データセットの分類誤差を16.49から13.09まで,それぞれ異なる正のデータ量で平均的に改善したことを示す。
  論文  参考訳（メタデータ） (2020-04-20T15:43:33Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。