論文の概要: Turning Dross Into Gold Loss: is BERT4Rec really better than SASRec?

• arxiv url: http://arxiv.org/abs/2309.07602v1
• Date: Thu, 14 Sep 2023 11:07:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-15 15:16:57.917855
• Title: Turning Dross Into Gold Loss: is BERT4Rec really better than SASRec?
• Title（参考訳）: DrossをGold Lossに変える:BERT4RecはSASRecより優れているか?
• Authors: Anton Klenitskiy, Alexey Vasilev
• Abstract要約: 最先端の2つのベースラインはTransformerベースのモデルSASRecとBERT4Recである。 ほとんどの出版物では、BERT4RecはSASRecよりも優れたパフォーマンスを実現している。 SASRec は BERT4Rec より優れているが, 負のサンプルの数は 1 よりはるかに多いはずである。
• 参考スコア（独自算出の注目度）: 1.223779595809275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently sequential recommendations and next-item prediction task has become increasingly popular in the field of recommender systems. Currently, two state-of-the-art baselines are Transformer-based models SASRec and BERT4Rec. Over the past few years, there have been quite a few publications comparing these two algorithms and proposing new state-of-the-art models. In most of the publications, BERT4Rec achieves better performance than SASRec. But BERT4Rec uses cross-entropy over softmax for all items, while SASRec uses negative sampling and calculates binary cross-entropy loss for one positive and one negative item. In our work, we show that if both models are trained with the same loss, which is used by BERT4Rec, then SASRec will significantly outperform BERT4Rec both in terms of quality and training speed. In addition, we show that SASRec could be effectively trained with negative sampling and still outperform BERT4Rec, but the number of negative examples should be much larger than one.
• Abstract（参考訳）: 近年,レコメンデーションシステムの分野では,逐次レコメンデーションや次点予測タスクが人気を博している。 現在、最先端の2つのベースラインはTransformerベースのモデルSASRecとBERT4Recである。 ここ数年、これらの2つのアルゴリズムを比較し、新しい最先端モデルを提案する論文が数多く出回っている。 ほとんどの出版物では、BERT4RecはSASRecよりもパフォーマンスが良い。 しかしBERT4Recはすべての項目に対してソフトマックスよりもクロスエントロピーを使い、SASRecは負のサンプリングを使い、1つの正と負のアイテムに対してバイナリクロスエントロピー損失を計算する。 我々の研究によると、両方のモデルがBERT4Recと同じ損失でトレーニングされている場合、SASRecはBERT4Recよりも品質とトレーニング速度の両方で大幅に向上する。 さらに, SASRec は BERT4Rec より優れた正のサンプリングを効果的に行うことができるが, 負のサンプルの数は 1 よりはるかに多いはずである。

関連論文リスト

• Efficient Inference of Sub-Item Id-based Sequential Recommendation Models with Millions of Items [63.117573355917465]
  PQTopKアルゴリズムを用いてRecJPQに基づくモデルの推論効率を改善することができることを示す。 我々は、RecJPQで強化されたSASRecを、元のSASRecの推論手法に比べて4.5倍、RecJPQコードで実装された手法に比べて1.56倍の速度で高速化する。
  論文  参考訳（メタデータ） (2024-08-19T13:43:48Z)
• Aligning GPTRec with Beyond-Accuracy Goals with Reinforcement Learning [67.71952251641545]
  GPTRecはアイテム・バイ・イテムレコメンデーションのためのTop-Kモデルの代替品である。 GPTRecは,従来のグリーディ・リグレード手法よりも精度とセカンダリ・メトリクスのトレードオフが優れていることを示す。 2つのデータセットに対する実験により、GPTRecのNext-K生成アプローチは、古典的なグリージーな再ランク技術よりも精度と二次メトリクスのトレードオフが優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-07T19:47:48Z)
• gSASRec: Reducing Overconfidence in Sequential Recommendation Trained with Negative Sampling [67.71952251641545]
  負のサンプリングで訓練されたモデルは、正の相互作用の確率を過大評価する傾向がある。 本稿では, 一般化二項クロスエントロピー損失関数(gBCE)を提案する。 本稿では,gSASRecが過信問題を示さない3つのデータセットについて詳細な実験を行った。
  論文  参考訳（メタデータ） (2023-08-14T14:56:40Z)
• Scaling Session-Based Transformer Recommendations using Optimized Negative Sampling and Loss Functions [0.0]
  TRONはセッションベースのTransformer Recommenderで、最適化されたネガティブサンプリングを使用している。 TRONは、SASRecと同様のトレーニング速度を維持しながら、現在のメソッドの推奨品質を改善している。 ライブA/Bテストでは、SASRecよりもクリックスルー率が18.14%上昇した。
  論文  参考訳（メタデータ） (2023-07-27T14:47:38Z)
• Improving Sequential Recommendation Models with an Enhanced Loss Function [9.573139673704766]
  逐次レコメンデーションモデルのための改良された損失関数を開発する。 2つの重要なオープンソースライブラリの実験を行う。 BERT4Recモデルの結果をBeautyデータセット上で再現する。
  論文  参考訳（メタデータ） (2023-01-03T07:18:54Z)
• A Systematic Review and Replicability Study of BERT4Rec for Sequential Recommendation [91.02268704681124]
  BERT4RecはTransformerアーキテクチャに基づいたシーケンシャルなレコメンデーションのための効果的なモデルである。 BERT4Recの結果はこれらの出版物では一致していない。 本稿では,Hugging Face Transformersライブラリに基づくBERT4Recの実装を提案する。
  論文  参考訳（メタデータ） (2022-07-15T14:09:04Z)
• Effective and Efficient Training for Sequential Recommendation using Recency Sampling [91.02268704681124]
  本稿では,新しいRecency-based Smpling of Sequencesトレーニング目標を提案する。 提案手法により拡張されたモデルにより,最先端のBERT4Recに近い性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-06T13:06:31Z)
• VSAC: Efficient and Accurate Estimator for H and F [68.65610177368617]
  VSACはRANSAC型頑健な推定器であり、多くの新奇性がある。 従来のすべてのプロセッサよりも大幅に高速で、CPU上では平均1-2msで動作する。 現在最も正確な2次元幾何学推定器である MAGSAC++ と同等の精度で2桁高速である。
  論文  参考訳（メタデータ） (2021-06-18T17:04:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。