論文の概要: Improving Sequential Recommendation Models with an Enhanced Loss Function

• arxiv url: http://arxiv.org/abs/2301.00979v2
• Date: Mon, 22 May 2023 02:48:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 04:38:00.829673
• Title: Improving Sequential Recommendation Models with an Enhanced Loss Function
• Title（参考訳）: ロス関数の強化による逐次推薦モデルの改善
• Authors: Fangyu Li and Shenbao Yu and Feng Zeng and Fang Yang
• Abstract要約: 逐次レコメンデーションモデルのための改良された損失関数を開発する。 2つの重要なオープンソースライブラリの実験を行う。 BERT4Recモデルの結果をBeautyデータセット上で再現する。
• 参考スコア（独自算出の注目度）: 9.573139673704766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There has been a growing interest in benchmarking sequential recommendation models and reproducing/improving existing models. For example, Rendle et al. improved matrix factorization models by tuning their parameters and hyperparameters. Petrov and Macdonald developed a more efficient and effective implementation of BERT4Rec, which resolved inconsistencies in performance comparison between BERT4Rec and SASRec in previous works. In particular, BERT4Rec and SASRec share a similar network structure, with the main difference lying in their training objective/loss function. Therefore, we analyzed the advantages and disadvantages of commonly used loss functions in sequential recommendation and proposed an improved loss function that leverages their strengths. We conduct extensive experiments on two influential open-source libraries, and the results demonstrate that our improved loss function significantly enhances the performance of GRU4Rec, SASRec, SR-GNN, and S3Rec models, improving their benchmarks significantly. Furthermore, the improved SASRec benchmark outperforms BERT4Rec on the ML-1M and Beauty datasets and achieves similar results to BERT4Rec on the ML-20M and Steam datasets. We also reproduce the results of the BERT4Rec model on the Beauty dataset. Finally, we provide a comprehensive explanation of the effectiveness of our improved loss function through experiments. Our code is publicly available at https://github.com/Li-fAngyU/sequential_rec.
• Abstract（参考訳）: 逐次レコメンデーションモデルのベンチマークや既存モデルの再現/改善への関心が高まっている。 例えば、rendleらはパラメータとハイパーパラメータをチューニングすることで行列分解モデルを改善した。 ペトロフとマクドナルドは、以前の作品におけるbert4recとsassrecのパフォーマンス比較の不整合を解消したbert4recをより効率的かつ効果的な実装を開発した。 特にBERT4RecとSASRecは同様のネットワーク構造を共有しており、主な違いはトレーニング対象/損失関数にある。 そこで我々は,よく使われる損失関数の利点とデメリットを逐次推薦で分析し,その強みを利用した損失関数の改良を提案した。 我々は,2つの影響力のあるオープンソースライブラリについて広範な実験を行い,この性能向上によりgrub4rec,sasrec,sr-gnn,s3recモデルの性能が著しく向上し,ベンチマークが大幅に向上することを示す。 さらに、改良されたSASRecベンチマークは、ML-1MとBeautyデータセットでBERT4Recを上回っ、ML-20MとSteamデータセットでBERT4Recと同じような結果が得られる。 また、Beautyデータセット上でBERT4Recモデルの結果を再現する。 最後に,実験により改善した損失関数の有効性を包括的に説明する。 私たちのコードはhttps://github.com/li-fangyu/sequential_recで公開されています。

関連論文リスト

• Aligning GPTRec with Beyond-Accuracy Goals with Reinforcement Learning [67.71952251641545]
  GPTRecはアイテム・バイ・イテムレコメンデーションのためのTop-Kモデルの代替品である。 GPTRecは,従来のグリーディ・リグレード手法よりも精度とセカンダリ・メトリクスのトレードオフが優れていることを示す。 2つのデータセットに対する実験により、GPTRecのNext-K生成アプローチは、古典的なグリージーな再ランク技術よりも精度と二次メトリクスのトレードオフが優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-07T19:47:48Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• Turning Dross Into Gold Loss: is BERT4Rec really better than SASRec? [1.223779595809275]
  最先端の2つのベースラインはTransformerベースのモデルSASRecとBERT4Recである。 ほとんどの出版物では、BERT4RecはSASRecよりも優れたパフォーマンスを実現している。 SASRec は BERT4Rec より優れているが, 負のサンプルの数は 1 よりはるかに多いはずである。
  論文  参考訳（メタデータ） (2023-09-14T11:07:10Z)
• gSASRec: Reducing Overconfidence in Sequential Recommendation Trained with Negative Sampling [67.71952251641545]
  負のサンプリングで訓練されたモデルは、正の相互作用の確率を過大評価する傾向がある。 本稿では, 一般化二項クロスエントロピー損失関数(gBCE)を提案する。 本稿では,gSASRecが過信問題を示さない3つのデータセットについて詳細な実験を行った。
  論文  参考訳（メタデータ） (2023-08-14T14:56:40Z)
• Scaling Relationship on Learning Mathematical Reasoning with Large Language Models [75.29595679428105]
  本研究では,事前学習損失,教師付きデータ量,拡張データ量が教師付きLDMの推論性能に与える影響について検討する。 複数のモデルからの拒絶サンプルは、LLaMA-7BをGSM8Kの49.3%の精度に押し上げ、監督された微調整(SFT)の精度を35.9%上回る結果となった。
  論文  参考訳（メタデータ） (2023-08-03T15:34:01Z)
• A Systematic Review and Replicability Study of BERT4Rec for Sequential Recommendation [91.02268704681124]
  BERT4RecはTransformerアーキテクチャに基づいたシーケンシャルなレコメンデーションのための効果的なモデルである。 BERT4Recの結果はこれらの出版物では一致していない。 本稿では,Hugging Face Transformersライブラリに基づくBERT4Recの実装を提案する。
  論文  参考訳（メタデータ） (2022-07-15T14:09:04Z)
• Using calibrator to improve robustness in Machine Reading Comprehension [18.844528744164876]
  ポストホックリランカとしてキャリブレータを用いてロバスト性を向上させる手法を提案する。 敵対的データセットを用いた実験結果から,我々のモデルは10%以上の性能向上を達成できることがわかった。
  論文  参考訳（メタデータ） (2022-02-24T02:16:42Z)
• SPLADE v2: Sparse Lexical and Expansion Model for Information Retrieval [11.38022203865326]
  SPLADEモデルは、最先端の高密度かつスパースなアプローチに関して、高度にスパースな表現と競争結果を提供する。 我々は、プール機構を変更し、文書拡張のみに基づいてモデルをベンチマークし、蒸留で訓練されたモデルを導入する。 全体として、SPLADEはTREC DL 2019のNDCG@10で9ドル以上のゲインで大幅に改善され、BEIRベンチマークで最先端の結果が得られた。
  論文  参考訳（メタデータ） (2021-09-21T10:43:42Z)
• S^3-Rec: Self-Supervised Learning for Sequential Recommendation with Mutual Information Maximization [104.87483578308526]
  本稿では,シーケンスレコメンデーションのための自己改善学習のためのモデルS3-Recを提案する。 そこで本稿では,属性,項目,サブシーケンス,シーケンス間の相関関係を学習するために,4つの補助的自己教師対象を考案する。 6つの実世界のデータセットで実施された大規模な実験は、既存の最先端手法よりも提案手法が優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-18T11:44:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。