論文の概要: Effective and Efficient Training for Sequential Recommendation Using
Cumulative Cross-Entropy Loss
- arxiv url: http://arxiv.org/abs/2301.00979v1
- Date: Tue, 3 Jan 2023 07:18:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-04 15:16:59.726459
- Title: Effective and Efficient Training for Sequential Recommendation Using
Cumulative Cross-Entropy Loss
- Title（参考訳）: 累積クロスエントロピー損失を用いたシーケンスレコメンデーションの効果的かつ効率的なトレーニング
- Authors: Fangyu Li and Shenbao Yu and Feng Zeng and Fang Yang
- Abstract要約: 累積クロスエントロピー(CCE)損失を列上で計算する。
CCEはシンプルで直接的であり、痛みのないデプロイメントの美徳、ネガティブなサンプリングなし、効果的で効率的なトレーニングを楽しむ。
その結果、3つの最先端モデルGRU4Rec、SASRec、S3-RecのCCE損失は、それぞれ125.63%、69.90%、33.24%のフルランクのNDCG@5に到達した。
- 参考スコア（独自算出の注目度）: 9.573139673704766
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Increasing research interests focus on sequential recommender systems, aiming
to model dynamic sequence representation precisely. However, the most commonly
used loss function in state-of-the-art sequential recommendation models has
essential limitations. To name a few, Bayesian Personalized Ranking (BPR) loss
suffers the vanishing gradient problem from numerous negative sampling and
predictionbiases; Binary Cross-Entropy (BCE) loss subjects to negative sampling
numbers, thereby it is likely to ignore valuable negative examples and reduce
the training efficiency; Cross-Entropy (CE) loss only focuses on the last
timestamp of the training sequence, which causes low utilization of sequence
information and results in inferior user sequence representation. To avoid
these limitations, in this paper, we propose to calculate Cumulative
Cross-Entropy (CCE) loss over the sequence. CCE is simple and direct, which
enjoys the virtues of painless deployment, no negative sampling, and effective
and efficient training. We conduct extensive experiments on five benchmark
datasets to demonstrate the effectiveness and efficiency of CCE. The results
show that employing CCE loss on three state-of-the-art models GRU4Rec, SASRec,
and S3-Rec can reach 125.63%, 69.90%, and 33.24% average improvement of full
ranking NDCG@5, respectively. Using CCE, the performance curve of the models on
the test data increases rapidly with the wall clock time, and is superior to
that of other loss functions in almost the whole process of model training.
- Abstract（参考訳）: 研究関心の高まりは、動的シーケンス表現を正確にモデル化することを目的として、シーケンシャルレコメンデーションシステムに焦点を当てている。
しかし、最先端のシーケンシャルレコメンデーションモデルにおける最もよく使われる損失関数には、必須の制限がある。
To name a few, Bayesian Personalized Ranking (BPR) loss suffers the vanishing gradient problem from numerous negative sampling and predictionbiases; Binary Cross-Entropy (BCE) loss subjects to negative sampling numbers, thereby it is likely to ignore valuable negative examples and reduce the training efficiency; Cross-Entropy (CE) loss only focuses on the last timestamp of the training sequence, which causes low utilization of sequence information and results in inferior user sequence representation.
本稿では,これらの制限を回避するために,列上の累積クロスエントロピー(CCE)損失を計算することを提案する。
CCEはシンプルで直接的であり、痛みのないデプロイメント、ネガティブサンプリングなし、効果的で効率的なトレーニングを楽しむ。
CCEの有効性と効率を実証するために,5つのベンチマークデータセットについて広範な実験を行った。
その結果、3つの最先端モデルGRU4Rec、SASRec、S3-RecのCCE損失は、それぞれ125.63%、69.90%、33.24%のフルランクのNDCG@5に到達した。
CCEを用いて、テストデータ上のモデルの性能曲線は、壁時計時間とともに急速に増加し、モデルトレーニングのほぼ全過程において、他の損失関数よりも優れている。
関連論文リスト
- Aligning GPTRec with Beyond-Accuracy Goals with Reinforcement Learning [67.71952251641545]
GPTRecはアイテム・バイ・イテムレコメンデーションのためのTop-Kモデルの代替品である。
GPTRecは,従来のグリーディ・リグレード手法よりも精度とセカンダリ・メトリクスのトレードオフが優れていることを示す。
2つのデータセットに対する実験により、GPTRecのNext-K生成アプローチは、古典的なグリージーな再ランク技術よりも精度と二次メトリクスのトレードオフが優れていることが示された。
論文 参考訳（メタデータ） (2024-03-07T19:47:48Z) - Efficient Grammatical Error Correction Via Multi-Task Training and
Optimized Training Schedule [55.08778142798106]
原文と修正文のアライメントを利用する補助タスクを提案する。
我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。
トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
論文 参考訳（メタデータ） (2023-11-20T14:50:12Z) - Turning Dross Into Gold Loss: is BERT4Rec really better than SASRec? [1.223779595809275]
最先端の2つのベースラインはTransformerベースのモデルSASRecとBERT4Recである。
ほとんどの出版物では、BERT4RecはSASRecよりも優れたパフォーマンスを実現している。
SASRec は BERT4Rec より優れているが, 負のサンプルの数は 1 よりはるかに多いはずである。
論文 参考訳（メタデータ） (2023-09-14T11:07:10Z) - gSASRec: Reducing Overconfidence in Sequential Recommendation Trained
with Negative Sampling [67.71952251641545]
負のサンプリングで訓練されたモデルは、正の相互作用の確率を過大評価する傾向がある。
本稿では, 一般化二項クロスエントロピー損失関数(gBCE)を提案する。
本稿では,gSASRecが過信問題を示さない3つのデータセットについて詳細な実験を行った。
論文 参考訳（メタデータ） (2023-08-14T14:56:40Z) - Scaling Relationship on Learning Mathematical Reasoning with Large
Language Models [75.29595679428105]
本研究では,事前学習損失,教師付きデータ量,拡張データ量が教師付きLDMの推論性能に与える影響について検討する。
複数のモデルからの拒絶サンプルは、LLaMA-7BをGSM8Kの49.3%の精度に押し上げ、監督された微調整(SFT)の精度を35.9%上回る結果となった。
論文 参考訳（メタデータ） (2023-08-03T15:34:01Z) - A Systematic Review and Replicability Study of BERT4Rec for Sequential
Recommendation [91.02268704681124]
BERT4RecはTransformerアーキテクチャに基づいたシーケンシャルなレコメンデーションのための効果的なモデルである。
BERT4Recの結果はこれらの出版物では一致していない。
本稿では,Hugging Face Transformersライブラリに基づくBERT4Recの実装を提案する。
論文 参考訳（メタデータ） (2022-07-15T14:09:04Z) - Using calibrator to improve robustness in Machine Reading Comprehension [18.844528744164876]
ポストホックリランカとしてキャリブレータを用いてロバスト性を向上させる手法を提案する。
敵対的データセットを用いた実験結果から,我々のモデルは10%以上の性能向上を達成できることがわかった。
論文 参考訳（メタデータ） (2022-02-24T02:16:42Z) - SPLADE v2: Sparse Lexical and Expansion Model for Information Retrieval [11.38022203865326]
SPLADEモデルは、最先端の高密度かつスパースなアプローチに関して、高度にスパースな表現と競争結果を提供する。
我々は、プール機構を変更し、文書拡張のみに基づいてモデルをベンチマークし、蒸留で訓練されたモデルを導入する。
全体として、SPLADEはTREC DL 2019のNDCG@10で9ドル以上のゲインで大幅に改善され、BEIRベンチマークで最先端の結果が得られた。
論文 参考訳（メタデータ） (2021-09-21T10:43:42Z) - S^3-Rec: Self-Supervised Learning for Sequential Recommendation with
Mutual Information Maximization [104.87483578308526]
本稿では,シーケンスレコメンデーションのための自己改善学習のためのモデルS3-Recを提案する。
そこで本稿では,属性,項目,サブシーケンス,シーケンス間の相関関係を学習するために,4つの補助的自己教師対象を考案する。
6つの実世界のデータセットで実施された大規模な実験は、既存の最先端手法よりも提案手法が優れていることを示す。
論文 参考訳（メタデータ） (2020-08-18T11:44:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。