論文の概要: Effective and Efficient Training for Sequential Recommendation using
Recency Sampling
- arxiv url: http://arxiv.org/abs/2207.02643v1
- Date: Wed, 6 Jul 2022 13:06:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-07 18:27:02.588345
- Title: Effective and Efficient Training for Sequential Recommendation using
Recency Sampling
- Title(参考訳): 周波数サンプリングを用いたシーケンスレコメンデーションの効果的かつ効率的なトレーニング
- Authors: Aleksandr Petrov and Craig Macdonald
- Abstract要約: 本稿では,新しいRecency-based Smpling of Sequencesトレーニング目標を提案する。
提案手法により拡張されたモデルにより,最先端のBERT4Recに近い性能が得られることを示す。
- 参考スコア(独自算出の注目度): 91.02268704681124
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many modern sequential recommender systems use deep neural networks, which
can effectively estimate the relevance of items but require a lot of time to
train. Slow training increases expenses, hinders product development timescales
and prevents the model from being regularly updated to adapt to changing user
preferences. Training such sequential models involves appropriately sampling
past user interactions to create a realistic training objective. The existing
training objectives have limitations. For instance, next item prediction never
uses the beginning of the sequence as a learning target, thereby potentially
discarding valuable data. On the other hand, the item masking used by BERT4Rec
is only weakly related to the goal of the sequential recommendation; therefore,
it requires much more time to obtain an effective model. Hence, we propose a
novel Recency-based Sampling of Sequences training objective that addresses
both limitations. We apply our method to various recent and state-of-the-art
model architectures - such as GRU4Rec, Caser, and SASRec. We show that the
models enhanced with our method can achieve performances exceeding or very
close to stateof-the-art BERT4Rec, but with much less training time.
- Abstract(参考訳): 現代のシーケンシャルレコメンダシステムはディープニューラルネットワークを使用して、アイテムの関連性を効果的に見積もるが、トレーニングに多くの時間を要する。
スロートレーニングはコストを増大させ、製品開発のタイムスケールを妨げ、モデルを定期的に更新してユーザの好みを変えるのを防ぐ。
このような逐次モデルをトレーニングするには、過去のユーザインタラクションを適切にサンプリングして、現実的なトレーニング目標を作成する必要がある。
既存の訓練には限界がある。
例えば、次の項目の予測は、学習対象としてシーケンスの開始を決して使わないため、価値あるデータを破棄する可能性がある。
一方、BERT4Recが使用するアイテムマスキングは、シーケンシャルレコメンデーションの目標と弱い関係しかなく、効果的なモデルを得るのに多くの時間を要する。
そこで本研究では,両方の制約に対処するRecency-based Smpling of Sequencesトレーニング目標を提案する。
本稿では, GRU4Rec, Caser, SASRec などの最新かつ最先端のモデルアーキテクチャに適用する。
提案手法により強化されたモデルでは,最先端のBERT4Recに近い性能を達成できるが,トレーニング時間ははるかに少ない。
関連論文リスト
- Always-Sparse Training by Growing Connections with Guided Stochastic
Exploration [46.4179239171213]
本研究では,より大規模かつスペーサーなモデルへのスケーリングに優れる,効率的な常時スパーストレーニングアルゴリズムを提案する。
我々は,VGGモデルとVTモデルを用いて,CIFAR-10/100 と ImageNet の手法を評価し,様々なスペーサー化手法と比較した。
論文 参考訳(メタデータ) (2024-01-12T21:32:04Z) - Parameter-Efficient Long-Tailed Recognition [45.238676193175976]
PELは、事前学習したモデルを20時間以内で、余分なデータを必要とせずに、長い尾の認識タスクに適応できる微調整法である。
PELは、既存のパラメータ効率の良い微調整法の設計を採用することで、少数のタスク固有のパラメータを導入している。
4つの長い尾を持つデータセットに対する実験結果は、PELが従来の最先端のアプローチを一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2023-09-18T17:50:56Z) - PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。
一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。
一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
論文 参考訳(メタデータ) (2023-09-13T17:55:11Z) - Towards More Robust and Accurate Sequential Recommendation with
Cascade-guided Adversarial Training [54.56998723843911]
シーケンシャルレコメンデーションモデルの性質に特有の2つの特性は、その堅牢性を損なう可能性がある。
本稿では,シーケンシャルレコメンデーションモデルに特化して設計された,新たな逆行訓練法であるカスケード誘導逆行訓練を提案する。
論文 参考訳(メタデータ) (2023-04-11T20:55:02Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳(メタデータ) (2023-03-20T14:12:55Z) - Intersection of Parallels as an Early Stopping Criterion [64.8387564654474]
そこで本研究では,検証セットを必要とせずに,トレーニングイテレーションの早期停止点を見つける手法を提案する。
幅広い学習率において,コサイン距離基準 (CDC) と呼ばれる手法は,比較したすべての手法よりも平均的な一般化に寄与する。
論文 参考訳(メタデータ) (2022-08-19T19:42:41Z) - WSLRec: Weakly Supervised Learning for Neural Sequential Recommendation
Models [24.455665093145818]
我々は、WSLRecと呼ばれる新しいモデルに依存しないトレーニング手法を提案し、3段階のフレームワーク(事前学習、トップ$k$マイニング、本質的、微調整)を採用する。
WSLRec は、BR や ItemCF のようなモデルフリーメソッドから、余分な弱い監督のモデルを事前訓練することで、不完全性の問題を解決すると同時に、最上位の$k のマイニングを活用して、微調整のための弱い監督の信頼性の高いユーザ・イテム関連を検査することで、不正確な問題を解消する。
論文 参考訳(メタデータ) (2022-02-28T08:55:12Z) - A Practical Incremental Method to Train Deep CTR Models [37.54660958085938]
本稿では,3つの分離モジュールからなる深部CTRモデルを訓練するための実用的なインクリメンタル手法を提案する。
提案手法は従来のバッチモード学習と同等の性能を達成でき,訓練効率も向上する。
論文 参考訳(メタデータ) (2020-09-04T12:35:42Z) - S^3-Rec: Self-Supervised Learning for Sequential Recommendation with
Mutual Information Maximization [104.87483578308526]
本稿では,シーケンスレコメンデーションのための自己改善学習のためのモデルS3-Recを提案する。
そこで本稿では,属性,項目,サブシーケンス,シーケンス間の相関関係を学習するために,4つの補助的自己教師対象を考案する。
6つの実世界のデータセットで実施された大規模な実験は、既存の最先端手法よりも提案手法が優れていることを示す。
論文 参考訳(メタデータ) (2020-08-18T11:44:10Z) - ADER: Adaptively Distilled Exemplar Replay Towards Continual Learning
for Session-based Recommendation [28.22402119581332]
セッションベースのレコメンデーションは最近、プライバシーの懸念が高まり、注目を集めている。
本稿では,従来のトレーニングサンプルを定期的に再生することで,ADER(Adaptively Distilled Exemplar Replay)と呼ばれる手法を提案する。
ADERは他のベースラインを一貫して上回り、更新サイクル毎にすべての履歴データを使用してメソッドを上回ります。
論文 参考訳(メタデータ) (2020-07-23T13:19:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。