論文の概要: StackRec: Efficient Training of Very Deep Sequential Recommender Models
by Layer Stacking
- arxiv url: http://arxiv.org/abs/2012.07598v1
- Date: Mon, 14 Dec 2020 14:41:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-08 14:16:19.816957
- Title: StackRec: Efficient Training of Very Deep Sequential Recommender Models
by Layer Stacking
- Title(参考訳): StackRec: 層積み重ねによる非常に深いシーケンスレコメンダモデルの効率的なトレーニング
- Authors: Jiachun Wang, Fajie Yuan, Jian Chen, Qingyao Wu, Chengmin Li, Min
Yang, Yang Sun and Guoxiao Zhang
- Abstract要約: 層スタッキングによる深層SRモデルのためのシンプルで非常に効率的なトレーニングフレームワークであるStackRecを紹介します。
まず、よく訓練された深層SRモデルにおける残留層/ブロックが同様の分布を有するという重要な洞察を提供する。
そこで本研究では,事前学習した残存層/ブロックを段階的に積み重ね,より深く,より訓練しやすいSRモデルを提案する。
- 参考スコア(独自算出の注目度): 34.46361802163175
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning has brought great progress for the sequential recommendation
(SR) tasks. With the structure of advanced residual networks, sequential
recommender models can be stacked with many hidden layers, e.g., up to 100
layers on real-world SR datasets. Training such a deep network requires
expensive computation and longer training time, especially in situations when
there are tens of billions of user-item interactions. To deal with such a
challenge, we present StackRec, a simple but very efficient training framework
for deep SR models by layer stacking. Specifically, we first offer an important
insight that residual layers/blocks in a well-trained deep SR model have
similar distribution. Enlightened by this, we propose progressively stacking
such pre-trained residual layers/blocks so as to yield a deeper but
easier-to-train SR model. We validate the proposed StackRec by instantiating
with two state-of-the-art SR models in three practical scenarios and real-world
datasets. Extensive experiments show that StackRec achieves not only comparable
performance, but also significant acceleration in training time, compared to SR
models that are trained from scratch.
- Abstract(参考訳): ディープラーニングは、逐次レコメンデーション(SR)タスクに大きな進歩をもたらした。
高度な残余ネットワークの構造により、シーケンシャルレコメンダモデルは、現実世界のSRデータセット上に最大100層まで隠された多くの層で積み重ねることができる。
このような深層ネットワークのトレーニングには、高価な計算と長いトレーニング時間が必要である。
このような課題に対処するため,層積み重ねによる深部SRモデルの簡易かつ極めて効率的なトレーニングフレームワークStackRecを提案する。
具体的には、よく訓練された深部SRモデルの残層/ブロックが類似した分布を持つことを示す。
そこで本研究では,事前学習した残層/ブロックを徐々に積み重ねて,より深く,より訓練しやすいSRモデルを提案する。
提案したStackRecは、3つの現実シナリオと実世界のデータセットで2つの最先端SRモデルを用いてインスタンス化することで検証する。
大規模な実験によると、StackRecは、スクラッチからトレーニングされたSRモデルと比較して、同等のパフォーマンスだけでなく、トレーニング時間の大幅な加速を実現している。
関連論文リスト
- Maestro: Uncovering Low-Rank Structures via Trainable Decomposition [16.664016849293386]
我々は,Deep Neural Networks(DNN)におけるトレーニング可能な低ランク層のためのフレームワークMaestroを提案する。
提案手法は,一様分散データ上での線形写像のSVD分解と,線形オートエンコーダのPCAを復元することを示した。
論文 参考訳(メタデータ) (2023-08-28T23:08:15Z) - Boosting Low-Data Instance Segmentation by Unsupervised Pre-training
with Saliency Prompt [103.58323875748427]
この研究は、低データ体制のための新しい教師なし事前学習ソリューションを提供する。
近年のPrompting技術の成功に触発されて,QEISモデルを強化した新しい事前学習手法を導入する。
実験結果から,本手法は3つのデータセット上でのいくつかのQEISモデルを大幅に向上させることが示された。
論文 参考訳(メタデータ) (2023-02-02T15:49:03Z) - Effective and Efficient Training for Sequential Recommendation using
Recency Sampling [91.02268704681124]
本稿では,新しいRecency-based Smpling of Sequencesトレーニング目標を提案する。
提案手法により拡張されたモデルにより,最先端のBERT4Recに近い性能が得られることを示す。
論文 参考訳(メタデータ) (2022-07-06T13:06:31Z) - RepSR: Training Efficient VGG-style Super-Resolution Networks with
Structural Re-Parameterization and Batch Normalization [30.927648867624498]
本稿では,構造的再パラメータ化手法を用いて,効率的なVGG型超解像(SR)ネットワークのトレーニングについて検討する。
バッチ正規化(BN)は、トレーニングの非線形性をもたらし、最終的なパフォーマンスを改善するために重要である。
特に、我々はまず、通常通りミニバッチ統計を用いたSRネットワークを訓練し、その後、人口統計を使用するように切り替える。
論文 参考訳(メタデータ) (2022-05-11T17:55:49Z) - Continual Learning with Recursive Gradient Optimization [20.166372047414093]
RGOは反復的に更新された勾配で構成されており、データ再生なしで忘れを最小化するために勾配を変更する。
実験により、RGOは人気のある連続分類ベンチマークで大幅に性能が向上したことが示された。
論文 参考訳(メタデータ) (2022-01-29T07:50:43Z) - Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。
本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。
実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文 参考訳(メタデータ) (2021-06-06T00:04:49Z) - Train your classifier first: Cascade Neural Networks Training from upper
layers to lower layers [54.47911829539919]
我々は,高品質な分類器を探索するアルゴリズムとして見ることのできる,新しいトップダウン学習手法を開発した。
本研究では,自動音声認識(ASR)タスクと言語モデリングタスクについて検討した。
提案手法は,Wall Street Journal 上でのリカレントニューラルネットワーク ASR モデル,Switchboard 上での自己注意型 ASR モデル,WikiText-2 上での AWD-LSTM 言語モデルなど,一貫して改善されている。
論文 参考訳(メタデータ) (2021-02-09T08:19:49Z) - A Practical Incremental Method to Train Deep CTR Models [37.54660958085938]
本稿では,3つの分離モジュールからなる深部CTRモデルを訓練するための実用的なインクリメンタル手法を提案する。
提案手法は従来のバッチモード学習と同等の性能を達成でき,訓練効率も向上する。
論文 参考訳(メタデータ) (2020-09-04T12:35:42Z) - A Generic Network Compression Framework for Sequential Recommender
Systems [71.81962915192022]
シークエンシャルレコメンデーションシステム(SRS)は,ユーザの動的関心を捉え,高品質なレコメンデーションを生成する上で重要な技術となっている。
CpRecと呼ばれる圧縮されたシーケンシャルレコメンデーションフレームワークを提案する。
大規模なアブレーション研究により、提案したCpRecは実世界のSRSデータセットにおいて最大4$sim$8倍の圧縮速度を達成できることを示した。
論文 参考訳(メタデータ) (2020-04-21T08:40:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。