論文の概要: StackRec: Efficient Training of Very Deep Sequential Recommender Models by Layer Stacking

• arxiv url: http://arxiv.org/abs/2012.07598v1
• Date: Mon, 14 Dec 2020 14:41:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-08 14:16:19.816957
• Title: StackRec: Efficient Training of Very Deep Sequential Recommender Models by Layer Stacking
• Title（参考訳）: StackRec: 層積み重ねによる非常に深いシーケンスレコメンダモデルの効率的なトレーニング
• Authors: Jiachun Wang, Fajie Yuan, Jian Chen, Qingyao Wu, Chengmin Li, Min Yang, Yang Sun and Guoxiao Zhang
• Abstract要約: 層スタッキングによる深層SRモデルのためのシンプルで非常に効率的なトレーニングフレームワークであるStackRecを紹介します。 まず、よく訓練された深層SRモデルにおける残留層/ブロックが同様の分布を有するという重要な洞察を提供する。 そこで本研究では,事前学習した残存層/ブロックを段階的に積み重ね,より深く,より訓練しやすいSRモデルを提案する。
• 参考スコア（独自算出の注目度）: 34.46361802163175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning has brought great progress for the sequential recommendation (SR) tasks. With the structure of advanced residual networks, sequential recommender models can be stacked with many hidden layers, e.g., up to 100 layers on real-world SR datasets. Training such a deep network requires expensive computation and longer training time, especially in situations when there are tens of billions of user-item interactions. To deal with such a challenge, we present StackRec, a simple but very efficient training framework for deep SR models by layer stacking. Specifically, we first offer an important insight that residual layers/blocks in a well-trained deep SR model have similar distribution. Enlightened by this, we propose progressively stacking such pre-trained residual layers/blocks so as to yield a deeper but easier-to-train SR model. We validate the proposed StackRec by instantiating with two state-of-the-art SR models in three practical scenarios and real-world datasets. Extensive experiments show that StackRec achieves not only comparable performance, but also significant acceleration in training time, compared to SR models that are trained from scratch.
• Abstract（参考訳）: ディープラーニングは、逐次レコメンデーション(SR)タスクに大きな進歩をもたらした。 高度な残余ネットワークの構造により、シーケンシャルレコメンダモデルは、現実世界のSRデータセット上に最大100層まで隠された多くの層で積み重ねることができる。 このような深層ネットワークのトレーニングには、高価な計算と長いトレーニング時間が必要である。 このような課題に対処するため,層積み重ねによる深部SRモデルの簡易かつ極めて効率的なトレーニングフレームワークStackRecを提案する。 具体的には、よく訓練された深部SRモデルの残層/ブロックが類似した分布を持つことを示す。 そこで本研究では,事前学習した残層/ブロックを徐々に積み重ねて,より深く,より訓練しやすいSRモデルを提案する。 提案したStackRecは、3つの現実シナリオと実世界のデータセットで2つの最先端SRモデルを用いてインスタンス化することで検証する。 大規模な実験によると、StackRecは、スクラッチからトレーニングされたSRモデルと比較して、同等のパフォーマンスだけでなく、トレーニング時間の大幅な加速を実現している。

関連論文リスト

• SimRec: Mitigating the Cold-Start Problem in Sequential Recommendation by Integrating Item Similarity [3.5297361401370044]
  SimRecはシーケンシャルレコメンデーションシステムにおけるコールドスタート問題を緩和するための新しいアプローチである。 カスタマイズされた損失関数を通じて、アイテムの類似性をトレーニングプロセスに組み込む。 SimRecはSASRecに比べて最大78%高いHR@10を達成する。
  論文  参考訳（メタデータ） (2024-10-29T15:32:36Z)
• Efficient Training of Sparse Autoencoders for Large Language Models via Layer Groups [0.0]
  本研究では,各層ごとにトレーニングされたSAEの数を,各層ごとに1つに減らした新たなトレーニング戦略を提案する。 Pythia 160Mの実験結果から,下流タスクの再現性や性能を損なうことなく,最大6倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-10-28T20:23:30Z)
• Maestro: Uncovering Low-Rank Structures via Trainable Decomposition [15.254107731735553]
  近年、ディープニューラルネットワーク(DNN)はAIのブレークスルーの大きな要因となっている。 より正確で安全になるにつれて、ますます大きなものになってきています。 つまり、トレーニングはますますコストと時間がかかります。 トレーニング可能な低ランク層のためのフレームワークであるMaestroを提案する。
  論文  参考訳（メタデータ） (2023-08-28T23:08:15Z)
• Boosting Low-Data Instance Segmentation by Unsupervised Pre-training with Saliency Prompt [103.58323875748427]
  この研究は、低データ体制のための新しい教師なし事前学習ソリューションを提供する。 近年のPrompting技術の成功に触発されて,QEISモデルを強化した新しい事前学習手法を導入する。 実験結果から,本手法は3つのデータセット上でのいくつかのQEISモデルを大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2023-02-02T15:49:03Z)
• Effective and Efficient Training for Sequential Recommendation using Recency Sampling [91.02268704681124]
  本稿では,新しいRecency-based Smpling of Sequencesトレーニング目標を提案する。 提案手法により拡張されたモデルにより,最先端のBERT4Recに近い性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-06T13:06:31Z)
• RepSR: Training Efficient VGG-style Super-Resolution Networks with Structural Re-Parameterization and Batch Normalization [30.927648867624498]
  本稿では,構造的再パラメータ化手法を用いて,効率的なVGG型超解像(SR)ネットワークのトレーニングについて検討する。 バッチ正規化(BN)は、トレーニングの非線形性をもたらし、最終的なパフォーマンスを改善するために重要である。 特に、我々はまず、通常通りミニバッチ統計を用いたSRネットワークを訓練し、その後、人口統計を使用するように切り替える。
  論文  参考訳（メタデータ） (2022-05-11T17:55:49Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• Train your classifier first: Cascade Neural Networks Training from upper layers to lower layers [54.47911829539919]
  我々は,高品質な分類器を探索するアルゴリズムとして見ることのできる,新しいトップダウン学習手法を開発した。 本研究では,自動音声認識(ASR)タスクと言語モデリングタスクについて検討した。 提案手法は,Wall Street Journal 上でのリカレントニューラルネットワーク ASR モデル,Switchboard 上での自己注意型 ASR モデル,WikiText-2 上での AWD-LSTM 言語モデルなど,一貫して改善されている。
  論文  参考訳（メタデータ） (2021-02-09T08:19:49Z)
• A Generic Network Compression Framework for Sequential Recommender Systems [71.81962915192022]
  シークエンシャルレコメンデーションシステム(SRS)は,ユーザの動的関心を捉え,高品質なレコメンデーションを生成する上で重要な技術となっている。 CpRecと呼ばれる圧縮されたシーケンシャルレコメンデーションフレームワークを提案する。 大規模なアブレーション研究により、提案したCpRecは実世界のSRSデータセットにおいて最大4$sim$8倍の圧縮速度を達成できることを示した。
  論文  参考訳（メタデータ） (2020-04-21T08:40:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。