論文の概要: Pre-trained Language Model and Knowledge Distillation for Lightweight Sequential Recommendation
- arxiv url: http://arxiv.org/abs/2409.14810v1
- Date: Mon, 23 Sep 2024 08:39:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-09-26 02:49:27.215194
- Title: Pre-trained Language Model and Knowledge Distillation for Lightweight Sequential Recommendation
- Title(参考訳): 軽量シーケンスレコメンデーションのための事前学習言語モデルと知識蒸留
- Authors: Li Li, Mingyue Cheng, Zhiding Liu, Hao Zhang, Qi Liu, Enhong Chen,
- Abstract要約: 本稿では,事前学習言語モデルと知識蒸留に基づく逐次推薦アルゴリズムを提案する。
提案アルゴリズムは,推薦精度を高め,タイムリーな推薦サービスを提供する。
- 参考スコア(独自算出の注目度): 51.25461871988366
- License:
- Abstract: Sequential recommendation models user interests based on historical behaviors to provide personalized recommendation. Previous sequential recommendation algorithms primarily employ neural networks to extract features of user interests, achieving good performance. However, due to the recommendation system datasets sparsity, these algorithms often employ small-scale network frameworks, resulting in weaker generalization capability. Recently, a series of sequential recommendation algorithms based on large pre-trained language models have been proposed. Nonetheless, given the real-time demands of recommendation systems, the challenge remains in applying pre-trained language models for rapid recommendations in real scenarios. To address this, we propose a sequential recommendation algorithm based on a pre-trained language model and knowledge distillation. The key of proposed algorithm is to transfer pre-trained knowledge across domains and achieve lightweight inference by knowledge distillation. The algorithm operates in two stages: in the first stage, we fine-tune the pre-trained language model on the recommendation dataset to transfer the pre-trained knowledge to the recommendation task; in the second stage, we distill the trained language model to transfer the learned knowledge to a lightweight model. Extensive experiments on multiple public recommendation datasets show that the proposed algorithm enhances recommendation accuracy and provide timely recommendation services.
- Abstract(参考訳): シーケンシャルレコメンデーションは、パーソナライズされたレコメンデーションを提供するために、過去の行動に基づいてユーザーの興味をモデル化する。
従来のシーケンシャルレコメンデーションアルゴリズムは、主にニューラルネットワークを使用して、ユーザの興味のある特徴を抽出し、優れたパフォーマンスを達成する。
しかし,提案方式のデータセットが分散しているため,これらのアルゴリズムは小規模なネットワークフレームワークを使用することが多く,一般化能力の低下を招きかねない。
近年,大規模な事前学習言語モデルに基づく一連のレコメンデーションアルゴリズムが提案されている。
それでも、レコメンデーションシステムのリアルタイム要求を考えると、実際のシナリオで迅速なレコメンデーションのために事前訓練された言語モデルを適用することが課題である。
そこで本研究では,事前学習言語モデルと知識蒸留に基づく逐次レコメンデーションアルゴリズムを提案する。
提案アルゴリズムの鍵は、訓練済みの知識をドメイン間で伝達し、知識蒸留による軽量な推論を実現することである。
第1段階では,事前学習された知識を推薦タスクに転送するために,事前学習された言語モデルを微調整し,第2段階では,学習した知識を軽量なモデルに転送するために,訓練された言語モデルを蒸留する。
複数のパブリックレコメンデーションデータセットに対する大規模な実験は、提案アルゴリズムがレコメンデーション精度を高め、タイムリーなレコメンデーションサービスを提供することを示している。
関連論文リスト
- Informed Spectral Normalized Gaussian Processes for Trajectory Prediction [0.0]
本稿では,SNGPの正規化に基づく連続学習手法を提案する。
提案手法は確立された手法に基づいており,リハーサルメモリやパラメータ拡張を必要としない。
本研究では, 自律運転における軌道予測問題に対する情報SNGPモデルの適用について検討した。
論文 参考訳(メタデータ) (2024-03-18T17:05:24Z) - Reformulating Sequential Recommendation: Learning Dynamic User Interest with Content-enriched Language Modeling [18.297332953450514]
本稿では、事前学習した言語モデルの意味理解機能を活用してパーソナライズされたレコメンデーションを生成するLANCERを提案する。
我々のアプローチは、言語モデルとレコメンデーションシステムの間のギャップを埋め、より人間的なレコメンデーションを生み出します。
論文 参考訳(メタデータ) (2023-09-19T08:54:47Z) - Decoupled Training for Long-Tailed Classification With Stochastic
Representations [15.990318581975435]
表現学習と学習の分離は,長期データを用いた分類に有効であることが示されている。
まず、ディープニューラルネットワークの一般化を改善するための最適化手法であるウェイト平均化(SWA)を適用し、長い尾の分類のためのより優れた一般化特徴抽出器を得る。
そこで我々は,SWA-Gaussian,Gaussian SWA,および自己蒸留戦略から得られた摂動表現に基づく新しい分類器再学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-04-19T05:35:09Z) - The Wisdom of Hindsight Makes Language Models Better Instruction
Followers [84.9120606803906]
強化学習は、人間のフィードバックによる指示に合うように、大きな言語モデルを微調整することに成功している。
そこで本稿では,本論文で提案するアプローチとして,原文を緩和することでフィードバックを指導に変換する手法と,教師付き手法によるアライメント向上のためのモデルをトレーニングする手法を提案する。
言語モデルと命令を整合させる新しいアルゴリズムであるHIR(Hindsight Instruction Relabeling)を提案する。
論文 参考訳(メタデータ) (2023-02-10T12:16:38Z) - Personalized Prompt Learning for Explainable Recommendation [46.69922623691051]
本稿では,正規化としての逐次チューニングとレコメンデーションという2つのトレーニング戦略を提案する。
当社の継続的プロンプト学習アプローチは、説明可能な推奨の3つのデータセットの強いベースラインを一貫して上回ります。
論文 参考訳(メタデータ) (2022-02-15T12:53:52Z) - D2RLIR : an improved and diversified ranking function in interactive
recommendation systems based on deep reinforcement learning [0.3058685580689604]
本稿では,アクタ・クリティカルアーキテクチャを用いた深層強化学習に基づく推薦システムを提案する。
提案モデルでは,ユーザの嗜好に基づいて,多様かつ関連性の高いレコメンデーションリストを生成することができる。
論文 参考訳(メタデータ) (2021-10-28T13:11:29Z) - A Survey on Neural Recommendation: From Collaborative Filtering to
Content and Context Enriched Recommendation [70.69134448863483]
レコメンデーションの研究は、ニューラルネットワークに基づく新しいレコメンダーモデルの発明にシフトした。
近年,神経リコメンデータモデルの開発が著しい進展を遂げている。
論文 参考訳(メタデータ) (2021-04-27T08:03:52Z) - S^3-Rec: Self-Supervised Learning for Sequential Recommendation with
Mutual Information Maximization [104.87483578308526]
本稿では,シーケンスレコメンデーションのための自己改善学習のためのモデルS3-Recを提案する。
そこで本稿では,属性,項目,サブシーケンス,シーケンス間の相関関係を学習するために,4つの補助的自己教師対象を考案する。
6つの実世界のデータセットで実施された大規模な実験は、既存の最先端手法よりも提案手法が優れていることを示す。
論文 参考訳(メタデータ) (2020-08-18T11:44:10Z) - Sequential Recommendation with Self-Attentive Multi-Adversarial Network [101.25533520688654]
逐次レコメンデーションにおける文脈情報の影響を明示的にモデル化するためのMFGAN(Multi-Factor Generative Adversarial Network)を提案する。
当社のフレームワークは,複数種類の因子情報を組み込むことが柔軟であり,各因子が推奨決定にどのように貢献するかを時間とともに追跡することができる。
論文 参考訳(メタデータ) (2020-05-21T12:28:59Z) - Recall and Learn: Fine-tuning Deep Pretrained Language Models with Less
Forgetting [66.45372974713189]
本稿では,マルチタスク学習の概念を取り入れたリコール・アンド・ラーニング機構を提案し,事前学習タスクと下流タスクを共同で学習する。
実験により,本手法はGLUEベンチマークの最先端性能を実現することが示された。
我々はオープンソースのRecAdamを提供し、提案されたメカニズムをAdamに統合し、NLPコミュニティを施設化する。
論文 参考訳(メタデータ) (2020-04-27T08:59:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。