論文の概要: Pre-trained Language Model and Knowledge Distillation for Lightweight Sequential Recommendation
- arxiv url: http://arxiv.org/abs/2409.14810v1
- Date: Mon, 23 Sep 2024 08:39:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-06 21:01:15.755901
- Title: Pre-trained Language Model and Knowledge Distillation for Lightweight Sequential Recommendation
- Title（参考訳）: 軽量シーケンスレコメンデーションのための事前学習言語モデルと知識蒸留
- Authors: Li Li, Mingyue Cheng, Zhiding Liu, Hao Zhang, Qi Liu, Enhong Chen,
- Abstract要約: 本稿では,事前学習言語モデルと知識蒸留に基づく逐次推薦アルゴリズムを提案する。
提案アルゴリズムは,推薦精度を高め,タイムリーな推薦サービスを提供する。
- 参考スコア（独自算出の注目度）: 51.25461871988366
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sequential recommendation models user interests based on historical behaviors to provide personalized recommendation. Previous sequential recommendation algorithms primarily employ neural networks to extract features of user interests, achieving good performance. However, due to the recommendation system datasets sparsity, these algorithms often employ small-scale network frameworks, resulting in weaker generalization capability. Recently, a series of sequential recommendation algorithms based on large pre-trained language models have been proposed. Nonetheless, given the real-time demands of recommendation systems, the challenge remains in applying pre-trained language models for rapid recommendations in real scenarios. To address this, we propose a sequential recommendation algorithm based on a pre-trained language model and knowledge distillation. The key of proposed algorithm is to transfer pre-trained knowledge across domains and achieve lightweight inference by knowledge distillation. The algorithm operates in two stages: in the first stage, we fine-tune the pre-trained language model on the recommendation dataset to transfer the pre-trained knowledge to the recommendation task; in the second stage, we distill the trained language model to transfer the learned knowledge to a lightweight model. Extensive experiments on multiple public recommendation datasets show that the proposed algorithm enhances recommendation accuracy and provide timely recommendation services.
- Abstract（参考訳）: シーケンシャルレコメンデーションは、パーソナライズされたレコメンデーションを提供するために、過去の行動に基づいてユーザーの興味をモデル化する。
従来のシーケンシャルレコメンデーションアルゴリズムは、主にニューラルネットワークを使用して、ユーザの興味のある特徴を抽出し、優れたパフォーマンスを達成する。
しかし,提案方式のデータセットが分散しているため,これらのアルゴリズムは小規模なネットワークフレームワークを使用することが多く,一般化能力の低下を招きかねない。
近年,大規模な事前学習言語モデルに基づく一連のレコメンデーションアルゴリズムが提案されている。
それでも、レコメンデーションシステムのリアルタイム要求を考えると、実際のシナリオで迅速なレコメンデーションのために事前訓練された言語モデルを適用することが課題である。
そこで本研究では,事前学習言語モデルと知識蒸留に基づく逐次レコメンデーションアルゴリズムを提案する。
提案アルゴリズムの鍵は、訓練済みの知識をドメイン間で伝達し、知識蒸留による軽量な推論を実現することである。
第1段階では,事前学習された知識を推薦タスクに転送するために,事前学習された言語モデルを微調整し,第2段階では,学習した知識を軽量なモデルに転送するために,訓練された言語モデルを蒸留する。
複数のパブリックレコメンデーションデータセットに対する大規模な実験は、提案アルゴリズムがレコメンデーション精度を高め、タイムリーなレコメンデーションサービスを提供することを示している。
関連論文リスト
- Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。
事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。
次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
論文 参考訳（メタデータ） (2024-08-21T06:48:38Z) - Predictive accuracy of recommender algorithms [0.0]
ディープラーニングニューラルネットワークの適用を含む,レコメンデータシステムのさまざまなアルゴリズムが開発され,改良されている。
最近の研究報告は、異なる推奨アルゴリズムの相対的精度に関する洞察を得るために、慎重に制御された実験を行う必要があることを指摘している。
この調査では、従来の3つの推奨アルゴリズムと2つのディープラーニング(DL)アルゴリズムを組み合わせて、公開されている評価データのソースを使用して、比較精度を評価した。
論文 参考訳（メタデータ） (2024-06-26T19:25:07Z) - Informed Spectral Normalized Gaussian Processes for Trajectory Prediction [0.0]
本稿では,SNGPの正規化に基づく連続学習手法を提案する。
提案手法は確立された手法に基づいており,リハーサルメモリやパラメータ拡張を必要としない。
本研究では, 自律運転における軌道予測問題に対する情報SNGPモデルの適用について検討した。
論文 参考訳（メタデータ） (2024-03-18T17:05:24Z) - Reformulating Sequential Recommendation: Learning Dynamic User Interest with Content-enriched Language Modeling [18.297332953450514]
本稿では、事前学習した言語モデルの意味理解機能を活用してパーソナライズされたレコメンデーションを生成するLANCERを提案する。
我々のアプローチは、言語モデルとレコメンデーションシステムの間のギャップを埋め、より人間的なレコメンデーションを生み出します。
論文 参考訳（メタデータ） (2023-09-19T08:54:47Z) - The Wisdom of Hindsight Makes Language Models Better Instruction
Followers [84.9120606803906]
強化学習は、人間のフィードバックによる指示に合うように、大きな言語モデルを微調整することに成功している。
そこで本稿では,本論文で提案するアプローチとして,原文を緩和することでフィードバックを指導に変換する手法と,教師付き手法によるアライメント向上のためのモデルをトレーニングする手法を提案する。
言語モデルと命令を整合させる新しいアルゴリズムであるHIR(Hindsight Instruction Relabeling)を提案する。
論文 参考訳（メタデータ） (2023-02-10T12:16:38Z) - Personalized Prompt Learning for Explainable Recommendation [46.69922623691051]
本稿では,正規化としての逐次チューニングとレコメンデーションという2つのトレーニング戦略を提案する。
当社の継続的プロンプト学習アプローチは、説明可能な推奨の3つのデータセットの強いベースラインを一貫して上回ります。
論文 参考訳（メタデータ） (2022-02-15T12:53:52Z) - D2RLIR : an improved and diversified ranking function in interactive
recommendation systems based on deep reinforcement learning [0.3058685580689604]
本稿では,アクタ・クリティカルアーキテクチャを用いた深層強化学習に基づく推薦システムを提案する。
提案モデルでは,ユーザの嗜好に基づいて,多様かつ関連性の高いレコメンデーションリストを生成することができる。
論文 参考訳（メタデータ） (2021-10-28T13:11:29Z) - A Survey on Neural Recommendation: From Collaborative Filtering to
Content and Context Enriched Recommendation [70.69134448863483]
レコメンデーションの研究は、ニューラルネットワークに基づく新しいレコメンダーモデルの発明にシフトした。
近年,神経リコメンデータモデルの開発が著しい進展を遂げている。
論文 参考訳（メタデータ） (2021-04-27T08:03:52Z) - S^3-Rec: Self-Supervised Learning for Sequential Recommendation with
Mutual Information Maximization [104.87483578308526]
本稿では,シーケンスレコメンデーションのための自己改善学習のためのモデルS3-Recを提案する。
そこで本稿では,属性,項目,サブシーケンス,シーケンス間の相関関係を学習するために,4つの補助的自己教師対象を考案する。
6つの実世界のデータセットで実施された大規模な実験は、既存の最先端手法よりも提案手法が優れていることを示す。
論文 参考訳（メタデータ） (2020-08-18T11:44:10Z) - Sequential Recommendation with Self-Attentive Multi-Adversarial Network [101.25533520688654]
逐次レコメンデーションにおける文脈情報の影響を明示的にモデル化するためのMFGAN(Multi-Factor Generative Adversarial Network)を提案する。
当社のフレームワークは,複数種類の因子情報を組み込むことが柔軟であり,各因子が推奨決定にどのように貢献するかを時間とともに追跡することができる。
論文 参考訳（メタデータ） (2020-05-21T12:28:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。