論文の概要: Pre-train, Align, and Disentangle: Empowering Sequential Recommendation with Large Language Models

• arxiv url: http://arxiv.org/abs/2412.04107v1
• Date: Thu, 05 Dec 2024 12:17:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:41:35.725238
• Title: Pre-train, Align, and Disentangle: Empowering Sequential Recommendation with Large Language Models
• Title（参考訳）: プレトレイン,アライン,ディケンタングル:大規模言語モデルによるシーケンスレコメンデーションの強化
• Authors: Yuhao Wang, Junwei Pan, Xiangyu Zhao, Pengyue Jia, Wanyu Wang, Yuan Wang, Yue Liu, Dapeng Liu, Jie Jiang,
• Abstract要約: シーケンシャルレコメンデーション(SR)は、ユーザの歴史的インタラクションにおけるシーケンシャルな依存関係をモデル化して、その進化する関心をよりよく捉えることを目的としている。 既存のSRアプローチはコラボレーティブデータに依存しており、コールドスタート問題や準最適性能などの制限につながる。 我々は,大規模言語モデルを用いた推薦モデルを強化するために,新しい事前訓練,アライン,ディケンタングル(PAD)パラダイムを提案する。
• 参考スコア（独自算出の注目度）: 38.15316444108154
• License:
• Abstract: Sequential recommendation (SR) aims to model the sequential dependencies in users' historical interactions to better capture their evolving interests. However, existing SR approaches primarily rely on collaborative data, which leads to limitations such as the cold-start problem and sub-optimal performance. Meanwhile, despite the success of large language models (LLMs), their application in industrial recommender systems is hindered by high inference latency, inability to capture all distribution statistics, and catastrophic forgetting. To this end, we propose a novel Pre-train, Align, and Disentangle (PAD) paradigm to empower recommendation models with LLMs. Specifically, we first pre-train both the SR and LLM models to get collaborative and textual embeddings. Next, a characteristic recommendation-anchored alignment loss is proposed using multi-kernel maximum mean discrepancy with Gaussian kernels. Finally, a triple-experts architecture, consisting aligned and modality-specific experts with disentangled embeddings, is fine-tuned in a frequency-aware manner. Experiments conducted on three public datasets demonstrate the effectiveness of PAD, showing significant improvements and compatibility with various SR backbone models, especially on cold items. The implementation code and datasets will be publicly available.
• Abstract（参考訳）: シーケンシャルレコメンデーション(SR)は、ユーザの歴史的インタラクションにおけるシーケンシャルな依存関係をモデル化して、その進化する関心をよりよく捉えることを目的としている。 しかし、既存のSRアプローチは主にコラボレーティブデータに依存しており、コールドスタート問題や準最適性能などの制限が生じる。 一方,大規模言語モデル (LLMs) の成功にもかかわらず,産業レコメンデータシステムへの適用は,高い推論遅延,すべての分布統計の取得不能,壊滅的な忘れ込みなどによって妨げられている。 そこで本研究では,LLMを用いた推薦モデルを強化するために,新しいPAD(Pre-train, Align, and Disentangle)パラダイムを提案する。 具体的には、SRモデルとLLMモデルの両方を事前トレーニングして、協調的およびテキスト埋め込みを実現する。 次に、ガウスカーネルを用いたマルチカーネルの最大平均誤差を用いて、特徴的レコメンデーション・アンコレッドアライメント損失を提案する。 最後に、アンタングル埋め込みを持つアライメントとモダリティ固有の専門家で構成される三重専門家アーキテクチャを周波数認識方式で微調整する。 3つの公開データセットで実施された実験では、PADの有効性が示され、特に寒冷品において、様々なSRバックボーンモデルとの大幅な改善と互換性が示された。 実装コードとデータセットが公開される。

関連論文リスト

• Breaking Determinism: Fuzzy Modeling of Sequential Recommendation Using Discrete State Space Diffusion Model [66.91323540178739]
  シークエンシャルレコメンデーション(SR)は、ユーザーが過去の行動に基づいて興味を持つかもしれない項目を予測することを目的としている。 我々はSRを新しい情報理論の観点から再検討し、逐次モデリング手法がユーザの行動のランダム性と予測不可能性を適切に把握できないことを発見した。 ファジィ情報処理理論に触発された本論文では,制限を克服し,ユーザの関心事の進化をよりよく捉えるために,ファジィなインタラクションシーケンスの組を導入する。
  論文  参考訳（メタデータ） (2024-10-31T14:52:01Z)
• DimeRec: A Unified Framework for Enhanced Sequential Recommendation via Generative Diffusion Models [39.49215596285211]
  シークエンシャルレコメンデーション(SR:Sequential Recommendation)は、非定常的な歴史的相互作用に基づいてユーザの好みに合わせてレコメンデーションを調整することによって、レコメンデーションシステムにおいて重要な役割を担っている。 誘導抽出モジュール(GEM)と生成拡散凝集モジュール(DAM)を組み合わせたDimeRecという新しいフレームワークを提案する。 我々の数値実験により、DimeRecは3つの公開データセットで確立されたベースライン法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-22T06:42:09Z)
• Behavior-Dependent Linear Recurrent Units for Efficient Sequential Recommendation [18.75561256311228]
  RecBLRは、振舞い依存リニアリカレントユニットに基づく効率的なシークエンシャルレコメンデーションモデルである。 本モデルは,ユーザの行動モデリングとレコメンデーション性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-06-18T13:06:58Z)
• Diffusion Augmentation for Sequential Recommendation [47.43402785097255]
  本稿では,より高品質な生成のためのDiffuASR(Diffusion Augmentation for Sequential Recommendation)を提案する。 DiffuASRによる強化データセットは、複雑なトレーニング手順なしで、シーケンシャルレコメンデーションモデルを直接トレーニングするために使用することができる。 3つの逐次レコメンデーションモデルを用いた3つの実世界のデータセットに関する広範な実験を行った。
  論文  参考訳（メタデータ） (2023-09-22T13:31:34Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• Contrastive Self-supervised Sequential Recommendation with Robust Augmentation [101.25762166231904]
  Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。 データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。 逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T07:15:25Z)
• S^3-Rec: Self-Supervised Learning for Sequential Recommendation with Mutual Information Maximization [104.87483578308526]
  本稿では,シーケンスレコメンデーションのための自己改善学習のためのモデルS3-Recを提案する。 そこで本稿では,属性,項目,サブシーケンス,シーケンス間の相関関係を学習するために,4つの補助的自己教師対象を考案する。 6つの実世界のデータセットで実施された大規模な実験は、既存の最先端手法よりも提案手法が優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-18T11:44:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。