論文の概要: Pre-train, Align, and Disentangle: Empowering Sequential Recommendation with Large Language Models

• arxiv url: http://arxiv.org/abs/2412.04107v2
• Date: Fri, 25 Apr 2025 18:32:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-29 18:43:11.02805
• Title: Pre-train, Align, and Disentangle: Empowering Sequential Recommendation with Large Language Models
• Title（参考訳）: プレトレイン,アライン,ディケンタングル:大規模言語モデルによるシーケンスレコメンデーションの強化
• Authors: Yuhao Wang, Junwei Pan, Pengyue Jia, Wanyu Wang, Maolin Wang, Zhixiang Feng, Xiaotian Li, Jie Jiang, Xiangyu Zhao,
• Abstract要約: Sequential Recommendation (SR) は、ユーザの過去のインタラクションにおけるシーケンシャルなパターンを活用して、ユーザの好みを正確に追跡することを目的としている。 大規模言語モデル(LLM)の有効性が証明されているにもかかわらず、商用レコメンデータシステムへの統合は妨げられている。 我々は,LLMを用いたSRモデルを強化するために,新しいPri-train,Align,Disentangle(PAD)フレームワークを導入する。
• 参考スコア（独自算出の注目度）: 26.331324261505486
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequential Recommendation (SR) aims to leverage the sequential patterns in users' historical interactions to accurately track their preferences. However, the primary reliance of existing SR methods on collaborative data results in challenges such as the cold-start problem and sub-optimal performance. Concurrently, despite the proven effectiveness of large language models (LLMs), their integration into commercial recommender systems is impeded by issues such as high inference latency, incomplete capture of all distribution statistics, and catastrophic forgetting. To address these issues, we introduce a novel Pre-train, Align, and Disentangle (PAD) framework to enhance SR models with LLMs. In particular, we initially pre-train both the SR and LLM models to obtain collaborative and textual embeddings. Subsequently, we propose a characteristic recommendation-anchored alignment loss using multi-kernel maximum mean discrepancy with Gaussian kernels. Lastly, a triple-experts architecture, comprising aligned and modality-specific experts with disentangled embeddings, is fine-tuned in a frequency-aware manner. Experimental results on three public datasets validate the efficacy of PAD, indicating substantial enhancements and compatibility with various SR backbone models, particularly for cold items. The code and datasets are accessible for reproduction at https://github.com/Applied-Machine-Learning-Lab/PAD.
• Abstract（参考訳）: Sequential Recommendation (SR) は、ユーザの過去のインタラクションにおけるシーケンシャルなパターンを活用して、ユーザの好みを正確に追跡することを目的としている。 しかし、協調データに対する既存のSR手法の主な依存は、コールドスタート問題や準最適性能といった課題をもたらす。 同時に、大規模言語モデル(LLM)の有効性が証明されているにもかかわらず、その商用レコメンデータシステムへの統合は、高い推論遅延、全ての分布統計の不完全取得、破滅的な忘れ込みといった問題によって妨げられている。 これらの問題に対処するために、LLMを用いたSRモデルを強化するために、新しいプレトレイン、アライン、ディケンタングル(PAD)フレームワークを導入する。 特に、まずSRモデルとLLMモデルの両方を事前学習し、協調的およびテキスト的埋め込みを得る。 次に,ガウスカーネルを用いたマルチカーネルの最大平均誤差を用いた特徴的レコメンデーションアンコレートアライメント損失を提案する。 最後に、アンタングル埋め込みを持つアライメントとモダリティ固有の専門家からなる三重専門家アーキテクチャを周波数認識方式で微調整する。 3つの公開データセットによる実験結果からPADの有効性が検証され、特に寒冷品において、様々なSRバックボーンモデルとの実質的な拡張と互換性が示された。 コードとデータセットはhttps://github.com/Applied-Machine-Learning-Lab/PADで再生可能である。

関連論文リスト

• Predictive Models in Sequential Recommendations: Bridging Performance Laws with Data Quality Insights [104.48511402784763]
  本稿では,モデル性能とデータ品質の関係を理論的に検討し,モデル化することを目的としたSRモデルの性能法則を紹介する。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)
• Breaking Determinism: Fuzzy Modeling of Sequential Recommendation Using Discrete State Space Diffusion Model [66.91323540178739]
  シークエンシャルレコメンデーション(SR)は、ユーザーが過去の行動に基づいて興味を持つかもしれない項目を予測することを目的としている。 我々はSRを新しい情報理論の観点から再検討し、逐次モデリング手法がユーザの行動のランダム性と予測不可能性を適切に把握できないことを発見した。 ファジィ情報処理理論に触発された本論文では,制限を克服し,ユーザの関心事の進化をよりよく捉えるために,ファジィなインタラクションシーケンスの組を導入する。
  論文  参考訳（メタデータ） (2024-10-31T14:52:01Z)
• LLMEmb: Large Language Model Can Be a Good Embedding Generator for Sequential Recommendation [57.49045064294086]
  大きな言語モデル(LLM)は、その人気とは無関係に、アイテム間の意味的関係をキャプチャする能力を持つ。 LLMEmb(LLMEmb)は、LCMを利用してアイテム埋め込みを生成し、逐次レコメンダシステム(SRS)の性能を向上させる手法である。
  論文  参考訳（メタデータ） (2024-09-30T03:59:06Z)
• DimeRec: A Unified Framework for Enhanced Sequential Recommendation via Generative Diffusion Models [39.49215596285211]
  シークエンシャルレコメンデーション(SR:Sequential Recommendation)は、非定常的な歴史的相互作用に基づいてユーザの好みに合わせてレコメンデーションを調整することによって、レコメンデーションシステムにおいて重要な役割を担っている。 誘導抽出モジュール(GEM)と生成拡散凝集モジュール(DAM)を組み合わせたDimeRecという新しいフレームワークを提案する。 我々の数値実験により、DimeRecは3つの公開データセットで確立されたベースライン法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-22T06:42:09Z)
• Behavior-Dependent Linear Recurrent Units for Efficient Sequential Recommendation [18.75561256311228]
  RecBLRは、振舞い依存リニアリカレントユニットに基づく効率的なシークエンシャルレコメンデーションモデルである。 本モデルは,ユーザの行動モデリングとレコメンデーション性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-06-18T13:06:58Z)
• Diffusion Augmentation for Sequential Recommendation [47.43402785097255]
  本稿では,より高品質な生成のためのDiffuASR(Diffusion Augmentation for Sequential Recommendation)を提案する。 DiffuASRによる強化データセットは、複雑なトレーニング手順なしで、シーケンシャルレコメンデーションモデルを直接トレーニングするために使用することができる。 3つの逐次レコメンデーションモデルを用いた3つの実世界のデータセットに関する広範な実験を行った。
  論文  参考訳（メタデータ） (2023-09-22T13:31:34Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• Contrastive Self-supervised Sequential Recommendation with Robust Augmentation [101.25762166231904]
  Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。 データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。 逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T07:15:25Z)
• S^3-Rec: Self-Supervised Learning for Sequential Recommendation with Mutual Information Maximization [104.87483578308526]
  本稿では,シーケンスレコメンデーションのための自己改善学習のためのモデルS3-Recを提案する。 そこで本稿では,属性,項目,サブシーケンス,シーケンス間の相関関係を学習するために,4つの補助的自己教師対象を考案する。 6つの実世界のデータセットで実施された大規模な実験は、既存の最先端手法よりも提案手法が優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-18T11:44:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。