論文の概要: LLMEmb: Large Language Model Can Be a Good Embedding Generator for Sequential Recommendation

• arxiv url: http://arxiv.org/abs/2409.19925v2
• Date: Sat, 21 Dec 2024 06:09:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:52:48.547201
• Title: LLMEmb: Large Language Model Can Be a Good Embedding Generator for Sequential Recommendation
• Title（参考訳）: LLMEmb: 大規模言語モデルはシーケンスレコメンデーションに適した埋め込みジェネレータになる
• Authors: Qidong Liu, Xian Wu, Wanyu Wang, Yejing Wang, Yuanshao Zhu, Xiangyu Zhao, Feng Tian, Yefeng Zheng,
• Abstract要約: 大きな言語モデル(LLM)は、その人気とは無関係に、アイテム間の意味的関係をキャプチャする能力を持つ。 LLMEmb(LLMEmb)は、LCMを利用してアイテム埋め込みを生成し、逐次レコメンダシステム(SRS)の性能を向上させる手法である。
• 参考スコア（独自算出の注目度）: 57.49045064294086
• License:
• Abstract: Sequential Recommender Systems (SRS), which model a user's interaction history to predict the next item of interest, are widely used in various applications. However, existing SRS often struggle with low-popularity items, a challenge known as the long-tail problem. This issue leads to reduced serendipity for users and diminished profits for sellers, ultimately harming the overall system. Large Language Model (LLM) has the ability to capture semantic relationships between items, independent of their popularity, making it a promising solution to this problem. In this paper, we introduce LLMEmb, a novel method leveraging LLM to generate item embeddings that enhance SRS performance. To bridge the gap between general-purpose LLM and the recommendation domain, we propose a Supervised Contrastive Fine-Tuning (SCFT) approach. This approach includes attribute-level data augmentation and a tailored contrastive loss to make LLM more recommendation-friendly. Additionally, we emphasize the importance of integrating collaborative signals into LLM-generated embeddings, for which we propose Recommendation Adaptation Training (RAT). This further refines the embeddings for optimal use in SRS. The LLMEmb-derived embeddings can be seamlessly integrated with any SRS models, underscoring the practical value. Comprehensive experiments conducted on three real-world datasets demonstrate that LLMEmb significantly outperforms existing methods across multiple SRS models. The code for our method is released online https://github.com/Applied-Machine-Learning-Lab/LLMEmb.
• Abstract（参考訳）: SRS(Sequential Recommender Systems)は、ユーザのインタラクション履歴をモデル化して次の関心事を予測するシステムで、様々なアプリケーションで広く利用されている。 しかし、既存のSRSは、しばしば低人気アイテムと戦っている。 この問題は、ユーザーのセレンディピティーを低下させ、販売者の利益を減少させ、最終的にはシステム全体を傷つけることになる。 大きな言語モデル(LLM)は、その人気とは独立して、アイテム間の意味的関係をキャプチャする能力を持ち、この問題に対する有望な解決策である。 本稿では,LLMEmbについて紹介する。LLMEmbは,LSMを利用してSRS性能を向上させるアイテム埋め込みを生成する新しい手法である。 汎用LLMとレコメンデーションドメインのギャップを埋めるため,SCFT(Supervised Contrastive Fine-Tuning)アプローチを提案する。 このアプローチには属性レベルのデータ拡張と、LLMをよりレコメンデーションフレンドリーなものにするためのコントラスト付き損失が含まれる。 さらに,LLMを組み込んだ埋め込みに協調的な信号を統合することの重要性を強調し,レコメンデーション適応トレーニング(RAT)を提案する。 これにより、SRSにおける最適使用のための埋め込みをさらに洗練する。 LLMEmb由来の埋め込みは任意のSRSモデルとシームレスに統合することができ、実用的価値を裏付ける。 3つの実世界のデータセットで実施された総合的な実験により、LLMEmbは複数のSRSモデルで既存の手法を著しく上回っていることが示された。 本手法のコードはオンラインhttps://github.com/Applied-Machine-Learning-Lab/LLMEmbで公開されている。

関連論文リスト

• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Full-Stack Optimized Large Language Models for Lifelong Sequential Behavior Comprehension in Recommendation [44.685176786857284]
  データ、プロンプト、パラメータレベルの最適化を提供するフレームワークであるReLLaX(Retrieval-enhanced Large Language Model Plus)を提案する。 データレベルではSemantic User Behavior Retrieval (SUBR)を導入し、シーケンスの不均一性を低減し、LLMがキー情報を抽出しやすくする。 素早いレベル向上のために、我々はSPA(Soft Prompt Augmentation)を用いて協調的な知識を注入し、項目表現をレコメンデーションタスクと整合させる。 パラメータレベルでは、コンポーネント間の相互作用を有効にすることで、LoRAの表現性を向上するComponent Fully-Interactive LoRA(CFLoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-23T03:05:13Z)
• Enhancing High-order Interaction Awareness in LLM-based Recommender Model [3.7623606729515133]
  本稿では,LLMベースのリコメンデータ(ELMRec)について述べる。 我々は、レコメンデーションのためのグラフ構築相互作用のLLM解釈を大幅に強化するために、単語全体の埋め込みを強化する。 ELMRecは、直接およびシーケンシャルなレコメンデーションの両方において、最先端(SOTA)メソッドよりも優れています。
  論文  参考訳（メタデータ） (2024-09-30T06:07:12Z)
• Laser: Parameter-Efficient LLM Bi-Tuning for Sequential Recommendation with Collaborative Information [76.62949982303532]
  協調情報を用いた逐次レコメンデーションのためのパラメータ効率の高い大規模言語モデルバイチューニングフレームワーク(Laser)を提案する。 我々のレーザーでは,プレフィックスを用いてユーザと協調的な情報を取り込み,LLMをレコメンデーションタスクに適応させ,サフィックスは言語空間からレコメンデーションスペースへのLLMの出力埋め込みをリコメンデーション項目レコメンデーションスペースに変換する。 M-Formerは軽量なMoEベースのクエリ変換器で、クエリ専門家のセットを使用して、凍結IDベースのシーケンシャルレコメンデータシステムによって符号化された多様なユーザ固有の協調情報を統合する。
  論文  参考訳（メタデータ） (2024-09-03T04:55:03Z)
• Beyond Inter-Item Relations: Dynamic Adaption for Enhancing LLM-Based Sequential Recommendation [83.87767101732351]
  逐次リコメンデータシステム(SRS)は,ユーザの過去のインタラクションシーケンスに基づいて,ユーザが好む次の項目を予測する。 様々なAIアプリケーションにおける大規模言語モデル(LLM)の台頭に触発されて、LLMベースのSRSの研究が急増している。 我々は,大きめの粒度適応の上に構築された逐次レコメンデーションモデルであるDARecを提案する。
  論文  参考訳（メタデータ） (2024-08-14T10:03:40Z)
• A Practice-Friendly LLM-Enhanced Paradigm with Preference Parsing for Sequential Recommendation [15.153844486572932]
  本稿では、シーケンシャルレコメンデータシステム(SRS)のための優先構文解析(P2Rec)を用いた実践的LLM拡張パラダイムを提案する。 具体的には、情報再構成段階において、事前学習したSRSモデルの助けを借りて、協調的な情報注入のための新しいユーザレベルSFTタスクを設計する。 我々のゴールは、LLMが各ユーザのインタラクションシーケンスから対応する優先度分布を再構築することを学ばせることである。
  論文  参考訳（メタデータ） (2024-06-01T07:18:56Z)
• LLM-ESR: Large Language Models Enhancement for Long-tailed Sequential Recommendation [58.04939553630209]
  現実世界のシステムでは、ほとんどのユーザーはほんの一握りのアイテムしか扱わないが、ほとんどのアイテムは滅多に消費されない。 これら2つの課題は、ロングテールユーザーとロングテールアイテムの課題として知られ、しばしば既存のシークエンシャルレコメンデーションシステムに困難をもたらす。 本稿では,これらの課題に対処するため,Large Language Models Enhancement framework for Sequential Recommendation (LLM-ESR)を提案する。
  論文  参考訳（メタデータ） (2024-05-31T07:24:42Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。