論文の概要: Large Language Model Empowered Embedding Generator for Sequential Recommendation
- arxiv url: http://arxiv.org/abs/2409.19925v1
- Date: Mon, 30 Sep 2024 03:59:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-05 16:47:30.402729
- Title: Large Language Model Empowered Embedding Generator for Sequential Recommendation
- Title（参考訳）: シークエンシャルレコメンデーションのための大規模言語モデルを用いた埋め込み発電機
- Authors: Qidong Liu, Xian Wu, Wanyu Wang, Yejing Wang, Yuanshao Zhu, Xiangyu Zhao, Feng Tian, Yefeng Zheng,
- Abstract要約: 大言語モデル(LLM)は、その人気に関係なく、項目間の意味的関係を理解する能力を持つ。
LLMEmbは、LCMを利用してアイテム埋め込みを作成し、シークエンシャル・レコメンダ・システムの性能を高める革新的な技術である。
- 参考スコア（独自算出の注目度）: 57.49045064294086
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sequential Recommender Systems (SRS) are extensively applied across various domains to predict users' next interaction by modeling their interaction sequences. However, these systems typically grapple with the long-tail problem, where they struggle to recommend items that are less popular. This challenge results in a decline in user discovery and reduced earnings for vendors, negatively impacting the system as a whole. Large Language Model (LLM) has the potential to understand the semantic connections between items, regardless of their popularity, positioning them as a viable solution to this dilemma. In our paper, we present LLMEmb, an innovative technique that harnesses LLM to create item embeddings that bolster the performance of SRS. To align the capabilities of general-purpose LLM with the needs of the recommendation domain, we introduce a method called Supervised Contrastive Fine-Tuning (SCFT). This method involves attribute-level data augmentation and a custom contrastive loss designed to tailor LLM for enhanced recommendation performance. Moreover, we highlight the necessity of incorporating collaborative filtering signals into LLM-generated embeddings and propose Recommendation Adaptation Training (RAT) for this purpose. RAT refines the embeddings to be optimally suited for SRS. The embeddings derived from LLMEmb can be easily integrated with any SRS model, showcasing its practical utility. Extensive experimentation on three real-world datasets has shown that LLMEmb significantly improves upon current methods when applied across different SRS models.
- Abstract（参考訳）: SRS(Sequential Recommender Systems)は、様々なドメインにまたがって広く適用され、対話シーケンスをモデル化してユーザの次のインタラクションを予測する。
しかし、これらのシステムは通常、あまり人気がないアイテムを推薦するのに苦労するロングテール問題に対処します。
この課題は、ユーザー発見の減少とベンダーの収益の減少をもたらし、システム全体に悪影響を及ぼした。
大言語モデル(LLM)は、その人気に関係なく、アイテム間の意味的関係を理解する可能性があり、これらをこのジレンマの実行可能な解決策として位置づけている。
本稿では, LLMEmbについて述べる。LLMEmbは, LLMを利用して, SRSの性能を高めるアイテム埋め込みを作成する革新的な技術である。
汎用LLMの能力とレコメンデーションドメインのニーズを整合させるため,SCFT(Supervised Contrastive Fine-Tuning)と呼ばれる手法を導入する。
この方法は、属性レベルのデータ拡張と、レコメンデーション性能を高めるためにLLMを調整するためのカスタムコントラスト損失を含む。
さらに,LLM の埋め込みに協調フィルタリング信号を統合する必要性を強調し,この目的のためにレコメンデーション適応トレーニング (RAT) を提案する。
RATは、SRSに最適な埋め込みを洗練する。
LLMEmbから派生した埋め込みは任意のSRSモデルと容易に統合でき、実用性を示している。
3つの実世界のデータセットに対する大規模な実験により、LLMEmbは異なるSRSモデルにまたがって適用した場合、現在の手法により大幅に改善されることが示された。
関連論文リスト
- LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。
LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。
LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
論文 参考訳（メタデータ） (2025-02-15T02:55:22Z) - Full-Stack Optimized Large Language Models for Lifelong Sequential Behavior Comprehension in Recommendation [44.685176786857284]
データ、プロンプト、パラメータレベルの最適化を提供するフレームワークであるReLLaX(Retrieval-enhanced Large Language Model Plus)を提案する。
データレベルではSemantic User Behavior Retrieval (SUBR)を導入し、シーケンスの不均一性を低減し、LLMがキー情報を抽出しやすくする。
素早いレベル向上のために、我々はSPA(Soft Prompt Augmentation)を用いて協調的な知識を注入し、項目表現をレコメンデーションタスクと整合させる。
パラメータレベルでは、コンポーネント間の相互作用を有効にすることで、LoRAの表現性を向上するComponent Fully-Interactive LoRA(CFLoRA)を提案する。
論文 参考訳（メタデータ） (2025-01-23T03:05:13Z) - Enhancing High-order Interaction Awareness in LLM-based Recommender Model [3.7623606729515133]
本稿では,LLMベースのリコメンデータ(ELMRec)について述べる。
我々は、レコメンデーションのためのグラフ構築相互作用のLLM解釈を大幅に強化するために、単語全体の埋め込みを強化する。
ELMRecは、直接およびシーケンシャルなレコメンデーションの両方において、最先端(SOTA)メソッドよりも優れています。
論文 参考訳（メタデータ） (2024-09-30T06:07:12Z) - Laser: Parameter-Efficient LLM Bi-Tuning for Sequential Recommendation with Collaborative Information [76.62949982303532]
協調情報を用いた逐次レコメンデーションのためのパラメータ効率の高い大規模言語モデルバイチューニングフレームワーク(Laser)を提案する。
我々のレーザーでは,プレフィックスを用いてユーザと協調的な情報を取り込み,LLMをレコメンデーションタスクに適応させ,サフィックスは言語空間からレコメンデーションスペースへのLLMの出力埋め込みをリコメンデーション項目レコメンデーションスペースに変換する。
M-Formerは軽量なMoEベースのクエリ変換器で、クエリ専門家のセットを使用して、凍結IDベースのシーケンシャルレコメンデータシステムによって符号化された多様なユーザ固有の協調情報を統合する。
論文 参考訳（メタデータ） (2024-09-03T04:55:03Z) - Beyond Inter-Item Relations: Dynamic Adaption for Enhancing LLM-Based Sequential Recommendation [83.87767101732351]
逐次リコメンデータシステム(SRS)は,ユーザの過去のインタラクションシーケンスに基づいて,ユーザが好む次の項目を予測する。
様々なAIアプリケーションにおける大規模言語モデル(LLM)の台頭に触発されて、LLMベースのSRSの研究が急増している。
我々は,大きめの粒度適応の上に構築された逐次レコメンデーションモデルであるDARecを提案する。
論文 参考訳（メタデータ） (2024-08-14T10:03:40Z) - A Practice-Friendly LLM-Enhanced Paradigm with Preference Parsing for Sequential Recommendation [15.153844486572932]
本稿では、シーケンシャルレコメンデータシステム(SRS)のための優先構文解析(P2Rec)を用いた実践的LLM拡張パラダイムを提案する。
具体的には、情報再構成段階において、事前学習したSRSモデルの助けを借りて、協調的な情報注入のための新しいユーザレベルSFTタスクを設計する。
我々のゴールは、LLMが各ユーザのインタラクションシーケンスから対応する優先度分布を再構築することを学ばせることである。
論文 参考訳（メタデータ） (2024-06-01T07:18:56Z) - LLM-ESR: Large Language Models Enhancement for Long-tailed Sequential Recommendation [58.04939553630209]
現実世界のシステムでは、ほとんどのユーザーはほんの一握りのアイテムしか扱わないが、ほとんどのアイテムは滅多に消費されない。
これら2つの課題は、ロングテールユーザーとロングテールアイテムの課題として知られ、しばしば既存のシークエンシャルレコメンデーションシステムに困難をもたらす。
本稿では,これらの課題に対処するため,Large Language Models Enhancement framework for Sequential Recommendation (LLM-ESR)を提案する。
論文 参考訳（メタデータ） (2024-05-31T07:24:42Z) - One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。
本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-05-30T03:44:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。