論文の概要: Large Language Model Empowered Embedding Generator for Sequential Recommendation

• arxiv url: http://arxiv.org/abs/2409.19925v1
• Date: Mon, 30 Sep 2024 03:59:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 16:47:30.402729
• Title: Large Language Model Empowered Embedding Generator for Sequential Recommendation
• Title（参考訳）: シークエンシャルレコメンデーションのための大規模言語モデルを用いた埋め込み発電機
• Authors: Qidong Liu, Xian Wu, Wanyu Wang, Yejing Wang, Yuanshao Zhu, Xiangyu Zhao, Feng Tian, Yefeng Zheng,
• Abstract要約: 大言語モデル(LLM)は、その人気に関係なく、項目間の意味的関係を理解する能力を持つ。 LLMEmbは、LCMを利用してアイテム埋め込みを作成し、シークエンシャル・レコメンダ・システムの性能を高める革新的な技術である。
• 参考スコア（独自算出の注目度）: 57.49045064294086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequential Recommender Systems (SRS) are extensively applied across various domains to predict users' next interaction by modeling their interaction sequences. However, these systems typically grapple with the long-tail problem, where they struggle to recommend items that are less popular. This challenge results in a decline in user discovery and reduced earnings for vendors, negatively impacting the system as a whole. Large Language Model (LLM) has the potential to understand the semantic connections between items, regardless of their popularity, positioning them as a viable solution to this dilemma. In our paper, we present LLMEmb, an innovative technique that harnesses LLM to create item embeddings that bolster the performance of SRS. To align the capabilities of general-purpose LLM with the needs of the recommendation domain, we introduce a method called Supervised Contrastive Fine-Tuning (SCFT). This method involves attribute-level data augmentation and a custom contrastive loss designed to tailor LLM for enhanced recommendation performance. Moreover, we highlight the necessity of incorporating collaborative filtering signals into LLM-generated embeddings and propose Recommendation Adaptation Training (RAT) for this purpose. RAT refines the embeddings to be optimally suited for SRS. The embeddings derived from LLMEmb can be easily integrated with any SRS model, showcasing its practical utility. Extensive experimentation on three real-world datasets has shown that LLMEmb significantly improves upon current methods when applied across different SRS models.
• Abstract（参考訳）: SRS(Sequential Recommender Systems)は、様々なドメインにまたがって広く適用され、対話シーケンスをモデル化してユーザの次のインタラクションを予測する。 しかし、これらのシステムは通常、あまり人気がないアイテムを推薦するのに苦労するロングテール問題に対処します。 この課題は、ユーザー発見の減少とベンダーの収益の減少をもたらし、システム全体に悪影響を及ぼした。 大言語モデル(LLM)は、その人気に関係なく、アイテム間の意味的関係を理解する可能性があり、これらをこのジレンマの実行可能な解決策として位置づけている。 本稿では, LLMEmbについて述べる。LLMEmbは, LLMを利用して, SRSの性能を高めるアイテム埋め込みを作成する革新的な技術である。 汎用LLMの能力とレコメンデーションドメインのニーズを整合させるため,SCFT(Supervised Contrastive Fine-Tuning)と呼ばれる手法を導入する。 この方法は、属性レベルのデータ拡張と、レコメンデーション性能を高めるためにLLMを調整するためのカスタムコントラスト損失を含む。 さらに,LLM の埋め込みに協調フィルタリング信号を統合する必要性を強調し,この目的のためにレコメンデーション適応トレーニング (RAT) を提案する。 RATは、SRSに最適な埋め込みを洗練する。 LLMEmbから派生した埋め込みは任意のSRSモデルと容易に統合でき、実用性を示している。 3つの実世界のデータセットに対する大規模な実験により、LLMEmbは異なるSRSモデルにまたがって適用した場合、現在の手法により大幅に改善されることが示された。

関連論文リスト

• Towards Scalable Semantic Representation for Recommendation [65.06144407288127]
  大規模言語モデル(LLM)に基づく意味的IDを構築するために、Mixture-of-Codesを提案する。 提案手法は,識別性と寸法の堅牢性に優れたスケーラビリティを実現し,提案手法で最高のスケールアップ性能を実現する。
  論文  参考訳（メタデータ） (2024-10-12T15:10:56Z)
• Enhancing High-order Interaction Awareness in LLM-based Recommender Model [3.7623606729515133]
  本稿では,LLMベースのリコメンデータ(ELMRec)について述べる。 我々は、レコメンデーションのためのグラフ構築相互作用のLLM解釈を大幅に強化するために、単語全体の埋め込みを強化する。 ELMRecは、直接およびシーケンシャルなレコメンデーションの両方において、最先端(SOTA)メソッドよりも優れています。
  論文  参考訳（メタデータ） (2024-09-30T06:07:12Z)
• Unleash LLMs Potential for Recommendation by Coordinating Twin-Tower Dynamic Semantic Token Generator [60.07198935747619]
  動的セマンティック・インデックス・パラダイムを採用した最初の生成型RSであるTTDS(Twin-Tower Dynamic Semantic Recommender)を提案する。 より具体的には、ツイン・トワー・セマンティック・トークン・ジェネレータをLLMベースのレコメンデータに統合する動的知識融合フレームワークを初めて提案する。 提案したTTDSレコメンデータは,平均19.41%のヒットレート,20.84%のNDCG測定値を実現している。
  論文  参考訳（メタデータ） (2024-09-14T01:45:04Z)
• Laser: Parameter-Efficient LLM Bi-Tuning for Sequential Recommendation with Collaborative Information [76.62949982303532]
  協調情報を用いた逐次レコメンデーションのためのパラメータ効率の高い大規模言語モデルバイチューニングフレームワーク(Laser)を提案する。 我々のレーザーでは,プレフィックスを用いてユーザと協調的な情報を取り込み,LLMをレコメンデーションタスクに適応させ,サフィックスは言語空間からレコメンデーションスペースへのLLMの出力埋め込みをリコメンデーション項目レコメンデーションスペースに変換する。 M-Formerは軽量なMoEベースのクエリ変換器で、クエリ専門家のセットを使用して、凍結IDベースのシーケンシャルレコメンデータシステムによって符号化された多様なユーザ固有の協調情報を統合する。
  論文  参考訳（メタデータ） (2024-09-03T04:55:03Z)
• Beyond Inter-Item Relations: Dynamic Adaption for Enhancing LLM-Based Sequential Recommendation [83.87767101732351]
  逐次リコメンデータシステム(SRS)は,ユーザの過去のインタラクションシーケンスに基づいて,ユーザが好む次の項目を予測する。 様々なAIアプリケーションにおける大規模言語モデル(LLM)の台頭に触発されて、LLMベースのSRSの研究が急増している。 我々は,大きめの粒度適応の上に構築された逐次レコメンデーションモデルであるDARecを提案する。
  論文  参考訳（メタデータ） (2024-08-14T10:03:40Z)
• DELRec: Distilling Sequential Pattern to Enhance LLM-based Recommendation [3.5113201254928117]
  逐次レコメンデーション(SR)タスクは、ユーザの過去のインタラクションと好みの変化を関連付けることで、レコメンデーションの精度を高める。 従来のモデルは、トレーニングデータ内のシーケンシャルなパターンをキャプチャすることだけに集中し、外部ソースからアイテムタイトルに埋め込まれたより広いコンテキストやセマンティックな情報を無視することが多い。 DelRecは、SRモデルから知識を抽出し、LLMがより効果的なシーケンシャルレコメンデーションのためにこれらの補足情報を容易に理解し利用できるようにすることを目的としている。
  論文  参考訳（メタデータ） (2024-06-17T02:47:09Z)
• A Practice-Friendly LLM-Enhanced Paradigm with Preference Parsing for Sequential Recommendation [15.153844486572932]
  本稿では、シーケンシャルレコメンデータシステム(SRS)のための優先構文解析(P2Rec)を用いた実践的LLM拡張パラダイムを提案する。 具体的には、情報再構成段階において、事前学習したSRSモデルの助けを借りて、協調的な情報注入のための新しいユーザレベルSFTタスクを設計する。 我々のゴールは、LLMが各ユーザのインタラクションシーケンスから対応する優先度分布を再構築することを学ばせることである。
  論文  参考訳（メタデータ） (2024-06-01T07:18:56Z)
• LLM-ESR: Large Language Models Enhancement for Long-tailed Sequential Recommendation [58.04939553630209]
  現実世界のシステムでは、ほとんどのユーザーはほんの一握りのアイテムしか扱わないが、ほとんどのアイテムは滅多に消費されない。 これら2つの課題は、ロングテールユーザーとロングテールアイテムの課題として知られ、しばしば既存のシークエンシャルレコメンデーションシステムに困難をもたらす。 本稿では,これらの課題に対処するため,Large Language Models Enhancement framework for Sequential Recommendation (LLM-ESR)を提案する。
  論文  参考訳（メタデータ） (2024-05-31T07:24:42Z)
• Efficient and Responsible Adaptation of Large Language Models for Robust Top-k Recommendations [11.004673022505566]
  何百万というユーザの長いクエリは、大規模言語モデルのパフォーマンスを低下させ、推奨することができる。 本稿では,大規模言語モデルと従来のレコメンデーションシステムの両方の機能を利用するハイブリッドタスク割り当てフレームワークを提案する。 実世界の3つのデータセットによる結果から,弱い利用者の減少と,サブ人口に対するRSのロバスト性の向上が示唆された。
  論文  参考訳（メタデータ） (2024-05-01T19:11:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。