論文の概要: Large Language Model Empowered Embedding Generator for Sequential Recommendation

• arxiv url: http://arxiv.org/abs/2409.19925v1
• Date: Mon, 30 Sep 2024 03:59:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:03:04.752053
• Title: Large Language Model Empowered Embedding Generator for Sequential Recommendation
• Title（参考訳）: シークエンシャルレコメンデーションのための大規模言語モデルを用いた埋め込み発電機
• Authors: Qidong Liu, Xian Wu, Wanyu Wang, Yejing Wang, Yuanshao Zhu, Xiangyu Zhao, Feng Tian, Yefeng Zheng,
• Abstract要約: 大言語モデル(LLM)は、その人気に関係なく、項目間の意味的関係を理解する能力を持つ。 LLMEmbは、LCMを利用してアイテム埋め込みを作成し、シークエンシャル・レコメンダ・システムの性能を高める革新的な技術である。
• 参考スコア（独自算出の注目度）: 57.49045064294086
• License:
• Abstract: Sequential Recommender Systems (SRS) are extensively applied across various domains to predict users' next interaction by modeling their interaction sequences. However, these systems typically grapple with the long-tail problem, where they struggle to recommend items that are less popular. This challenge results in a decline in user discovery and reduced earnings for vendors, negatively impacting the system as a whole. Large Language Model (LLM) has the potential to understand the semantic connections between items, regardless of their popularity, positioning them as a viable solution to this dilemma. In our paper, we present LLMEmb, an innovative technique that harnesses LLM to create item embeddings that bolster the performance of SRS. To align the capabilities of general-purpose LLM with the needs of the recommendation domain, we introduce a method called Supervised Contrastive Fine-Tuning (SCFT). This method involves attribute-level data augmentation and a custom contrastive loss designed to tailor LLM for enhanced recommendation performance. Moreover, we highlight the necessity of incorporating collaborative filtering signals into LLM-generated embeddings and propose Recommendation Adaptation Training (RAT) for this purpose. RAT refines the embeddings to be optimally suited for SRS. The embeddings derived from LLMEmb can be easily integrated with any SRS model, showcasing its practical utility. Extensive experimentation on three real-world datasets has shown that LLMEmb significantly improves upon current methods when applied across different SRS models.
• Abstract（参考訳）: SRS(Sequential Recommender Systems)は、様々なドメインにまたがって広く適用され、対話シーケンスをモデル化してユーザの次のインタラクションを予測する。 しかし、これらのシステムは通常、あまり人気がないアイテムを推薦するのに苦労するロングテール問題に対処します。 この課題は、ユーザー発見の減少とベンダーの収益の減少をもたらし、システム全体に悪影響を及ぼした。 大言語モデル(LLM)は、その人気に関係なく、アイテム間の意味的関係を理解する可能性があり、これらをこのジレンマの実行可能な解決策として位置づけている。 本稿では, LLMEmbについて述べる。LLMEmbは, LLMを利用して, SRSの性能を高めるアイテム埋め込みを作成する革新的な技術である。 汎用LLMの能力とレコメンデーションドメインのニーズを整合させるため,SCFT(Supervised Contrastive Fine-Tuning)と呼ばれる手法を導入する。 この方法は、属性レベルのデータ拡張と、レコメンデーション性能を高めるためにLLMを調整するためのカスタムコントラスト損失を含む。 さらに,LLM の埋め込みに協調フィルタリング信号を統合する必要性を強調し,この目的のためにレコメンデーション適応トレーニング (RAT) を提案する。 RATは、SRSに最適な埋め込みを洗練する。 LLMEmbから派生した埋め込みは任意のSRSモデルと容易に統合でき、実用性を示している。 3つの実世界のデータセットに対する大規模な実験により、LLMEmbは異なるSRSモデルにまたがって適用した場合、現在の手法により大幅に改善されることが示された。

関連論文リスト

• LANE: Logic Alignment of Non-tuning Large Language Models and Online Recommendation Systems for Explainable Reason Generation [15.972926854420619]
  大きな言語モデル(LLM)を活用することで、包括的なレコメンデーションロジック生成の新しい機会を提供する。 レコメンデーションタスクのための微調整LDMモデルは、計算コストと既存のシステムとのアライメントの問題を引き起こす。 本研究は,LLMとオンラインレコメンデーションシステムとの連携を,LLMのチューニングを伴わない効果的戦略LANEを提案する。
  論文  参考訳（メタデータ） (2024-07-03T06:20:31Z)
• A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
  State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。 軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。 本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
  論文  参考訳（メタデータ） (2024-06-25T07:45:00Z)
• DELRec: Distilling Sequential Pattern to Enhance LLM-based Recommendation [3.5113201254928117]
  逐次レコメンデーション(SR)タスクは、ユーザの過去のインタラクションと好みの変化を関連付けることで、レコメンデーションの精度を高める。 従来のモデルは、トレーニングデータ内のシーケンシャルなパターンをキャプチャすることだけに集中し、外部ソースからアイテムタイトルに埋め込まれたより広いコンテキストやセマンティックな情報を無視することが多い。 DelRecは、SRモデルから知識を抽出し、LLMがより効果的なシーケンシャルレコメンデーションのためにこれらの補足情報を容易に理解し利用できるようにすることを目的としている。
  論文  参考訳（メタデータ） (2024-06-17T02:47:09Z)
• Large Language Models Enhanced Sequential Recommendation for Long-tail User and Item [58.04939553630209]
  大規模言語モデル(LLM)の出現は、セマンティックな観点からこれらの課題に対処するための有望な道を示す。 本研究では,Large Language Models Enhancement framework for Sequential Recommendation (LLM-ESR)を紹介する。 提案する拡張フレームワークは,既存手法と比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2024-05-31T07:24:42Z)
• SLMRec: Empowering Small Language Models for Sequential Recommendation [25.920216777752]
  シーケンシャルレコメンデーションタスクでは、ユーザが対話しそうな次の項目を予測する。 最近の研究は、LCMがシーケンシャルレコメンデーションシステムに与える影響を実証している。 LLM の巨大なサイズのため、現実のプラットフォームに LLM ベースのモデルを適用するのは非効率で実用的ではない。
  論文  参考訳（メタデータ） (2024-05-28T07:12:06Z)
• Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
  複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。 得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:29:04Z)
• Unlocking the Potential of User Feedback: Leveraging Large Language Model as User Simulator to Enhance Dialogue System [65.93577256431125]
  本稿では,ユーザガイド応答最適化 (UGRO) という代替手法を提案し,タスク指向の対話モデルと組み合わせる。 このアプローチでは、アノテーションのないユーザシミュレータとしてLLMを使用して対話応答を評価し、より小型のエンドツーエンドTODモデルと組み合わせる。 提案手法は従来のSOTA(State-of-the-art)よりも優れている。
  論文  参考訳（メタデータ） (2023-06-16T13:04:56Z)
• A Survey on Large Language Models for Recommendation [77.91673633328148]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。 本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
  論文  参考訳（メタデータ） (2023-05-31T13:51:26Z)
• Sample-Rank: Weak Multi-Objective Recommendations Using Rejection Sampling [0.5156484100374059]
  本稿では,マルチゴールサンプリングとユーザ関連度(Sample-Rank)のランク付けによるマーケットプレースの多目的目標への推薦手法を提案する。 提案手法の新規性は,望まれるマルチゴール分布からサンプリングするMOレコメンデーション問題を低減し,プロダクションフレンドリーな学習-ランクモデルを構築することである。
  論文  参考訳（メタデータ） (2020-08-24T09:17:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。