論文の概要: Laser: Parameter-Efficient LLM Bi-Tuning for Sequential Recommendation with Collaborative Information

• arxiv url: http://arxiv.org/abs/2409.01605v1
• Date: Tue, 3 Sep 2024 04:55:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 02:53:07.843329
• Title: Laser: Parameter-Efficient LLM Bi-Tuning for Sequential Recommendation with Collaborative Information
• Title（参考訳）: レーザ: パラメータ効率の良いLLMバイチューニングによる協調情報を用いたシーケンスレコメンデーション
• Authors: Xinyu Zhang, Linmei Hu, Luhao Zhang, Dandan Song, Heyan Huang, Liqiang Nie,
• Abstract要約: 協調情報を用いた逐次レコメンデーションのためのパラメータ効率の高い大規模言語モデルバイチューニングフレームワーク(Laser)を提案する。 我々のレーザーでは,プレフィックスを用いてユーザと協調的な情報を取り込み,LLMをレコメンデーションタスクに適応させ,サフィックスは言語空間からレコメンデーションスペースへのLLMの出力埋め込みをリコメンデーション項目レコメンデーションスペースに変換する。 M-Formerは軽量なMoEベースのクエリ変換器で、クエリ専門家のセットを使用して、凍結IDベースのシーケンシャルレコメンデータシステムによって符号化された多様なユーザ固有の協調情報を統合する。
• 参考スコア（独自算出の注目度）: 76.62949982303532
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Sequential recommender systems are essential for discerning user preferences from historical interactions and facilitating targeted recommendations. Recent innovations employing Large Language Models (LLMs) have advanced the field by encoding item semantics, yet they often necessitate substantial parameter tuning and are resource-demanding. Moreover, these works fails to consider the diverse characteristics of different types of users and thus diminishes the recommendation accuracy. In this paper, we propose a parameter-efficient Large Language Model Bi-Tuning framework for sequential recommendation with collaborative information (Laser). Specifically, Bi-Tuning works by inserting trainable virtual tokens at both the prefix and suffix of the input sequence and freezing the LLM parameters, thus optimizing the LLM for the sequential recommendation. In our Laser, the prefix is utilized to incorporate user-item collaborative information and adapt the LLM to the recommendation task, while the suffix converts the output embeddings of the LLM from the language space to the recommendation space for the follow-up item recommendation. Furthermore, to capture the characteristics of different types of users when integrating the collaborative information via the prefix, we introduce M-Former, a lightweight MoE-based querying transformer that uses a set of query experts to integrate diverse user-specific collaborative information encoded by frozen ID-based sequential recommender systems, significantly improving the accuracy of recommendations. Extensive experiments on real-world datasets demonstrate that Laser can parameter-efficiently adapt LLMs to effective recommender systems, significantly outperforming state-of-the-art methods.
• Abstract（参考訳）: 時系列レコメンデーションシステムは、ユーザの好みを過去のインタラクションと区別し、ターゲットとするレコメンデーションを促進するために不可欠である。 近年のLarge Language Models (LLM) を用いた革新は、アイテムセマンティクスをエンコードすることで分野を前進させてきたが、かなりのパラメータチューニングが必要であり、リソース要求であることが多い。 さらに、これらの研究は、異なるタイプのユーザの多様な特性を考慮せず、レコメンデーションの精度を低下させる。 本稿では,協調情報を用いた逐次レコメンデーションのためのパラメータ効率の高い大規模言語モデルバイチューニングフレームワーク(Laser)を提案する。 具体的には、Bi-Tuningは、トレーニング可能な仮想トークンを入力シーケンスのプレフィックスと接尾辞の両方に挿入し、LLMパラメータを凍結することにより、シーケンシャルレコメンデーションのためにLLMを最適化する。 我々のレーザーでは,プレフィックスを用いてユーザと協調的な情報を取り込み,LLMをレコメンデーションタスクに適応させ,サフィックスは言語空間からレコメンデーションスペースへのLLMの出力埋め込みをリコメンデーション項目レコメンデーションスペースに変換する。 さらに、プレフィックスを介して協調情報を統合する際に、様々な種類のユーザの特徴を捉えるために、M-Formerを導入する。M-Formerは、軽量なMoEベースのクエリ変換器で、クエリエキスパートの集合を用いて、凍結IDベースのシーケンシャルレコメンダシステムによって符号化された多様なユーザ固有の協調情報を統合し、レコメンデーションの精度を大幅に向上する。 実世界のデータセットに関する大規模な実験は、レーザーが効果的なレコメンデータシステムにパラメータ効率よくLLMを適用できることを示し、最先端の手法を大幅に上回っている。

関連論文リスト

• Large Language Model Empowered Embedding Generator for Sequential Recommendation [57.49045064294086]
  大言語モデル(LLM)は、その人気に関係なく、項目間の意味的関係を理解する能力を持つ。 LLMEmbは、LCMを利用してアイテム埋め込みを作成し、シークエンシャル・レコメンダ・システムの性能を高める革新的な技術である。
  論文  参考訳（メタデータ） (2024-09-30T03:59:06Z)
• Harnessing Multimodal Large Language Models for Multimodal Sequential Recommendation [21.281471662696372]
  本稿では,MLLM-MSRモデルを提案する。 動的ユーザの嗜好を捉えるために,2段階のユーザ選好要約法を設計する。 次に、ユーザ嗜好の動的変化を捉えるために、繰り返しユーザー嗜好要約生成パラダイムを用いる。
  論文  参考訳（メタデータ） (2024-08-19T04:44:32Z)
• Beyond Inter-Item Relations: Dynamic Adaption for Enhancing LLM-Based Sequential Recommendation [83.87767101732351]
  逐次リコメンデータシステム(SRS)は,ユーザの過去のインタラクションシーケンスに基づいて,ユーザが好む次の項目を予測する。 様々なAIアプリケーションにおける大規模言語モデル(LLM)の台頭に触発されて、LLMベースのSRSの研究が急増している。 我々は,大きめの粒度適応の上に構築された逐次レコメンデーションモデルであるDARecを提案する。
  論文  参考訳（メタデータ） (2024-08-14T10:03:40Z)
• LANE: Logic Alignment of Non-tuning Large Language Models and Online Recommendation Systems for Explainable Reason Generation [15.972926854420619]
  大きな言語モデル(LLM)を活用することで、包括的なレコメンデーションロジック生成の新しい機会を提供する。 レコメンデーションタスクのための微調整LDMモデルは、計算コストと既存のシステムとのアライメントの問題を引き起こす。 本研究は,LLMとオンラインレコメンデーションシステムとの連携を,LLMのチューニングを伴わない効果的戦略LANEを提案する。
  論文  参考訳（メタデータ） (2024-07-03T06:20:31Z)
• A Practice-Friendly LLM-Enhanced Paradigm with Preference Parsing for Sequential Recommendation [15.153844486572932]
  本稿では、シーケンシャルレコメンデータシステム(SRS)のための優先構文解析(P2Rec)を用いた実践的LLM拡張パラダイムを提案する。 具体的には、情報再構成段階において、事前学習したSRSモデルの助けを借りて、協調的な情報注入のための新しいユーザレベルSFTタスクを設計する。 我々のゴールは、LLMが各ユーザのインタラクションシーケンスから対応する優先度分布を再構築することを学ばせることである。
  論文  参考訳（メタデータ） (2024-06-01T07:18:56Z)
• Reindex-Then-Adapt: Improving Large Language Models for Conversational Recommendation [50.19602159938368]
  大規模言語モデル(LLM)は、会話レコメンデーションシステムに革命をもたらしている。 本稿では,マルチトークンのタイトルを単一トークンに変換するReindex-Then-Adapt(RTA)フレームワークを提案する。 本フレームワークでは,3つの対話推薦データセットの精度向上を実証する。
  論文  参考訳（メタデータ） (2024-05-20T15:37:55Z)
• Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
  Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。 RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
  論文  参考訳（メタデータ） (2024-02-12T22:47:57Z)
• Recommendation as Instruction Following: A Large Language Model Empowered Recommendation Approach [83.62750225073341]
  我々は、大規模言語モデル(LLM)による指示としてレコメンデーションを考える。 まず、ユーザの好み、意図、タスクフォーム、コンテキストを自然言語で記述するための一般的な命令形式を設計する。 そして、39の命令テンプレートを手動で設計し、大量のユーザ個人化された命令データを自動的に生成する。
  論文  参考訳（メタデータ） (2023-05-11T17:39:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。