論文の概要: Laser: Parameter-Efficient LLM Bi-Tuning for Sequential Recommendation with Collaborative Information

• arxiv url: http://arxiv.org/abs/2409.01605v1
• Date: Tue, 3 Sep 2024 04:55:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 02:53:07.843329
• Title: Laser: Parameter-Efficient LLM Bi-Tuning for Sequential Recommendation with Collaborative Information
• Title（参考訳）: レーザ: パラメータ効率の良いLLMバイチューニングによる協調情報を用いたシーケンスレコメンデーション
• Authors: Xinyu Zhang, Linmei Hu, Luhao Zhang, Dandan Song, Heyan Huang, Liqiang Nie,
• Abstract要約: 協調情報を用いた逐次レコメンデーションのためのパラメータ効率の高い大規模言語モデルバイチューニングフレームワーク(Laser)を提案する。 我々のレーザーでは,プレフィックスを用いてユーザと協調的な情報を取り込み,LLMをレコメンデーションタスクに適応させ,サフィックスは言語空間からレコメンデーションスペースへのLLMの出力埋め込みをリコメンデーション項目レコメンデーションスペースに変換する。 M-Formerは軽量なMoEベースのクエリ変換器で、クエリ専門家のセットを使用して、凍結IDベースのシーケンシャルレコメンデータシステムによって符号化された多様なユーザ固有の協調情報を統合する。
• 参考スコア（独自算出の注目度）: 76.62949982303532
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Sequential recommender systems are essential for discerning user preferences from historical interactions and facilitating targeted recommendations. Recent innovations employing Large Language Models (LLMs) have advanced the field by encoding item semantics, yet they often necessitate substantial parameter tuning and are resource-demanding. Moreover, these works fails to consider the diverse characteristics of different types of users and thus diminishes the recommendation accuracy. In this paper, we propose a parameter-efficient Large Language Model Bi-Tuning framework for sequential recommendation with collaborative information (Laser). Specifically, Bi-Tuning works by inserting trainable virtual tokens at both the prefix and suffix of the input sequence and freezing the LLM parameters, thus optimizing the LLM for the sequential recommendation. In our Laser, the prefix is utilized to incorporate user-item collaborative information and adapt the LLM to the recommendation task, while the suffix converts the output embeddings of the LLM from the language space to the recommendation space for the follow-up item recommendation. Furthermore, to capture the characteristics of different types of users when integrating the collaborative information via the prefix, we introduce M-Former, a lightweight MoE-based querying transformer that uses a set of query experts to integrate diverse user-specific collaborative information encoded by frozen ID-based sequential recommender systems, significantly improving the accuracy of recommendations. Extensive experiments on real-world datasets demonstrate that Laser can parameter-efficiently adapt LLMs to effective recommender systems, significantly outperforming state-of-the-art methods.
• Abstract（参考訳）: 時系列レコメンデーションシステムは、ユーザの好みを過去のインタラクションと区別し、ターゲットとするレコメンデーションを促進するために不可欠である。 近年のLarge Language Models (LLM) を用いた革新は、アイテムセマンティクスをエンコードすることで分野を前進させてきたが、かなりのパラメータチューニングが必要であり、リソース要求であることが多い。 さらに、これらの研究は、異なるタイプのユーザの多様な特性を考慮せず、レコメンデーションの精度を低下させる。 本稿では,協調情報を用いた逐次レコメンデーションのためのパラメータ効率の高い大規模言語モデルバイチューニングフレームワーク(Laser)を提案する。 具体的には、Bi-Tuningは、トレーニング可能な仮想トークンを入力シーケンスのプレフィックスと接尾辞の両方に挿入し、LLMパラメータを凍結することにより、シーケンシャルレコメンデーションのためにLLMを最適化する。 我々のレーザーでは,プレフィックスを用いてユーザと協調的な情報を取り込み,LLMをレコメンデーションタスクに適応させ,サフィックスは言語空間からレコメンデーションスペースへのLLMの出力埋め込みをリコメンデーション項目レコメンデーションスペースに変換する。 さらに、プレフィックスを介して協調情報を統合する際に、様々な種類のユーザの特徴を捉えるために、M-Formerを導入する。M-Formerは、軽量なMoEベースのクエリ変換器で、クエリエキスパートの集合を用いて、凍結IDベースのシーケンシャルレコメンダシステムによって符号化された多様なユーザ固有の協調情報を統合し、レコメンデーションの精度を大幅に向上する。 実世界のデータセットに関する大規模な実験は、レーザーが効果的なレコメンデータシステムにパラメータ効率よくLLMを適用できることを示し、最先端の手法を大幅に上回っている。

関連論文リスト

• LANE: Logic Alignment of Non-tuning Large Language Models and Online Recommendation Systems for Explainable Reason Generation [15.972926854420619]
  大きな言語モデル(LLM)を活用することで、包括的なレコメンデーションロジック生成の新しい機会を提供する。 レコメンデーションタスクのための微調整LDMモデルは、計算コストと既存のシステムとのアライメントの問題を引き起こす。 本研究は,LLMとオンラインレコメンデーションシステムとの連携を,LLMのチューニングを伴わない効果的戦略LANEを提案する。
  論文  参考訳（メタデータ） (2024-07-03T06:20:31Z)
• Taxonomy-Guided Zero-Shot Recommendations with LLMs [45.81618062939684]
  大規模言語モデル (LLM) はレコメンデータシステム (RecSys) において有望であることを示す。 項目情報の明瞭度と構造を改善するため,分類学辞書を用いた新しい手法を提案する。 TaxRecは従来のゼロショットアプローチに比べて推奨品質を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-06-20T07:06:58Z)
• Reindex-Then-Adapt: Improving Large Language Models for Conversational Recommendation [50.19602159938368]
  大規模言語モデル(LLM)は、会話レコメンデーションシステムに革命をもたらしている。 本稿では,マルチトークンのタイトルを単一トークンに変換するReindex-Then-Adapt(RTA)フレームワークを提案する。 本フレームワークでは,3つの対話推薦データセットの精度向上を実証する。
  論文  参考訳（メタデータ） (2024-05-20T15:37:55Z)
• Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
  Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。 RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
  論文  参考訳（メタデータ） (2024-02-12T22:47:57Z)
• Unlocking the Potential of Large Language Models for Explainable Recommendations [55.29843710657637]
  説明ジェネレータを最近登場した大規模言語モデル(LLM)に置き換える影響は、まだ不明である。 本研究では,シンプルで効果的な2段階説明可能なレコメンデーションフレームワークであるLLMXRecを提案する。 いくつかの重要な微調整技術を採用することで、制御可能で流動的な説明が十分に生成できる。
  論文  参考訳（メタデータ） (2023-12-25T09:09:54Z)
• Recommender AI Agent: Integrating Large Language Models for Interactive Recommendations [53.76682562935373]
  我々は,LLMを脳として,レコメンダモデルをツールとして使用する,textbfInteRecAgentという効率的なフレームワークを紹介した。 InteRecAgentは会話レコメンデーションシステムとして満足度を達成し、汎用LLMよりも優れる。
  論文  参考訳（メタデータ） (2023-08-31T07:36:44Z)
• GenRec: Large Language Model for Generative Recommendation [41.22833600362077]
  本稿では,テキストデータに基づく大規模言語モデル(LLM)を用いたレコメンデーションシステムに対する革新的なアプローチを提案する。 GenRecはLLMの理解機能を使ってコンテキストを解釈し、ユーザの好みを学習し、関連するレコメンデーションを生成する。 本研究は,レコメンデーションシステムの領域に革命をもたらす上で,LLMに基づくジェネレーティブレコメンデーションの可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-07-02T02:37:07Z)
• Recommendation as Instruction Following: A Large Language Model Empowered Recommendation Approach [83.62750225073341]
  我々は、大規模言語モデル(LLM)による指示としてレコメンデーションを考える。 まず、ユーザの好み、意図、タスクフォーム、コンテキストを自然言語で記述するための一般的な命令形式を設計する。 そして、39の命令テンプレートを手動で設計し、大量のユーザ個人化された命令データを自動的に生成する。
  論文  参考訳（メタデータ） (2023-05-11T17:39:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。