論文の概要: Customizing Language Models with Instance-wise LoRA for Sequential Recommendation
- arxiv url: http://arxiv.org/abs/2408.10159v2
- Date: Fri, 1 Nov 2024 03:47:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 06:44:48.875849
- Title: Customizing Language Models with Instance-wise LoRA for Sequential Recommendation
- Title（参考訳）: シークエンシャルレコメンデーションのためのインスタンスワイズ LoRA を用いた言語モデルのカスタマイズ
- Authors: Xiaoyu Kong, Jiancan Wu, An Zhang, Leheng Sheng, Hui Lin, Xiang Wang, Xiangnan He,
- Abstract要約: 時系列レコメンデーションシステムは、過去のインタラクションを分析し、個別の好みに合わせてレコメンデーションを調整することで、ユーザの次の関心項目を予測する。
我々は、LoRAとMixture of Experts (MoE)フレームワークを統合するインスタンスワイドLoRAを提案する。
iLoRAはさまざまな専門家の配列を生成し、それぞれがユーザの好みの特定の側面をキャプチャし、シーケンス表現ガイドゲート関数を導入している。
- 参考スコア（独自算出の注目度）: 28.667247613039965
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sequential recommendation systems predict a user's next item of interest by analyzing past interactions, aligning recommendations with individual preferences. Leveraging the strengths of Large Language Models (LLMs) in knowledge comprehension and reasoning, recent approaches have applied LLMs to sequential recommendation through language generation paradigms. These methods convert user behavior sequences into prompts for LLM fine-tuning, utilizing Low-Rank Adaptation (LoRA) modules to refine recommendations. However, the uniform application of LoRA across diverse user behaviors sometimes fails to capture individual variability, leading to suboptimal performance and negative transfer between disparate sequences. To address these challenges, we propose Instance-wise LoRA (iLoRA), integrating LoRA with the Mixture of Experts (MoE) framework. iLoRA creates a diverse array of experts, each capturing specific aspects of user preferences, and introduces a sequence representation guided gate function. This gate function processes historical interaction sequences to generate enriched representations, guiding the gating network to output customized expert participation weights. This tailored approach mitigates negative transfer and dynamically adjusts to diverse behavior patterns. Extensive experiments on three benchmark datasets demonstrate the effectiveness of iLoRA, highlighting its superior performance compared to existing methods in capturing user-specific preferences and improving recommendation accuracy.
- Abstract（参考訳）: 時系列レコメンデーションシステムは、過去のインタラクションを分析し、個別の好みに合わせてレコメンデーションを調整することで、ユーザの次の関心項目を予測する。
知識理解と推論におけるLLM(Large Language Models)の強みを生かして、近年のアプローチでは、LLMを言語生成パラダイムを通じてシーケンシャルなレコメンデーションに応用している。
これらの手法は,Low-Rank Adaptation (LoRA) モジュールを用いて,ユーザ動作シーケンスをLLM微調整のプロンプトに変換する。
しかし、多様なユーザの行動にまたがるLoRAの均一な適用は、個々の変動を捉えるのに失敗することがある。
これらの課題に対処するため、我々は、LoRAとMixture of Experts (MoE)フレームワークを統合するインスタンスワイドLoRA(iLoRA)を提案する。
iLoRAはさまざまな専門家の配列を生成し、それぞれがユーザの好みの特定の側面をキャプチャし、シーケンス表現ガイドゲート関数を導入している。
このゲート関数は歴史的相互作用シーケンスを処理してリッチな表現を生成し、ゲーティングネットワークにカスタマイズされた専門家参加重みを出力させる。
この調整されたアプローチは、ネガティブな伝達を軽減し、多様な行動パターンに動的に適応する。
3つのベンチマークデータセットに対する大規模な実験は、iLoRAの有効性を示し、ユーザ固有の好みをキャプチャし、レコメンデーションの精度を向上させる既存の方法と比較して、その優れたパフォーマンスを強調している。
関連論文リスト
- Large Language Model Empowered Embedding Generator for Sequential Recommendation [57.49045064294086]
大言語モデル(LLM)は、その人気に関係なく、項目間の意味的関係を理解する能力を持つ。
LLMEmbは、LCMを利用してアイテム埋め込みを作成し、シークエンシャル・レコメンダ・システムの性能を高める革新的な技術である。
論文 参考訳（メタデータ） (2024-09-30T03:59:06Z) - Unleash LLMs Potential for Recommendation by Coordinating Twin-Tower Dynamic Semantic Token Generator [60.07198935747619]
動的セマンティック・インデックス・パラダイムを採用した最初の生成型RSであるTTDS(Twin-Tower Dynamic Semantic Recommender)を提案する。
より具体的には、ツイン・トワー・セマンティック・トークン・ジェネレータをLLMベースのレコメンデータに統合する動的知識融合フレームワークを初めて提案する。
提案したTTDSレコメンデータは,平均19.41%のヒットレート,20.84%のNDCG測定値を実現している。
論文 参考訳（メタデータ） (2024-09-14T01:45:04Z) - Laser: Parameter-Efficient LLM Bi-Tuning for Sequential Recommendation with Collaborative Information [76.62949982303532]
協調情報を用いた逐次レコメンデーションのためのパラメータ効率の高い大規模言語モデルバイチューニングフレームワーク(Laser)を提案する。
我々のレーザーでは,プレフィックスを用いてユーザと協調的な情報を取り込み,LLMをレコメンデーションタスクに適応させ,サフィックスは言語空間からレコメンデーションスペースへのLLMの出力埋め込みをリコメンデーション項目レコメンデーションスペースに変換する。
M-Formerは軽量なMoEベースのクエリ変換器で、クエリ専門家のセットを使用して、凍結IDベースのシーケンシャルレコメンデータシステムによって符号化された多様なユーザ固有の協調情報を統合する。
論文 参考訳（メタデータ） (2024-09-03T04:55:03Z) - Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation [50.837277466987345]
我々は、推奨のために大規模言語モデル(LLM)の分野に焦点を当てる。
ユーザ毎に独立したLoRAを管理するPersonalized LoRAモジュールを組み込んだRecLoRAを提案する。
また、Few2Many Learning Strategyを設計し、従来のレコメンデーションモデルをレンズとして使用して、小さなトレーニングスペースをフルスペースに拡大する。
論文 参考訳（メタデータ） (2024-08-07T04:20:28Z) - SARA: Singular-Value Based Adaptive Low-Rank Adaption [4.135688713311511]
パラメータ効率のよい微細チューニング(PEFT)手法としてのLoRAは、推論オーバーヘッドを加算しないために広く用いられている。
本研究ではまず,各層の性能とランクの関係をSVDを用いて解析する。
これに基づいてSARA(Singular-Value Based Adaptive Low-Rank Adaption)を設計する。
論文 参考訳（メタデータ） (2024-08-06T16:39:42Z) - Semantic Codebook Learning for Dynamic Recommendation Models [55.98259490159084]
動的シーケンシャルレコメンデーション(DSR)は、ユーザの振る舞いに基づいてモデルパラメータを生成し、シーケンシャルレコメンデーションのパーソナライズを改善する。
巨大なパラメータ探索空間と疎結合でノイズの多いユーザ-イテム相互作用の課題に直面するため、生成されたモデルパラメータの適用性が低下する。
Semantic Codebook Learning for Dynamic Recommendation Models (SOLID)フレームワークは、これらの課題に効果的に取り組むことで、DSRの大幅な進歩を示す。
論文 参考訳（メタデータ） (2024-07-31T19:25:25Z) - Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。
RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
論文 参考訳（メタデータ） (2024-02-12T22:47:57Z) - Sequence Adaptation via Reinforcement Learning in Recommender Systems [8.909115457491522]
そこで我々は,SARモデルを提案する。SARモデルは,ユーザとイテムの相互作用のシーケンス長をパーソナライズされた方法で調整する。
さらに,逐次レコメンデーションの精度を批評家ネットワークの予測累積報酬と整合させるために,共同損失関数を最適化する。
実世界の4つのデータセットに対する実験的な評価は,提案モデルがいくつかのベースラインアプローチよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-07-31T13:56:46Z) - A Hybrid Bandit Framework for Diversified Recommendation [42.516774050676254]
本稿では,モジュール関数と分散関数の組み合わせを最適化するLinear Modular Dispersion Bandit (LMDB) フレームワークを提案する。
具体的には、LMDBは、各項目の関連性プロパティをモデル化するモジュラー関数と、アイテムセットの多様性特性を記述する分散関数を用いる。
また, lmdb問題を解くための線形モジュラ分散ハイブリッド(lmdh)と呼ばれる学習アルゴリズムを開発し, そのn段階の後悔にギャップのないバウンドを導出する。
論文 参考訳（メタデータ） (2020-12-24T13:24:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。