論文の概要: Customizing Language Models with Instance-wise LoRA for Sequential Recommendation

• arxiv url: http://arxiv.org/abs/2408.10159v4
• Date: Tue, 21 Jan 2025 03:40:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:17:15.976412
• Title: Customizing Language Models with Instance-wise LoRA for Sequential Recommendation
• Title（参考訳）: シークエンシャルレコメンデーションのためのインスタンスワイズ LoRA を用いた言語モデルのカスタマイズ
• Authors: Xiaoyu Kong, Jiancan Wu, An Zhang, Leheng Sheng, Hui Lin, Xiang Wang, Xiangnan He,
• Abstract要約: 時系列レコメンデーションシステムは、ユーザの過去のインタラクションに基づいて次のインタラクション項目を予測し、個別の好みに合わせてレコメンデーションを調整する。 マルチタスク学習の一形態としてインスタンスワイドLoRA(iLoRA)を提案し、LoRAとMixture of Experts(MoE)フレームワークを統合する。 iLoRAは、トレーニング可能なパラメータの1%未満の相対的な増加で、基本的なLoRAよりも11.4%の平均的な相対的な改善を達成している。
• 参考スコア（独自算出の注目度）: 28.667247613039965
• License:
• Abstract: Sequential recommendation systems predict the next interaction item based on users' past interactions, aligning recommendations with individual preferences. Leveraging the strengths of Large Language Models (LLMs) in knowledge comprehension and reasoning, recent approaches are eager to apply LLMs to sequential recommendation. A common paradigm is converting user behavior sequences into instruction data, and fine-tuning the LLM with parameter-efficient fine-tuning (PEFT) methods like Low-Rank Adaption (LoRA). However, the uniform application of LoRA across diverse user behaviors is insufficient to capture individual variability, resulting in negative transfer between disparate sequences. To address these challenges, we propose Instance-wise LoRA (iLoRA). We innovatively treat the sequential recommendation task as a form of multi-task learning, integrating LoRA with the Mixture of Experts (MoE) framework. This approach encourages different experts to capture various aspects of user behavior. Additionally, we introduce a sequence representation guided gate function that generates customized expert participation weights for each user sequence, which allows dynamic parameter adjustment for instance-wise recommendations. In sequential recommendation, iLoRA achieves an average relative improvement of 11.4\% over basic LoRA in the hit ratio metric, with less than a 1\% relative increase in trainable parameters. Extensive experiments on three benchmark datasets demonstrate the effectiveness of iLoRA, highlighting its superior performance compared to existing methods in mitigating negative transfer and improving recommendation accuracy. Our data and code are available at https://github.com/AkaliKong/iLoRA.
• Abstract（参考訳）: 時系列レコメンデーションシステムは、ユーザの過去のインタラクションに基づいて次のインタラクション項目を予測し、個別の好みに合わせてレコメンデーションを調整する。 知識理解と推論において、LLM(Large Language Models)の強みを活用することで、最近のアプローチは、LLMをシーケンシャルなレコメンデーションに適用したいと考えている。 一般的なパラダイムは、ユーザ動作シーケンスを命令データに変換し、Low-Rank Adaption (LoRA)のようなパラメータ効率の良い細調整(PEFT)手法でLPMを微調整する。 しかし、多様なユーザの行動にまたがるLoRAの均一な適用は、個々の変動を捉えるには不十分であり、異なるシーケンス間の負の移動をもたらす。 これらの課題に対処するために、インスタンスワイズLoRA(iLoRA)を提案する。 逐次レコメンデーションタスクをマルチタスク学習の一形態として,LoRAとMixture of Experts(MoE)フレームワークを統合した。 このアプローチは、さまざまな専門家にユーザ行動のさまざまな側面を捉えるように促します。 さらに、各ユーザシーケンスごとにカスタマイズされた専門家参加ウェイトを生成するシーケンス表現ガイドゲート関数を導入し、インスタンスワイドレコメンデーションの動的パラメータ調整を可能にする。 逐次レコメンデーションでは,iLoRA は基本 LoRA よりも11.4\% の相対的改善を達成し,トレーニング可能なパラメータの相対的増加は 1\% 未満である。 3つのベンチマークデータセットに対する大規模な実験は、iLoRAの有効性を示し、負の転送を緩和し、レコメンデーション精度を向上させる既存の方法に比べて優れたパフォーマンスを示している。 私たちのデータとコードはhttps://github.com/AkaliKong/iLoRA.comで公開されています。

関連論文リスト

• Large Language Model Empowered Embedding Generator for Sequential Recommendation [57.49045064294086]
  大言語モデル(LLM)は、その人気に関係なく、項目間の意味的関係を理解する能力を持つ。 LLMEmbは、LCMを利用してアイテム埋め込みを作成し、シークエンシャル・レコメンダ・システムの性能を高める革新的な技術である。
  論文  参考訳（メタデータ） (2024-09-30T03:59:06Z)
• Unleash LLMs Potential for Recommendation by Coordinating Twin-Tower Dynamic Semantic Token Generator [60.07198935747619]
  動的セマンティック・インデックス・パラダイムを採用した最初の生成型RSであるTTDS(Twin-Tower Dynamic Semantic Recommender)を提案する。 より具体的には、ツイン・トワー・セマンティック・トークン・ジェネレータをLLMベースのレコメンデータに統合する動的知識融合フレームワークを初めて提案する。 提案したTTDSレコメンデータは,平均19.41%のヒットレート,20.84%のNDCG測定値を実現している。
  論文  参考訳（メタデータ） (2024-09-14T01:45:04Z)
• Laser: Parameter-Efficient LLM Bi-Tuning for Sequential Recommendation with Collaborative Information [76.62949982303532]
  協調情報を用いた逐次レコメンデーションのためのパラメータ効率の高い大規模言語モデルバイチューニングフレームワーク(Laser)を提案する。 我々のレーザーでは,プレフィックスを用いてユーザと協調的な情報を取り込み,LLMをレコメンデーションタスクに適応させ,サフィックスは言語空間からレコメンデーションスペースへのLLMの出力埋め込みをリコメンデーション項目レコメンデーションスペースに変換する。 M-Formerは軽量なMoEベースのクエリ変換器で、クエリ専門家のセットを使用して、凍結IDベースのシーケンシャルレコメンデータシステムによって符号化された多様なユーザ固有の協調情報を統合する。
  論文  参考訳（メタデータ） (2024-09-03T04:55:03Z)
• Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation [50.837277466987345]
  我々は、推奨のために大規模言語モデル(LLM)の分野に焦点を当てる。 ユーザ毎に独立したLoRAを管理するPersonalized LoRAモジュールを組み込んだRecLoRAを提案する。 また、Few2Many Learning Strategyを設計し、従来のレコメンデーションモデルをレンズとして使用して、小さなトレーニングスペースをフルスペースに拡大する。
  論文  参考訳（メタデータ） (2024-08-07T04:20:28Z)
• SARA: Singular-Value Based Adaptive Low-Rank Adaption [4.135688713311511]
  パラメータ効率のよい微細チューニング(PEFT)手法としてのLoRAは、推論オーバーヘッドを加算しないために広く用いられている。 本研究ではまず,各層の性能とランクの関係をSVDを用いて解析する。 これに基づいてSARA(Singular-Value Based Adaptive Low-Rank Adaption)を設計する。
  論文  参考訳（メタデータ） (2024-08-06T16:39:42Z)
• Semantic Codebook Learning for Dynamic Recommendation Models [55.98259490159084]
  動的シーケンシャルレコメンデーション(DSR)は、ユーザの振る舞いに基づいてモデルパラメータを生成し、シーケンシャルレコメンデーションのパーソナライズを改善する。 巨大なパラメータ探索空間と疎結合でノイズの多いユーザ-イテム相互作用の課題に直面するため、生成されたモデルパラメータの適用性が低下する。 Semantic Codebook Learning for Dynamic Recommendation Models (SOLID)フレームワークは、これらの課題に効果的に取り組むことで、DSRの大幅な進歩を示す。
  論文  参考訳（メタデータ） (2024-07-31T19:25:25Z)
• Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
  Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。 RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
  論文  参考訳（メタデータ） (2024-02-12T22:47:57Z)
• Sequence Adaptation via Reinforcement Learning in Recommender Systems [8.909115457491522]
  そこで我々は,SARモデルを提案する。SARモデルは,ユーザとイテムの相互作用のシーケンス長をパーソナライズされた方法で調整する。 さらに,逐次レコメンデーションの精度を批評家ネットワークの予測累積報酬と整合させるために,共同損失関数を最適化する。 実世界の4つのデータセットに対する実験的な評価は,提案モデルがいくつかのベースラインアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-31T13:56:46Z)
• A Hybrid Bandit Framework for Diversified Recommendation [42.516774050676254]
  本稿では,モジュール関数と分散関数の組み合わせを最適化するLinear Modular Dispersion Bandit (LMDB) フレームワークを提案する。 具体的には、LMDBは、各項目の関連性プロパティをモデル化するモジュラー関数と、アイテムセットの多様性特性を記述する分散関数を用いる。 また, lmdb問題を解くための線形モジュラ分散ハイブリッド(lmdh)と呼ばれる学習アルゴリズムを開発し, そのn段階の後悔にギャップのないバウンドを導出する。
  論文  参考訳（メタデータ） (2020-12-24T13:24:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。