論文の概要: Continual Low-Rank Adapters for LLM-based Generative Recommender Systems

• arxiv url: http://arxiv.org/abs/2510.25093v1
• Date: Wed, 29 Oct 2025 01:57:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:44.976184
• Title: Continual Low-Rank Adapters for LLM-based Generative Recommender Systems
• Title（参考訳）: LLMに基づくジェネレーティブレコメンダシステムのための連続低域適応器
• Authors: Hyunsik Yoo, Ting-Wei Li, SeongKu Kang, Zhining Liu, Charlie Xu, Qilin Qi, Hanghang Tong,
• Abstract要約: PESOはレコメンデーションにおけるLoRAの継続的な適応方法である。 PESO は既存の LoRA ベースの連続学習手法より一貫して優れていることを示す。
• 参考スコア（独自算出の注目度）: 45.61854853390219
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While large language models (LLMs) achieve strong performance in recommendation, they face challenges in continual learning as users, items, and user preferences evolve over time. Existing LoRA-based continual methods primarily focus on preserving performance on previous tasks, but this overlooks the unique nature of recommendation: the goal is not to predict past preferences, and outdated preferences can even harm performance when current interests shift significantly. To address this, we propose PESO (Proximally rEgularized Single evolving lOra, a continual adaptation method for LoRA in recommendation. PESO introduces a proximal regularizer that anchors the current adapter to its most recent frozen state, enabling the model to flexibly balance adaptation and preservation, and to better capture recent user behaviors. Theoretically, we show that this proximal design provides data-aware, direction-wise guidance in the LoRA subspace. Empirically, PESO consistently outperforms existing LoRA-based continual learning methods.
• Abstract（参考訳）: 大規模言語モデル(LLM)は推奨において高いパフォーマンスを達成する一方で、ユーザ、アイテム、ユーザの嗜好が時間とともに進化するにつれて、継続的な学習の課題に直面します。 既存のLoRAベースの継続メソッドは、主に以前のタスクのパフォーマンスを維持することに重点を置いているが、これはレコメンデーションのユニークな性質を見落としている。 そこで本研究では, PESO (Proximally rEgularized Single Evolution lOra) を提案する。 PESOは、現在のアダプタを最新の凍結状態に固定する近位正規化器を導入し、モデルが柔軟に適応と保存のバランスを取り、最近のユーザの振る舞いをよりよく捉えることができる。 理論的には、この近似設計はLoRA部分空間におけるデータ認識、方向案内を提供する。 実証的には、PESOは既存のLoRAベースの連続学習法より一貫して優れている。

関連論文リスト

• What Makes LLMs Effective Sequential Recommenders? A Study on Preference Intensity and Temporal Context [56.590259941275434]
  RecPOは、シーケンシャルなレコメンデーションのための優先順位最適化フレームワークである。 これは、推定された嗜好階層と時間信号に基づいて適応的な報酬マージンを利用する。 タイムリーな満足感、コヒーレントな嗜好の維持、変化する状況下での識別の行使など、人間の意思決定の重要な特徴を反映している。
  論文  参考訳（メタデータ） (2025-06-02T21:09:29Z)
• Large Language Model driven Policy Exploration for Recommender Systems [50.70228564385797]
  静的ユーザデータに基づいてトレーニングされたオフラインRLポリシは、動的オンライン環境にデプロイされた場合、分散シフトに対して脆弱である。 オンラインRLベースのRSも、トレーニングされていないポリシーや不安定なポリシーにユーザをさらけ出すリスクがあるため、運用デプロイメントの課題に直面している。 大規模言語モデル(LLM)は、ユーザー目標と事前学習ポリシーをオフラインで模倣する有望なソリューションを提供する。 LLMから抽出したユーザの嗜好を利用した対話型学習ポリシー(iALP)を提案する。
  論文  参考訳（メタデータ） (2025-01-23T16:37:44Z)
• RosePO: Aligning LLM-based Recommenders with Human Values [38.029251417802044]
  我々は、パーソナライズされた選好最適化(RosePO)を円滑にするための一般的なフレームワークを提案する。 RosePOは、トレーニング後の段階において、カスタマイズされた人的価値との整合性が向上する。 実世界の3つのデータセットの評価は,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-10-16T12:54:34Z)
• Customizing Language Models with Instance-wise LoRA for Sequential Recommendation [28.667247613039965]
  時系列レコメンデーションシステムは、ユーザの過去のインタラクションに基づいて次のインタラクション項目を予測し、個別の好みに合わせてレコメンデーションを調整する。 マルチタスク学習の一形態としてインスタンスワイドLoRA(iLoRA)を提案し、LoRAとMixture of Experts(MoE)フレームワークを統合する。 iLoRAは、トレーニング可能なパラメータの1%未満の相対的な増加で、基本的なLoRAよりも11.4%の平均的な相対的な改善を達成している。
  論文  参考訳（メタデータ） (2024-08-19T17:09:32Z)
• Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation [50.837277466987345]
  我々は、推奨のために大規模言語モデル(LLM)の分野に焦点を当てる。 ユーザ毎に独立したLoRAを管理するPersonalized LoRAモジュールを組み込んだRecLoRAを提案する。 また、Few2Many Learning Strategyを設計し、従来のレコメンデーションモデルをレンズとして使用して、小さなトレーニングスペースをフルスペースに拡大する。
  論文  参考訳（メタデータ） (2024-08-07T04:20:28Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• AURO: Reinforcement Learning for Adaptive User Retention Optimization in Recommender Systems [25.18963930580529]
  強化学習(Reinforcement Learning, RL)は、レコメンデーションシステムにおけるユーザ保持の最適化能力に注目が集まっている。 本稿では,この課題に対処するため,textbfAdaptive textbfUser textbfRetention textbfOptimization (AURO) という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-06T02:45:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。