Fugu-MT 論文翻訳(概要): Full-Stack Optimized Large Language Models for Lifelong Sequential Behavior Comprehension in Recommendation

論文の概要: Full-Stack Optimized Large Language Models for Lifelong Sequential Behavior Comprehension in Recommendation

arxiv url: http://arxiv.org/abs/2501.13344v1
Date: Thu, 23 Jan 2025 03:05:13 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-24 15:58:38.085326
Title: Full-Stack Optimized Large Language Models for Lifelong Sequential Behavior Comprehension in Recommendation
Title（参考訳）: 勧告における時系列行動理解のためのフルスタック最適化大言語モデル
Authors: Rong Shan, Jiachen Zhu, Jianghao Lin, Chenxu Zhu, Bo Chen, Ruiming Tang, Yong Yu, Weinan Zhang,
Abstract要約: データ、プロンプト、パラメータレベルの最適化を提供するフレームワークであるReLLaX(Retrieval-enhanced Large Language Model Plus)を提案する。データレベルではSemantic User Behavior Retrieval (SUBR)を導入し、シーケンスの不均一性を低減し、LLMがキー情報を抽出しやすくする。素早いレベル向上のために、我々はSPA(Soft Prompt Augmentation)を用いて協調的な知識を注入し、項目表現をレコメンデーションタスクと整合させる。パラメータレベルでは、コンポーネント間の相互作用を有効にすることで、LoRAの表現性を向上するComponent Fully-Interactive LoRA(CFLoRA)を提案する。
参考スコア（独自算出の注目度）: 44.685176786857284
License:
Abstract: In this paper, we address the lifelong sequential behavior incomprehension problem in large language models (LLMs) for recommendation, where LLMs struggle to extract useful information from long user behavior sequences, even within their context limits. To tackle this, we propose ReLLaX (Retrieval-enhanced Large Language models Plus), a framework offering optimization across data, prompt, and parameter levels. At the data level, we introduce Semantic User Behavior Retrieval (SUBR) to reduce sequence heterogeneity, making it easier for LLMs to extract key information. For prompt-level enhancement, we employ Soft Prompt Augmentation (SPA) to inject collaborative knowledge, aligning item representations with recommendation tasks and improving LLMs's exploration of item relationships. Finally, at the parameter level, we propose Component Fully-interactive LoRA (CFLoRA), which enhances LoRA's expressiveness by enabling interactions between its components, allowing better capture of sequential information. Moreover, we present new perspectives to compare current LoRA-based LLM4Rec methods, i.e. from both a composite and a decomposed view. We theoretically demonstrate that the ways they employ LoRA for recommendation are degraded versions of our CFLoRA, with different constraints on atom component interactions. Extensive experiments on three public datasets demonstrate ReLLaX's superiority over existing baselines and its ability to mitigate lifelong sequential behavior incomprehension effectively.
Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)において,LLMが長いユーザ行動系列から有用な情報を抽出することの難しさを,文脈範囲内でも解決するために,生涯にわたる逐次的行動理解の問題に対処する。そこで我々はReLLaX(Retrieval-enhanced Large Language Model Plus)を提案する。データレベルではSemantic User Behavior Retrieval (SUBR)を導入し、シーケンスの不均一性を低減し、LLMがキー情報を抽出しやすくする。迅速なレベル向上のために,協調的な知識を注入し,項目表現をレコメンデーションタスクと整合させ,LLMによる項目関係探索を改善するために,Soft Prompt Augmentation(SPA)を採用している。最後に, パラメータレベルでは, 成分間の相互作用を可能とし, 逐次情報をよりよく捉えることで, LoRAの表現性を向上する Component Fully-Interactive LoRA (CFLoRA) を提案する。さらに,従来の LoRA をベースとした LLM4Rec 法との比較を行った。理論的には、リコメンデーションにLoRAを使う方法は、我々のCFLoRAの劣化バージョンであり、原子コンポーネントの相互作用に異なる制約がある。 3つの公開データセットに対する大規模な実験は、既存のベースラインよりもReLLaXの方が優れており、生涯にわたるシーケンシャルな振る舞いを効果的に軽減する能力を示している。

関連論文リスト

Enhancing High-order Interaction Awareness in LLM-based Recommender Model [3.7623606729515133]
本稿では,LLMベースのリコメンデータ(ELMRec)について述べる。我々は、レコメンデーションのためのグラフ構築相互作用のLLM解釈を大幅に強化するために、単語全体の埋め込みを強化する。 ELMRecは、直接およびシーケンシャルなレコメンデーションの両方において、最先端(SOTA)メソッドよりも優れています。
論文参考訳（メタデータ） (2024-09-30T06:07:12Z)
LLMEmb: Large Language Model Can Be a Good Embedding Generator for Sequential Recommendation [57.49045064294086]
大きな言語モデル(LLM)は、その人気とは無関係に、アイテム間の意味的関係をキャプチャする能力を持つ。 LLMEmb(LLMEmb)は、LCMを利用してアイテム埋め込みを生成し、逐次レコメンダシステム(SRS)の性能を向上させる手法である。
論文参考訳（メタデータ） (2024-09-30T03:59:06Z)
Beyond Inter-Item Relations: Dynamic Adaption for Enhancing LLM-Based Sequential Recommendation [83.87767101732351]
逐次リコメンデータシステム(SRS)は,ユーザの過去のインタラクションシーケンスに基づいて,ユーザが好む次の項目を予測する。様々なAIアプリケーションにおける大規模言語モデル(LLM)の台頭に触発されて、LLMベースのSRSの研究が急増している。我々は,大きめの粒度適応の上に構築された逐次レコメンデーションモデルであるDARecを提案する。
論文参考訳（メタデータ） (2024-08-14T10:03:40Z)
Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation [50.837277466987345]
我々は、推奨のために大規模言語モデル(LLM)の分野に焦点を当てる。ユーザ毎に独立したLoRAを管理するPersonalized LoRAモジュールを組み込んだRecLoRAを提案する。また、Few2Many Learning Strategyを設計し、従来のレコメンデーションモデルをレンズとして使用して、小さなトレーニングスペースをフルスペースに拡大する。
論文参考訳（メタデータ） (2024-08-07T04:20:28Z)
A Practice-Friendly LLM-Enhanced Paradigm with Preference Parsing for Sequential Recommendation [15.153844486572932]
本稿では、シーケンシャルレコメンデータシステム(SRS)のための優先構文解析(P2Rec)を用いた実践的LLM拡張パラダイムを提案する。具体的には、情報再構成段階において、事前学習したSRSモデルの助けを借りて、協調的な情報注入のための新しいユーザレベルSFTタスクを設計する。我々のゴールは、LLMが各ユーザのインタラクションシーケンスから対応する優先度分布を再構築することを学ばせることである。
論文参考訳（メタデータ） (2024-06-01T07:18:56Z)
Improve Temporal Awareness of LLMs for Sequential Recommendation [61.723928508200196]
大規模言語モデル(LLM)は、幅広い汎用タスクを解く際、印象的なゼロショット能力を示した。 LLMは時間的情報の認識と利用に不足しており、シーケンシャルなデータの理解を必要とするタスクではパフォーマンスが悪い。 LLMに基づくシーケンシャルレコメンデーションのために、歴史的相互作用の中で時間情報を利用する3つのプロンプト戦略を提案する。
論文参考訳（メタデータ） (2024-05-05T00:21:26Z)
How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文参考訳（メタデータ） (2024-02-25T20:07:13Z)
ReLLa: Retrieval-enhanced Large Language Models for Lifelong Sequential Behavior Comprehension in Recommendation [43.270424225285105]
ゼロショットと少数ショットのレコメンデーションタスクのために、純粋に大きな言語モデルを適応し、強化することに重点を置いています。ゼロショット設定と少数ショット設定の両方でレコメンデーションタスクを行うRetrieval-enhanced Large Language Model (ReLLa)を提案する。
論文参考訳（メタデータ） (2023-08-22T02:25:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。