論文の概要: When Transformers Meet Recommenders: Integrating Self-Attentive Sequential Recommendation with Fine-Tuned LLMs

• arxiv url: http://arxiv.org/abs/2507.05733v1
• Date: Tue, 08 Jul 2025 07:26:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 16:34:37.660092
• Title: When Transformers Meet Recommenders: Integrating Self-Attentive Sequential Recommendation with Fine-Tuned LLMs
• Title（参考訳）: トランスフォーマーがレコメンダと出会う時--微調整LDMによる自己認識的シーケンスレコメンデーションの統合
• Authors: Kechen Liu,
• Abstract要約: SASRecLLMは、Low-Rank Adaptation (LoRA)を使用して微調整されたLLMで、SASRecをコラボレーティブエンコーダとして統合する新しいフレームワークである。 複数のデータセットの実験によると、SASRecLLMは、コールドスタートとウォームスタートの両方のシナリオにおいて、強いベースラインよりも堅牢で一貫性のある改善を実現している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-Attentive Sequential Recommendation (SASRec) effectively captures long-term user preferences by applying attention mechanisms to historical interactions. Concurrently, the rise of Large Language Models (LLMs) has motivated research into LLM-based recommendation, which leverages their powerful generalization and language understanding capabilities. However, LLMs often lack the domain-specific knowledge and collaborative signals essential for high-quality recommendations when relying solely on textual prompts. To address this limitation, this study proposes SASRecLLM, a novel framework that integrates SASRec as a collaborative encoder with an LLM fine-tuned using Low-Rank Adaptation (LoRA). The components are connected via a mapping layer to align their dimensional spaces, and three targeted training strategies are designed to optimize the hybrid architecture. Extensive experiments on multiple datasets demonstrate that SASRecLLM achieves robust and consistent improvements over strong baselines in both cold-start and warm-start scenarios. This work advances the field of LLM-based recommendation by presenting a modular and effective paradigm for fusing structured collaborative filtering with the semantic power of fine-tuned LLMs. The implementation is available on GitHub: https://github.com/kechenkristin/RecLLM
• Abstract（参考訳）: SASRec(Self-Attentive Sequential Recommendation)は、歴史的相互作用に注意機構を適用することで、長期的なユーザの嗜好を効果的に捉える。 同時に、LLM(Large Language Models)の台頭は、その強力な一般化と言語理解能力を活用するLLMベースのレコメンデーションの研究を動機付けている。 しかし、LLMはテキストのプロンプトにのみ依存する場合、高品質なレコメンデーションに必要なドメイン固有の知識や協調的なシグナルを欠いていることが多い。 そこで本研究では,SASRecをLow-Rank Adaptation (LoRA)を用いて微調整したLLMで協調エンコーダとして統合する新しいフレームワークであるSASRecLLMを提案する。 コンポーネントは、その次元空間を整列するためにマッピング層を介して接続され、3つのターゲットとなるトレーニング戦略は、ハイブリッドアーキテクチャを最適化するために設計されている。 複数のデータセットに対する大規模な実験により、SASRecLLMは、コールドスタートとウォームスタートの両方のシナリオにおいて、強いベースラインよりも堅牢で一貫した改善を達成している。 この研究は、構造化された協調フィルタリングと微調整LLMのセマンティックパワーを融合させるモジュール的で効果的なパラダイムを提示することにより、LLMに基づく推薦の分野を前進させる。 実装はGitHubで入手できる。 https://github.com/kechenkristin/RecLLM

関連論文リスト

• LLM2Rec: Large Language Models Are Powerful Embedding Models for Sequential Recommendation [49.78419076215196]
  シーケンスレコメンデーションは、類似したユーザやアイテムの履歴行動から協調フィルタリング(CF)信号をモデル化することで、ユーザの将来のインタラクションを予測することを目的としている。 従来のシーケンシャルなレコメンダは、高次の共起パターンを通じてCF信号をキャプチャするIDベースの埋め込みに依存している。 大規模言語モデル(LLM)の最近の進歩は、テキスト記述からアイテム表現を導出するテキストベースのレコメンデーションアプローチを動機付けている。 理想的な埋め込みモデルは、ドメイン内およびドメイン外のレコメンデーションパフォーマンスを改善するために、CF信号とリッチなセマンティック表現をシームレスに統合すべきである、と我々は主張する。
  論文  参考訳（メタデータ） (2025-06-16T13:27:06Z)
• LlamaRec-LKG-RAG: A Single-Pass, Learnable Knowledge Graph-RAG Framework for LLM-Based Ranking [0.0]
  LlamaRec-LKG-RAGは、パーソナライズされた知識グラフコンテキストをレコメンデーションランキングに統合する、新しい単一パスでエンドツーエンドのトレーニング可能なフレームワークである。 提案手法はLlamaRecアーキテクチャを拡張し,ユーザプライオリティを動的に識別する軽量なモジュールを組み込むことで実現した。 ML-100KとAmazon Beautyデータセットの実験では、主要なランキングメトリクス間でLlamaRecよりも一貫性があり、重要な改善が示されている。
  論文  参考訳（メタデータ） (2025-06-09T05:52:03Z)
• DeepRec: Towards a Deep Dive Into the Item Space with Large Language Model Based Recommendation [83.21140655248624]
  大型言語モデル (LLM) はレコメンダシステム (RS) に導入された。 本稿では, LLM と TRM の自律的マルチターンインタラクションを実現する新しい RS である DeepRec を提案する。 公開データセットの実験では、DeepRecは従来のものとLLMベースのベースラインの両方で大幅にパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2025-05-22T15:49:38Z)
• Beyond Inter-Item Relations: Dynamic Adaption for Enhancing LLM-Based Sequential Recommendation [83.87767101732351]
  逐次リコメンデータシステム(SRS)は,ユーザの過去のインタラクションシーケンスに基づいて,ユーザが好む次の項目を予測する。 様々なAIアプリケーションにおける大規模言語モデル(LLM)の台頭に触発されて、LLMベースのSRSの研究が急増している。 我々は,大きめの粒度適応の上に構築された逐次レコメンデーションモデルであるDARecを提案する。
  論文  参考訳（メタデータ） (2024-08-14T10:03:40Z)
• Large Language Models meet Collaborative Filtering: An Efficient All-round LLM-based Recommender System [19.8986219047121]
  協調フィルタリング推薦システム (CF-RecSys) は, ソーシャルメディアやeコマースプラットフォーム上でのユーザエクスペリエンス向上に成功している。 近年の戦略は、事前訓練されたモダリティエンコーダと大規模言語モデルに基づくユーザ/イテムのモダリティ情報の活用に重点を置いている。 コールドシナリオだけでなく、ウォームシナリオにおいても優れたA-LLMRecと呼ばれる全周LCMベースのレコメンダシステムを提案する。
  論文  参考訳（メタデータ） (2024-04-17T13:03:07Z)
• CoLLM: Integrating Collaborative Embeddings into Large Language Models for Recommendation [60.2700801392527]
  我々は,協調情報をLLMにシームレスに組み込んでレコメンデーションを行う,革新的なLLMRec手法であるCoLLMを紹介する。 CoLLMは、外部の伝統的なモデルを通して協調情報をキャプチャし、LLMの入力トークン埋め込み空間にマッピングする。 大規模な実験により、CoLLMはLLMに協調情報を包括的に統合し、レコメンデーション性能が向上することが確認された。
  論文  参考訳（メタデータ） (2023-10-30T12:25:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。