論文の概要: Bidirectional Knowledge Distillation for Enhancing Sequential Recommendation with Large Language Models

• arxiv url: http://arxiv.org/abs/2505.18120v1
• Date: Fri, 23 May 2025 17:21:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:34.24879
• Title: Bidirectional Knowledge Distillation for Enhancing Sequential Recommendation with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたシーケンスレコメンデーションの強化のための双方向知識蒸留
• Authors: Jiongran Wu, Jiahao Liu, Dongsheng Li, Guangping Zhang, Mingzhe Han, Hansu Gu, Peng Zhang, Li Shang, Tun Lu, Ning Gu,
• Abstract要約: 大規模言語モデル(LLM)は、意味的パターンの理解と生成において、例外的な性能を示した。 LLMは、しばしば高い推論コストと静的な知識伝達方法に関連する課題に直面している。 本稿では,動的および双方向の知識交換を促進する新しい相互蒸留フレームワークLLMD4Recを提案する。
• 参考スコア（独自算出の注目度）: 28.559223475725137
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have demonstrated exceptional performance in understanding and generating semantic patterns, making them promising candidates for sequential recommendation tasks. However, when combined with conventional recommendation models (CRMs), LLMs often face challenges related to high inference costs and static knowledge transfer methods. In this paper, we propose a novel mutual distillation framework, LLMD4Rec, that fosters dynamic and bidirectional knowledge exchange between LLM-centric and CRM-based recommendation systems. Unlike traditional unidirectional distillation methods, LLMD4Rec enables iterative optimization by alternately refining both models, enhancing the semantic understanding of CRMs and enriching LLMs with collaborative signals from user-item interactions. By leveraging sample-wise adaptive weighting and aligning output distributions, our approach eliminates the need for additional parameters while ensuring effective knowledge transfer. Extensive experiments on real-world datasets demonstrate that LLMD4Rec significantly improves recommendation accuracy across multiple benchmarks without increasing inference costs. This method provides a scalable and efficient solution for combining the strengths of both LLMs and CRMs in sequential recommendation systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、セマンティックパターンの理解と生成において例外的な性能を示し、シーケンシャルなレコメンデーションタスクの候補を約束している。 しかしながら、従来のレコメンデーションモデル(CRM)と組み合わせることで、LLMは高い推論コストや静的な知識伝達手法に関連する課題に直面することが多い。 本稿では, LLM中心とCRMに基づくレコメンデーションシステム間の動的, 双方向の知識交換を促進する新しい相互蒸留フレームワークLLMD4Recを提案する。 従来の一方向蒸留法とは異なり、LLMD4Recは、両方のモデルを交互に精製し、CRMの意味的理解を高め、ユーザとイテムの相互作用から協調的なシグナルでLLMを強化することで反復最適化を可能にする。 提案手法では,サンプル適応重み付けと出力分布の整合性を利用して,効果的な知識伝達を確保しつつ,パラメータの追加の必要性を解消する。 実世界のデータセットに対する大規模な実験により、LLMD4Recは推論コストを増大させることなく、複数のベンチマークで推奨精度を大幅に改善することを示した。 この方法は、シーケンシャルレコメンデーションシステムにおけるLLMとCRMの長所を組み合わせるためのスケーラブルで効率的なソリューションを提供する。

関連論文リスト

• $\text{R}^2\text{ec}$: Towards Large Recommender Models with Reasoning [50.291998724376654]
  我々は,本質的な推論機能を備えた統合された大規模レコメンデータモデルであるnameを提案する。 RecPOは、単一のポリシー更新で推論とレコメンデーションの両方の機能を同時に最適化する、対応する強化学習フレームワークである。 さまざまなベースラインを持つ3つのデータセットの実験では、Hit@5で68.67%、NDCG@20で45.21%の相対的な改善が見られた。
  論文  参考訳（メタデータ） (2025-05-22T17:55:43Z)
• DeepRec: Towards a Deep Dive Into the Item Space with Large Language Model Based Recommendation [83.21140655248624]
  大型言語モデル (LLM) はレコメンダシステム (RS) に導入された。 本稿では, LLM と TRM の自律的マルチターンインタラクションを実現する新しい RS である DeepRec を提案する。 公開データセットの実験では、DeepRecは従来のものとLLMベースのベースラインの両方で大幅にパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2025-05-22T15:49:38Z)
• EAGER-LLM: Enhancing Large Language Models as Recommenders through Exogenous Behavior-Semantic Integration [60.47645731801866]
  大規模言語モデル(LLM)は、高度なレコメンデータシステムの基本バックボーンとしてますます活用されている。 LLMは事前訓練された言語意味論であるが、llm-Backboneを通してゼロから協調意味論を学ぶ。 内因性行動情報と内因性行動情報とを非侵襲的に統合するデコーダのみの生成推薦フレームワークであるEAGER-LLMを提案する。
  論文  参考訳（メタデータ） (2025-02-20T17:01:57Z)
• LLMEmb: Large Language Model Can Be a Good Embedding Generator for Sequential Recommendation [57.49045064294086]
  大きな言語モデル(LLM)は、その人気とは無関係に、アイテム間の意味的関係をキャプチャする能力を持つ。 LLMEmb(LLMEmb)は、LCMを利用してアイテム埋め込みを生成し、逐次レコメンダシステム(SRS)の性能を向上させる手法である。
  論文  参考訳（メタデータ） (2024-09-30T03:59:06Z)
• Unleash LLMs Potential for Recommendation by Coordinating Twin-Tower Dynamic Semantic Token Generator [60.07198935747619]
  動的セマンティック・インデックス・パラダイムを採用した最初の生成型RSであるTTDS(Twin-Tower Dynamic Semantic Recommender)を提案する。 より具体的には、ツイン・トワー・セマンティック・トークン・ジェネレータをLLMベースのレコメンデータに統合する動的知識融合フレームワークを初めて提案する。 提案したTTDSレコメンデータは,平均19.41%のヒットレート,20.84%のNDCG測定値を実現している。
  論文  参考訳（メタデータ） (2024-09-14T01:45:04Z)
• DimeRec: A Unified Framework for Enhanced Sequential Recommendation via Generative Diffusion Models [39.49215596285211]
  シークエンシャルレコメンデーション(SR:Sequential Recommendation)は、非定常的な歴史的相互作用に基づいてユーザの好みに合わせてレコメンデーションを調整することによって、レコメンデーションシステムにおいて重要な役割を担っている。 誘導抽出モジュール(GEM)と生成拡散凝集モジュール(DAM)を組み合わせたDimeRecという新しいフレームワークを提案する。 我々の数値実験により、DimeRecは3つの公開データセットで確立されたベースライン法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-22T06:42:09Z)
• Beyond Inter-Item Relations: Dynamic Adaption for Enhancing LLM-Based Sequential Recommendation [83.87767101732351]
  逐次リコメンデータシステム(SRS)は,ユーザの過去のインタラクションシーケンスに基づいて,ユーザが好む次の項目を予測する。 様々なAIアプリケーションにおける大規模言語モデル(LLM)の台頭に触発されて、LLMベースのSRSの研究が急増している。 我々は,大きめの粒度適応の上に構築された逐次レコメンデーションモデルであるDARecを提案する。
  論文  参考訳（メタデータ） (2024-08-14T10:03:40Z)
• DELRec: Distilling Sequential Pattern to Enhance LLMs-based Sequential Recommendation [7.914816884185941]
  逐次リコメンデーション(SR)タスクは,ユーザの行動シーケンスを学習し,過去のインタラクションと好みの変化を関連付けることによって,ユーザの次のインタラクションを予測することを目的としている。 従来のSRモデルは、外部ソースからアイテムタイトルに埋め込まれたより広いコンテキストや意味情報を無視して、トレーニングデータ内のシーケンシャルなパターンをキャプチャすることだけに重点を置いていることが多い。 大規模言語モデル(LLM)は、その高度な理解能力と強力な一般化能力により、最近SRタスクにおいて有望であることが示されている。
  論文  参考訳（メタデータ） (2024-06-17T02:47:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。