論文の概要: Beyond Semantic Understanding: Preserving Collaborative Frequency Components in LLM-based Recommendation
- arxiv url: http://arxiv.org/abs/2508.10312v1
- Date: Thu, 14 Aug 2025 03:33:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-15 22:24:48.172555
- Title: Beyond Semantic Understanding: Preserving Collaborative Frequency Components in LLM-based Recommendation
- Title（参考訳）: 意味的理解を超えて:LLMに基づく勧告における協調周波数成分の保存
- Authors: Minhao Wang, Yunhang He, Cong Xu, Zhangchi Zhu, Wei Zhang,
- Abstract要約: FreLLM4Recは、スペクトルの観点からの意味的および協調的な情報のバランスをとるために設計されたアプローチである。
4つのベンチマークデータセットの実験により、FreLLM4Recは協調的な信号減衰を軽減した。
- 参考スコア（独自算出の注目度）: 7.014265360936046
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recommender systems in concert with Large Language Models (LLMs) present promising avenues for generating semantically-informed recommendations. However, LLM-based recommenders exhibit a tendency to overemphasize semantic correlations within users' interaction history. When taking pretrained collaborative ID embeddings as input, LLM-based recommenders progressively weaken the inherent collaborative signals as the embeddings propagate through LLM backbones layer by layer, as opposed to traditional Transformer-based sequential models in which collaborative signals are typically preserved or even enhanced for state-of-the-art performance. To address this limitation, we introduce FreLLM4Rec, an approach designed to balance semantic and collaborative information from a spectral perspective. Item embeddings that incorporate both semantic and collaborative information are first purified using a Global Graph Low-Pass Filter (G-LPF) to preliminarily remove irrelevant high-frequency noise. Temporal Frequency Modulation (TFM) then actively preserves collaborative signal layer by layer. Note that the collaborative preservation capability of TFM is theoretically guaranteed by establishing a connection between the optimal but hard-to-implement local graph fourier filters and the suboptimal yet computationally efficient frequency-domain filters. Extensive experiments on four benchmark datasets demonstrate that FreLLM4Rec successfully mitigates collaborative signal attenuation and achieves competitive performance, with improvements of up to 8.00\% in NDCG@10 over the best baseline. Our findings provide insights into how LLMs process collaborative information and offer a principled approach for improving LLM-based recommendation systems.
- Abstract（参考訳）: LLM(Large Language Models)と協調したレコメンダシステムは、セマンティックなインフォームドレコメンデーションを生成するための有望な道を示す。
しかし、LLMベースのレコメンデータは、ユーザのインタラクション履歴における意味的相関を過度に強調する傾向がある。
事前訓練されたコラボレーティブIDの埋め込みを入力とする際、LLMベースのレコメンデーションは、コラボレーティブ信号が通常保存される、あるいは最先端のパフォーマンスのために拡張される従来のトランスフォーマーベースのシーケンシャルモデルとは対照的に、LLMバックボーン層を介して伝播するため、固有のコラボレーティブ信号を徐々に弱める。
この制限に対処するために、スペクトルの観点から意味情報と協調情報のバランスをとるために設計されたFreLLM4Recを導入する。
まずG-LPF(Global Graph Low-Pass Filter)を用いて、意味的情報と協調的情報の両方を組み込んだアイテム埋め込みを行い、無関係な高周波ノイズを予め除去する。
時間周波数変調(TFM)は、協調的な信号層を層単位で積極的に保存する。
TFMの協調保存能力は、最適だが実装が難しい局所グラフフーリエフィルタと、最適だが計算効率のよい周波数領域フィルタとの接続を確立することによって理論的に保証される。
4つのベンチマークデータセットに対する大規模な実験は、FreLLM4Recがコラボレーティブな信号減衰を緩和し、最高のベースラインよりも最大8.00\%改善したことを実証している。
本研究は,LLMが協調情報をどのように処理するかについての知見を提供し,LLMに基づくレコメンデーションシステムを改善するための原則的アプローチを提供する。
関連論文リスト
- When Transformers Meet Recommenders: Integrating Self-Attentive Sequential Recommendation with Fine-Tuned LLMs [0.0]
SASRecLLMは、Low-Rank Adaptation (LoRA)を使用して微調整されたLLMで、SASRecをコラボレーティブエンコーダとして統合する新しいフレームワークである。
複数のデータセットの実験によると、SASRecLLMは、コールドスタートとウォームスタートの両方のシナリオにおいて、強いベースラインよりも堅牢で一貫性のある改善を実現している。
論文 参考訳（メタデータ） (2025-07-08T07:26:55Z) - Federated Learning-Enabled Hybrid Language Models for Communication-Efficient Token Transmission [87.68447072141402]
ハイブリッド言語モデル(HLM)は、エッジデバイス上でのSLM(Small Language Model)の低レイテンシ効率と、集中型サーバ上でのLLM(Large Language Model)の高精度を組み合わせたものである。
我々は、不確実性を考慮した推論とフェデレートラーニング(FL)を統合する通信効率の高いHLMフレームワークであるFedHLMを提案する。
論文 参考訳（メタデータ） (2025-06-30T02:56:11Z) - LLM2Rec: Large Language Models Are Powerful Embedding Models for Sequential Recommendation [49.78419076215196]
シーケンスレコメンデーションは、類似したユーザやアイテムの履歴行動から協調フィルタリング(CF)信号をモデル化することで、ユーザの将来のインタラクションを予測することを目的としている。
従来のシーケンシャルなレコメンダは、高次の共起パターンを通じてCF信号をキャプチャするIDベースの埋め込みに依存している。
大規模言語モデル(LLM)の最近の進歩は、テキスト記述からアイテム表現を導出するテキストベースのレコメンデーションアプローチを動機付けている。
理想的な埋め込みモデルは、ドメイン内およびドメイン外のレコメンデーションパフォーマンスを改善するために、CF信号とリッチなセマンティック表現をシームレスに統合すべきである、と我々は主張する。
論文 参考訳（メタデータ） (2025-06-16T13:27:06Z) - What LLMs Miss in Recommendations: Bridging the Gap with Retrieval-Augmented Collaborative Signals [4.297070083645049]
ユーザとイテムのインタラクションには、多くの成功したレコメンデーションシステムのバックボーンを形成する、リッチなコラボレーティブなシグナルが含まれている。
大規模言語モデル(LLM)がこの種類の協調的な情報を効果的に説明できるかどうかは不明だ。
構造化された相互作用データにそれらの予測を基礎づけることによりLLMを強化する単純な検索拡張生成(RAG)手法を提案する。
論文 参考訳（メタデータ） (2025-05-27T05:18:57Z) - DeepRec: Towards a Deep Dive Into the Item Space with Large Language Model Based Recommendation [83.21140655248624]
大型言語モデル (LLM) はレコメンダシステム (RS) に導入された。
本稿では, LLM と TRM の自律的マルチターンインタラクションを実現する新しい RS である DeepRec を提案する。
公開データセットの実験では、DeepRecは従来のものとLLMベースのベースラインの両方で大幅にパフォーマンスが向上している。
論文 参考訳（メタデータ） (2025-05-22T15:49:38Z) - Ingest-And-Ground: Dispelling Hallucinations from Continually-Pretrained LLMs with RAG [2.7972592976232833]
プライバシ固有の知識ベースでベースLLMモデルを継続的に事前トレーニングし、セマンティックRAGレイヤで拡張します。
提案手法は,プライバシ関連クエリの処理において,モデル性能を向上することを示す。
論文 参考訳（メタデータ） (2024-09-30T20:32:29Z) - DaRec: A Disentangled Alignment Framework for Large Language Model and Recommender System [83.34921966305804]
大規模言語モデル (LLM) はレコメンデーションシステムにおいて顕著な性能を示した。
LLMと協調モデルのための新しいプラグ・アンド・プレイアライメントフレームワークを提案する。
我々の手法は既存の最先端アルゴリズムよりも優れている。
論文 参考訳（メタデータ） (2024-08-15T15:56:23Z) - Bridging LLMs and KGs without Fine-Tuning: Intermediate Probing Meets Subgraph-Aware Entity Descriptions [49.36683223327633]
大規模言語モデル(LLM)は、幅広い世界の知識をカプセル化し、強力なコンテキストモデリング能力を示す。
実効的で効率的なKGCを実現するために,LLMの強みを頑健な知識表現と相乗化するための新しいフレームワークを提案する。
従来手法に比べて47%の相対的な改善を達成し,我々の知る限り,ファインチューニング LLM に匹敵する分類性能を初めて達成した。
論文 参考訳（メタデータ） (2024-08-13T10:15:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。