論文の概要: DaRec: A Disentangled Alignment Framework for Large Language Model and Recommender System

• arxiv url: http://arxiv.org/abs/2408.08231v2
• Date: Sat, 21 Dec 2024 15:59:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:50:38.967136
• Title: DaRec: A Disentangled Alignment Framework for Large Language Model and Recommender System
• Title（参考訳）: DaRec: 大規模言語モデルとレコメンダシステムのための分散アライメントフレームワーク
• Authors: Xihong Yang, Heming Jing, Zixing Zhang, Jindong Wang, Huakang Niu, Shuaiqiang Wang, Yu Lu, Junfeng Wang, Dawei Yin, Xinwang Liu, En Zhu, Defu Lian, Erxue Min,
• Abstract要約: 大規模言語モデル (LLM) はレコメンデーションシステムにおいて顕著な性能を示した。 LLMと協調モデルのための新しいプラグ・アンド・プレイアライメントフレームワークを提案する。 我々の手法は既存の最先端アルゴリズムよりも優れている。
• 参考スコア（独自算出の注目度）: 83.34921966305804
• License:
• Abstract: Benefiting from the strong reasoning capabilities, Large language models (LLMs) have demonstrated remarkable performance in recommender systems. Various efforts have been made to distill knowledge from LLMs to enhance collaborative models, employing techniques like contrastive learning for representation alignment. In this work, we prove that directly aligning the representations of LLMs and collaborative models is sub-optimal for enhancing downstream recommendation tasks performance, based on the information theorem. Consequently, the challenge of effectively aligning semantic representations between collaborative models and LLMs remains unresolved. Inspired by this viewpoint, we propose a novel plug-and-play alignment framework for LLMs and collaborative models. Specifically, we first disentangle the latent representations of both LLMs and collaborative models into specific and shared components via projection layers and representation regularization. Subsequently, we perform both global and local structure alignment on the shared representations to facilitate knowledge transfer. Additionally, we theoretically prove that the specific and shared representations contain more pertinent and less irrelevant information, which can enhance the effectiveness of downstream recommendation tasks. Extensive experimental results on benchmark datasets demonstrate that our method is superior to existing state-of-the-art algorithms.
• Abstract（参考訳）: 強力な推論能力から恩恵を受け、Large Language Model (LLM) はレコメンダシステムにおいて顕著な性能を示した。 LLMから知識を抽出して協調モデルを強化し、コントラスト学習のような手法を用いて表現アライメントの調整を行っている。 本研究では,LLMの表現と協調モデルを直接整合させることが,情報定理に基づく下流推薦タスクのパフォーマンス向上に最適であることを示す。 その結果、協調モデルとLLM間の意味表現を効果的に整合させるという課題は未解決のままである。 この観点から,LLMと協調モデルのための新しいプラグ・アンド・プレイアライメントフレームワークを提案する。 具体的には、まず、LLMと協調モデルの両方の潜在表現をプロジェクション層と表現正規化を介して、特定のコンポーネントと共有コンポーネントに分解する。 その後,共有表現をグローバルかつ局所的にアライメントし,知識伝達を容易にする。 さらに,特定の表現と共有表現が関連性が高く,関連性が低いことを理論的に証明し,下流レコメンデーションタスクの有効性を高めることができる。 ベンチマークデータセットの大規模な実験結果から,本手法は既存の最先端アルゴリズムよりも優れていることが示された。

関連論文リスト

• Towards Scalable Semantic Representation for Recommendation [65.06144407288127]
  大規模言語モデル(LLM)に基づく意味的IDを構築するために、Mixture-of-Codesを提案する。 提案手法は,識別性と寸法の堅牢性に優れたスケーラビリティを実現し,提案手法で最高のスケールアップ性能を実現する。
  論文  参考訳（メタデータ） (2024-10-12T15:10:56Z)
• CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
  本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。 そこで本研究では,学習バランスを定量的に評価する尺度を提案する。 さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T23:18:55Z)
• Enhancing Collaborative Semantics of Language Model-Driven Recommendations via Graph-Aware Learning [10.907949155931474]
  大規模言語モデル(LLM)は、レコメンデーションシステムドメインにおいてますます顕著になっている。 Gal-Recは、グラフニューラルネットワーク(GNN)の意図を模倣することで、ユーザとイテムの協調的意味論の理解を強化する Gal-Recはコラボレーティブセマンティクスの理解を大幅に強化し、レコメンデーションパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2024-06-19T05:50:15Z)
• SLMRec: Empowering Small Language Models for Sequential Recommendation [38.51895517016953]
  シーケンシャルレコメンデーションタスクでは、過去のインタラクションを考慮して、ユーザが対話する可能性のある次の項目を予測する。 最近の研究は、LCMがシーケンシャルレコメンデーションシステムに与える影響を実証している。 LLM の巨大なサイズのため、現実のプラットフォームに LLM ベースのモデルを適用するのは非効率で実用的ではない。
  論文  参考訳（メタデータ） (2024-05-28T07:12:06Z)
• Learning to Reduce: Optimal Representations of Structured Data in Prompting Large Language Models [42.16047343029512]
  大規模言語モデル(LLM)は汎用AIエージェントとして広く利用されている。 本稿では,入力コンテキストの縮小バージョンを生成するために,言語モデルを微調整するフレームワークであるLearning to Reduceを提案する。 入力コンテキストから関連する証拠を選択する際に,本モデルが同等の精度を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-22T00:41:23Z)
• Representation Learning with Large Language Models for Recommendation [34.46344639742642]
  本稿では,大規模言語モデル (LLM) を用いた表現学習によるレコメンデータの強化を目的とした,モデルに依存しないフレームワーク RLMRec を提案する。 RLMRecには補助的なテキスト信号が組み込まれており、LLMが権限を持つユーザ/イテムプロファイリングパラダイムを開発し、LLMの意味空間と協調的関係信号の表現空間を整合させる。
  論文  参考訳（メタデータ） (2023-10-24T15:51:13Z)
• LLMRec: Benchmarking Large Language Models on Recommendation Task [54.48899723591296]
  推奨領域におけるLarge Language Models (LLMs) の適用について, 十分に検討されていない。 我々は、評価予測、シーケンシャルレコメンデーション、直接レコメンデーション、説明生成、レビュー要約を含む5つのレコメンデーションタスクにおいて、市販のLLMをベンチマークする。 ベンチマークの結果,LLMは逐次的・直接的推薦といった精度に基づくタスクにおいて適度な熟練度しか示さないことがわかった。
  論文  参考訳（メタデータ） (2023-08-23T16:32:54Z)
• A Survey on Large Language Models for Recommendation [77.91673633328148]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。 本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
  論文  参考訳（メタデータ） (2023-05-31T13:51:26Z)
• On Learning to Summarize with Large Language Models as References [101.79795027550959]
  大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。 より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2023-05-23T16:56:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。