論文の概要: Language Models Encode Collaborative Signals in Recommendation

• arxiv url: http://arxiv.org/abs/2407.05441v1
• Date: Sun, 7 Jul 2024 17:05:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 19:38:04.500064
• Title: Language Models Encode Collaborative Signals in Recommendation
• Title（参考訳）: 推薦における協調的信号を符号化する言語モデル
• Authors: Leheng Sheng, An Zhang, Yi Zhang, Yuxin Chen, Xiang Wang, Tat-Seng Chua,
• Abstract要約: 先進的なLM表現から線形にマッピングされた項目表現は、より優れたレコメンデーション性能が得られることを示す。 これらの知見に触発され,AlphaRecという名前のシンプルかつ効果的な協調フィルタリング(CF)モデルを提案する。 AlphaRecは、多層パーセプトロン(MLP)、グラフ畳み込み、コントラスト学習(CL)損失関数の3つの主要コンポーネントで構成されている。
• 参考スコア（独自算出の注目度）: 57.90679739598295
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies empirically indicate that language models (LMs) encode rich world knowledge beyond mere semantics, attracting significant attention across various fields. However, in the recommendation domain, it remains uncertain whether LMs implicitly encode user preference information. Contrary to the prevailing understanding that LMs and traditional recommender models learn two distinct representation spaces due to a huge gap in language and behavior modeling objectives, this work rethinks such understanding and explores extracting a recommendation space directly from the language representation space. Surprisingly, our findings demonstrate that item representations, when linearly mapped from advanced LM representations, yield superior recommendation performance. This outcome suggests the homomorphism between the language representation space and an effective recommendation space, implying that collaborative signals may indeed be encoded within advanced LMs. Motivated by these findings, we propose a simple yet effective collaborative filtering (CF) model named AlphaRec, which utilizes language representations of item textual metadata (e.g., titles) instead of traditional ID-based embeddings. Specifically, AlphaRec is comprised of three main components: a multilayer perceptron (MLP), graph convolution, and contrastive learning (CL) loss function, making it extremely easy to implement and train. Our empirical results show that AlphaRec outperforms leading ID-based CF models on multiple datasets, marking the first instance of such a recommender with text embeddings achieving this level of performance. Moreover, AlphaRec introduces a new language-representation-based CF paradigm with several desirable advantages: being easy to implement, lightweight, rapid convergence, superior zero-shot recommendation abilities in new domains, and being aware of user intention.
• Abstract（参考訳）: 近年の研究では、言語モデル(LM)が単なる意味論を超えた豊かな世界知識を符号化し、様々な分野において大きな注目を集めていることが実証されている。 しかし、レコメンデーション領域では、LMが暗黙的にユーザの好み情報をエンコードするかどうかは不明である。 LMと従来のレコメンダモデルが言語と行動モデリングの目的に大きなギャップがあるため、2つの異なる表現空間を学習するという一般的な理解とは対照的に、この研究はそのような理解を再考し、言語表現空間から直接レコメンデーション空間を抽出することを模索する。 意外なことに、先進的なLM表現から線形にマッピングされた項目表現は、より優れたレコメンデーション性能が得られることを示した。 この結果は、言語表現空間と効果的なレコメンデーション空間の間の準同型を示唆し、協調的な信号が実際に高度なLM内に符号化されることを示唆している。 これらの知見に触発されて、従来のIDベースの埋め込みではなく、アイテムテキストメタデータ(タイトルなど)の言語表現を利用するAlphaRecという、シンプルで効果的な協調フィルタリング(CF)モデルを提案する。 具体的には、AlphaRecは、多層パーセプトロン(MLP)、グラフ畳み込み、コントラスト学習(CL)損失関数の3つの主要コンポーネントで構成されており、実装とトレーニングが極めて容易である。 実験の結果、AlphaRecは複数のデータセット上で主要なIDベースのCFモデルよりも優れており、このレベルのパフォーマンスを達成するためのテキスト埋め込みによるレコメンデータの最初のインスタンスであることがわかった。 さらに、AlphaRecは新しい言語表現ベースのCFパラダイムを導入し、実装が容易で、軽量で、迅速な収束、新しいドメインで優れたゼロショットレコメンデーション能力、ユーザの意図を認識している。

関連論文リスト

• Boosting the Capabilities of Compact Models in Low-Data Contexts with Large Language Models and Retrieval-Augmented Generation [2.9921619703037274]
  本稿では,形態素解析の言語タスクにおいて,より小さなモデルの出力を補正するために,大言語モデル(LLM)を基盤とした検索拡張生成(RAG)フレームワークを提案する。 データ不足や訓練可能なパラメータの不足を補うために,言語情報を活用するとともに,LLMを通して解釈・蒸留された記述文法からの入力を許容する。 コンパクトなRAG支援モデルがデータスカース設定に極めて有効であることを示し、このタスクとターゲット言語に対する新しい最先端技術を実現する。
  論文  参考訳（メタデータ） (2024-10-01T04:20:14Z)
• Multi-modal Instruction Tuned LLMs with Fine-grained Visual Perception [63.03288425612792]
  マルチモーダル参照から画素単位のオブジェクト認識と自然言語記述を生成できる汎用MLLMモデルであるbfAnyRefを提案する。 本モデルでは,領域レベルの参照表現生成とセグメンテーションの多様さを含む,複数のベンチマークにおける最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-03-05T13:45:46Z)
• Unlocking the Potential of Large Language Models for Explainable Recommendations [55.29843710657637]
  説明ジェネレータを最近登場した大規模言語モデル(LLM)に置き換える影響は、まだ不明である。 本研究では,シンプルで効果的な2段階説明可能なレコメンデーションフレームワークであるLLMXRecを提案する。 いくつかの重要な微調整技術を採用することで、制御可能で流動的な説明が十分に生成できる。
  論文  参考訳（メタデータ） (2023-12-25T09:09:54Z)
• RecExplainer: Aligning Large Language Models for Explaining Recommendation Models [50.74181089742969]
  大規模言語モデル (LLM) は、理解、推論、指導において顕著な知性を示した。 本稿では, ブラックボックスレコメンデータモデルを説明するために, LLM を代理モデルとして利用することについて検討する。 効果的なアライメントを容易にするために,行動アライメント,意図アライメント,ハイブリッドアライメントという3つの手法を導入する。
  論文  参考訳（メタデータ） (2023-11-18T03:05:43Z)
• Reformulating Sequential Recommendation: Learning Dynamic User Interest with Content-enriched Language Modeling [18.297332953450514]
  本稿では、事前学習した言語モデルの意味理解機能を活用してパーソナライズされたレコメンデーションを生成するLANCERを提案する。 我々のアプローチは、言語モデルとレコメンデーションシステムの間のギャップを埋め、より人間的なレコメンデーションを生み出します。
  論文  参考訳（メタデータ） (2023-09-19T08:54:47Z)
• Exploring Large Language Model for Graph Data Understanding in Online Job Recommendations [63.19448893196642]
  本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。 この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
  論文  参考訳（メタデータ） (2023-07-10T11:29:41Z)
• Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
  目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。 このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。 新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
  論文  参考訳（メタデータ） (2022-02-03T18:55:52Z)
• Incorporating Linguistic Knowledge for Abstractive Multi-document Summarization [20.572283625521784]
  ニューラルネットワークに基づく抽象的多文書要約(MDS)モデルを開発した。 依存関係情報を言語誘導型注意機構に処理する。 言語信号の助けを借りて、文レベルの関係を正しく捉えることができる。
  論文  参考訳（メタデータ） (2021-09-23T08:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。