論文の概要: Language Representations Can be What Recommenders Need: Findings and Potentials
- arxiv url: http://arxiv.org/abs/2407.05441v2
- Date: Thu, 03 Oct 2024 03:41:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-04 23:28:27.419468
- Title: Language Representations Can be What Recommenders Need: Findings and Potentials
- Title(参考訳): 言語表現はレコメンダが必要とするもの:発見と可能性
- Authors: Leheng Sheng, An Zhang, Yi Zhang, Yuxin Chen, Xiang Wang, Tat-Seng Chua,
- Abstract要約: 先進的なLM表現から線形にマッピングされた項目表現は、より優れたレコメンデーション性能が得られることを示す。
この結果は、先進言語表現空間と効果的な項目表現空間との同型性を示唆している。
本研究は,自然言語処理とリコメンデーションシステムコミュニティの両方に刺激を与える言語モデリングと行動モデリングの関連性を強調した。
- 参考スコア(独自算出の注目度): 57.90679739598295
- License:
- Abstract: Recent studies empirically indicate that language models (LMs) encode rich world knowledge beyond mere semantics, attracting significant attention across various fields. However, in the recommendation domain, it remains uncertain whether LMs implicitly encode user preference information. Contrary to prevailing understanding that LMs and traditional recommenders learn two distinct representation spaces due to the huge gap in language and behavior modeling objectives, this work re-examines such understanding and explores extracting a recommendation space directly from the language representation space. Surprisingly, our findings demonstrate that item representations, when linearly mapped from advanced LM representations, yield superior recommendation performance. This outcome suggests the possible homomorphism between the advanced language representation space and an effective item representation space for recommendation, implying that collaborative signals may be implicitly encoded within LMs. Motivated by these findings, we explore the possibility of designing advanced collaborative filtering (CF) models purely based on language representations without ID-based embeddings. To be specific, we incorporate several crucial components to build a simple yet effective model, with item titles as the input. Empirical results show that such a simple model can outperform leading ID-based CF models, which sheds light on using language representations for better recommendation. Moreover, we systematically analyze this simple model and find several key features for using advanced language representations: a good initialization for item representations, zero-shot recommendation abilities, and being aware of user intention. Our findings highlight the connection between language modeling and behavior modeling, which can inspire both natural language processing and recommender system communities.
- Abstract(参考訳): 近年の研究では、言語モデル(LM)が単なる意味論を超えた豊かな世界知識を符号化し、様々な分野において大きな注目を集めていることが実証されている。
しかし、レコメンデーション領域では、LMが暗黙的にユーザの好み情報をエンコードするかどうかは不明である。
言語と行動モデリングの目的に大きなギャップがあるため、LMと従来のレコメンデータが2つの異なる表現空間を学ぶという一般的な理解とは対照的に、この研究はそのような理解を再検討し、言語表現空間から直接レコメンデーション空間を抽出することを模索する。
意外なことに、先進的なLM表現から線形にマッピングされた項目表現は、より優れたレコメンデーション性能が得られることを示した。
この結果は、先進言語表現空間と推奨のための効果的な項目表現空間との間の準同型を示唆し、協調信号がLM内に暗黙的に符号化されることを示唆している。
これらの知見により,IDを組み込まずに言語表現を純粋にベースとした高度な協調フィルタリング(CF)モデルの設計の可能性を検討する。
具体的には、単純だが効果的なモデルを構築するためにいくつかの重要なコンポーネントを組み込み、アイテムタイトルを入力として使用します。
実証的な結果から、このような単純なモデルは、先進的なIDベースのCFモデルよりも優れていることが示され、言語表現の使用に光を当てて、より優れたレコメンデーションが期待できる。
さらに,この単純なモデルを体系的に解析し,先進言語表現を使用するための重要な特徴として,項目表現の優れた初期化,ゼロショットレコメンデーション能力,ユーザ意図の認識などがある。
本研究は,自然言語処理とリコメンデーションシステムコミュニティの両方に刺激を与える言語モデリングと行動モデリングの関連性を強調した。
関連論文リスト
- RAR: Retrieving And Ranking Augmented MLLMs for Visual Recognition [78.97487780589574]
MLLM(Multimodal Large Language Models)は、細粒度カテゴリの分類において優れている。
本稿では,MLLMの検索とランク付けのための拡張手法を提案する。
提案手法は, 微粒化認識における固有の限界に対処するだけでなく, モデルの包括的知識基盤も維持する。
論文 参考訳(メタデータ) (2024-03-20T17:59:55Z) - Unlocking the Potential of Large Language Models for Explainable
Recommendations [55.29843710657637]
説明ジェネレータを最近登場した大規模言語モデル(LLM)に置き換える影響は、まだ不明である。
本研究では,シンプルで効果的な2段階説明可能なレコメンデーションフレームワークであるLLMXRecを提案する。
いくつかの重要な微調整技術を採用することで、制御可能で流動的な説明が十分に生成できる。
論文 参考訳(メタデータ) (2023-12-25T09:09:54Z) - RecExplainer: Aligning Large Language Models for Explaining Recommendation Models [50.74181089742969]
大規模言語モデル (LLM) は、理解、推論、指導において顕著な知性を示した。
本稿では, ブラックボックスレコメンデータモデルを説明するために, LLM を代理モデルとして利用することについて検討する。
効果的なアライメントを容易にするために,行動アライメント,意図アライメント,ハイブリッドアライメントという3つの手法を導入する。
論文 参考訳(メタデータ) (2023-11-18T03:05:43Z) - Representation Learning with Large Language Models for Recommendation [34.46344639742642]
本稿では,大規模言語モデル (LLM) を用いた表現学習によるレコメンデータの強化を目的とした,モデルに依存しないフレームワーク RLMRec を提案する。
RLMRecには補助的なテキスト信号が組み込まれており、LLMが権限を持つユーザ/イテムプロファイリングパラダイムを開発し、LLMの意味空間と協調的関係信号の表現空間を整合させる。
論文 参考訳(メタデータ) (2023-10-24T15:51:13Z) - Semantics-Aware Dynamic Localization and Refinement for Referring Image
Segmentation [102.25240608024063]
画像の参照は、言語表現からのイメージセグメントを参照する。
そこで我々は,局所化中心からセグメンテーション言語へ移行するアルゴリズムを開発した。
比較すると,本手法はより汎用的で有効である。
論文 参考訳(メタデータ) (2023-03-11T08:42:40Z) - Bidirectional Representations for Low Resource Spoken Language
Understanding [39.208462511430554]
双方向リッチ符号化における音声符号化のための表現モデルを提案する。
このアプローチでは、表現を学習するために、マスク付き言語モデリングの目的を使用する。
得られたエンコーディングの性能は、複数のデータセットで比較できるモデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2022-11-24T17:05:16Z) - UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。
事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。
本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文 参考訳(メタデータ) (2022-05-23T11:01:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。