論文の概要: Improving LLMs for Recommendation with Out-Of-Vocabulary Tokens

• arxiv url: http://arxiv.org/abs/2406.08477v1
• Date: Wed, 12 Jun 2024 17:59:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 22:08:54.641088
• Title: Improving LLMs for Recommendation with Out-Of-Vocabulary Tokens
• Title（参考訳）: 外語彙トークンによるレコメンデーションのためのLCMの改善
• Authors: Ting-Ji Huang, Jia-Qi Yang, Chunxu Shen, Kai-Qi Liu, De-Chuan Zhan, Han-Jia Ye,
• Abstract要約: 本稿では,Large Language Models (LLMs) ベースのレコメンデータシステムにおいて,ユーザや項目を効果的にトークンする方法を示す。 語彙内トークンに加えて、語彙外トークン(OOV)の役割も強調する。 提案するフレームワークは,様々なダウンストリームレコメンデーションタスクにおいて,既存の最先端メソッドよりも優れている。
• 参考スコア（独自算出の注目度）: 51.584024345378005
• License:
• Abstract: Characterizing users and items through vector representations is crucial for various tasks in recommender systems. Recent approaches attempt to apply Large Language Models (LLMs) in recommendation through a question and answer format, where real users and items (e.g., Item No.2024) are represented with in-vocabulary tokens (e.g., "item", "20", "24"). However, since LLMs are typically pretrained on natural language tasks, these in-vocabulary tokens lack the expressive power for distinctive users and items, thereby weakening the recommendation ability even after fine-tuning on recommendation tasks. In this paper, we explore how to effectively tokenize users and items in LLM-based recommender systems. We emphasize the role of out-of-vocabulary (OOV) tokens in addition to the in-vocabulary ones and claim the memorization of OOV tokens that capture correlations of users/items as well as diversity of OOV tokens. By clustering the learned representations from historical user-item interactions, we make the representations of user/item combinations share the same OOV tokens if they have similar properties. Furthermore, integrating these OOV tokens into the LLM's vocabulary allows for better distinction between users and items and enhanced capture of user-item relationships during fine-tuning on downstream tasks. Our proposed framework outperforms existing state-of-the-art methods across various downstream recommendation tasks.
• Abstract（参考訳）: ユーザやアイテムをベクトル表現で特徴付けることは、レコメンデータシステムにおける様々なタスクに不可欠である。 近年のアプローチでは、質問と回答の形式を通じてLarge Language Models (LLM) を適用し、実際のユーザとアイテム(例: Item No.2024)を語彙内トークン(例: "item", "20", "24")で表現する。 しかし, LLMは通常, 自然言語タスクで事前訓練されているため, これらの語彙内トークンは特徴的ユーザや項目の表現力に欠けており, 推薦タスクを微調整しても推奨能力は低下する。 本稿では,LLMベースのレコメンデータシステムにおいて,ユーザやアイテムを効果的にトークン化する方法について検討する。 我々は、語彙内トークンに加えて、語彙外トークン(OOV)の役割を強調し、ユーザ/イテムの相関やOOVトークンの多様性を捉えるOOVトークンの記憶を主張する。 過去のユーザとイテムのインタラクションから学習した表現をクラスタリングすることで、ユーザ/イテムの組み合わせの表現を、類似した特性を持つ場合と同じOOVトークンを共有する。 さらに、これらのOOVトークンをLLMの語彙に組み込むことで、ユーザとアイテムの区別をより良くし、下流タスクの微調整中にユーザとイテムの関係を捉えることができる。 提案するフレームワークは,様々なダウンストリームレコメンデーションタスクにおいて,既存の最先端メソッドよりも優れている。

関連論文リスト

• Laser: Parameter-Efficient LLM Bi-Tuning for Sequential Recommendation with Collaborative Information [76.62949982303532]
  協調情報を用いた逐次レコメンデーションのためのパラメータ効率の高い大規模言語モデルバイチューニングフレームワーク(Laser)を提案する。 我々のレーザーでは,プレフィックスを用いてユーザと協調的な情報を取り込み,LLMをレコメンデーションタスクに適応させ,サフィックスは言語空間からレコメンデーションスペースへのLLMの出力埋め込みをリコメンデーション項目レコメンデーションスペースに変換する。 M-Formerは軽量なMoEベースのクエリ変換器で、クエリ専門家のセットを使用して、凍結IDベースのシーケンシャルレコメンデータシステムによって符号化された多様なユーザ固有の協調情報を統合する。
  論文  参考訳（メタデータ） (2024-09-03T04:55:03Z)
• Large Language Model Driven Recommendation [34.45328907249946]
  言語主導のレコメンデーションの出現は、リコメンデーションのための自然言語(NL)インタラクションの使用を解放した。 この章では、LLMの一般NL能力が、高度にパーソナライズされたRSを構築する新しい機会を導く方法について論じる。
  論文  参考訳（メタデータ） (2024-08-20T15:36:24Z)
• TokenRec: Learning to Tokenize ID for LLM-based Generative Recommendation [16.93374578679005]
  TokenRecは、大規模言語モデル(LLM)ベースのRecommender Systems(RecSys)のトークン化と検索のための新しいフレームワークである。 我々の戦略であるMasked Vector-Quantized (MQ) Tokenizerは、協調フィルタリングから学んだマスキングされたユーザ/イテム表現を離散トークンに定量化する。 我々の生成的検索パラダイムは,自動回帰復号処理やビーム検索処理の不要さを解消するために,ユーザに対してKドル以上のアイテムを効率的に推奨するように設計されている。
  論文  参考訳（メタデータ） (2024-06-15T00:07:44Z)
• Item-Language Model for Conversational Recommendation [10.256524103913666]
  ユーザインタラクション信号をエンコードするテキスト整列アイテム表現を生成するために,ILM(Item-Language Model)を提案する。 項目エンコーダにおける言語アライメントの重要性とユーザインタラクション知識の両立を実証する広範な実験を行う。
  論文  参考訳（メタデータ） (2024-06-05T01:35:50Z)
• SEP: Self-Enhanced Prompt Tuning for Visual-Language Model [68.68025991850115]
  SEP(Self-Enhanced Prompt Tuning)という新しいアプローチを導入する。 SEPは、テキストレベルの埋め込みと視覚レベルの埋め込みの両方を強化するために、差別的な事前知識を明示的に取り入れている。 様々なベンチマークやタスクの総合的な評価は、プロンプトチューニングにおけるSEPの有効性を確認している。
  論文  参考訳（メタデータ） (2024-05-24T13:35:56Z)
• Reindex-Then-Adapt: Improving Large Language Models for Conversational Recommendation [50.19602159938368]
  大規模言語モデル(LLM)は、会話レコメンデーションシステムに革命をもたらしている。 本稿では,マルチトークンのタイトルを単一トークンに変換するReindex-Then-Adapt(RTA)フレームワークを提案する。 本フレームワークでは,3つの対話推薦データセットの精度向上を実証する。
  論文  参考訳（メタデータ） (2024-05-20T15:37:55Z)
• Parameter-Efficient Conversational Recommender System as a Language Processing Task [52.47087212618396]
  会話レコメンデータシステム(CRS)は,自然言語会話を通じてユーザの嗜好を喚起することで,ユーザに対して関連項目を推薦することを目的としている。 先行作業では、アイテムのセマンティック情報、対話生成のための言語モデル、関連する項目のランク付けのためのレコメンデーションモジュールとして、外部知識グラフを利用することが多い。 本稿では、自然言語の項目を表現し、CRSを自然言語処理タスクとして定式化する。
  論文  参考訳（メタデータ） (2024-01-25T14:07:34Z)
• Hypergraph Enhanced Knowledge Tree Prompt Learning for Next-Basket Recommendation [50.55786122323965]
  次バスケットレコメンデーション(NBR)は、対応するバスケットシーケンスが与えられた次のバスケット内のアイテムを推論することを目的としている。 HEKP4NBRは知識グラフ(KG)をKTP(Knowledge Tree Prompt)と呼ばれるプロンプトに変換し、PLMがOOV(Out-Of-Vocabulary)アイテムIDをエンコードするのを助ける。 ハイパーグラフ畳み込みモジュールは、複数の側面からMoEモデルによって測定されたアイテム類似性に基づいてハイパーグラフを構築するように設計されている。
  論文  参考訳（メタデータ） (2023-12-26T02:12:21Z)
• COLA: Improving Conversational Recommender Systems by Collaborative Augmentation [9.99763097964222]
  アイテム表現学習とユーザ嗜好モデリングの両方を改善するために,協調的拡張(COLA)手法を提案する。 すべての会話から対話型ユーザテムグラフを構築し,ユーザ認識情報によってアイテム表現を拡大する。 ユーザの嗜好モデルを改善するため,学習コーパスから類似した会話を検索し,ユーザの興味を反映した関連項目や属性を用いてユーザ表現を増強する。
  論文  参考訳（メタデータ） (2022-12-15T12:37:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。