論文の概要: TokenRec: Learning to Tokenize ID for LLM-based Generative Recommendation

• arxiv url: http://arxiv.org/abs/2406.10450v1
• Date: Sat, 15 Jun 2024 00:07:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 00:22:43.664683
• Title: TokenRec: Learning to Tokenize ID for LLM-based Generative Recommendation
• Title（参考訳）: TokenRec: LLMに基づくジェネレーティブレコメンデーションのためのトークンIDの学習
• Authors: Haohao Qu, Wenqi Fan, Zihuai Zhao, Qing Li,
• Abstract要約: TokenRecは、大規模言語モデル(LLM)ベースのRecommender Systems(RecSys)のトークン化と検索のための新しいフレームワークである。 我々の戦略であるMasked Vector-Quantized (MQ) Tokenizerは、協調フィルタリングから学んだマスキングされたユーザ/イテム表現を離散トークンに定量化する。 我々の生成的検索パラダイムは,自動回帰復号処理やビーム検索処理の不要さを解消するために,ユーザに対してKドル以上のアイテムを効率的に推奨するように設計されている。
• 参考スコア（独自算出の注目度）: 16.93374578679005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There is a growing interest in utilizing large-scale language models (LLMs) to advance next-generation Recommender Systems (RecSys), driven by their outstanding language understanding and in-context learning capabilities. In this scenario, tokenizing (i.e., indexing) users and items becomes essential for ensuring a seamless alignment of LLMs with recommendations. While several studies have made progress in representing users and items through textual contents or latent representations, challenges remain in efficiently capturing high-order collaborative knowledge into discrete tokens that are compatible with LLMs. Additionally, the majority of existing tokenization approaches often face difficulties in generalizing effectively to new/unseen users or items that were not in the training corpus. To address these challenges, we propose a novel framework called TokenRec, which introduces not only an effective ID tokenization strategy but also an efficient retrieval paradigm for LLM-based recommendations. Specifically, our tokenization strategy, Masked Vector-Quantized (MQ) Tokenizer, involves quantizing the masked user/item representations learned from collaborative filtering into discrete tokens, thus achieving a smooth incorporation of high-order collaborative knowledge and a generalizable tokenization of users and items for LLM-based RecSys. Meanwhile, our generative retrieval paradigm is designed to efficiently recommend top-$K$ items for users to eliminate the need for the time-consuming auto-regressive decoding and beam search processes used by LLMs, thus significantly reducing inference time. Comprehensive experiments validate the effectiveness of the proposed methods, demonstrating that TokenRec outperforms competitive benchmarks, including both traditional recommender systems and emerging LLM-based recommender systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)を利用した次世代Recommender Systems(RecSys)の進化への関心が高まっている。 このシナリオでは、LLMとレコメンデーションのシームレスなアライメントを保証するために、ユーザとアイテムのトークン化(インデックス化)が不可欠である。 ユーザやアイテムをテキストの内容や潜在表現で表現する研究はいくつかあるが、LLMと互換性のある個別のトークンに高次協調的な知識を効率よく取得する上での課題は残る。 さらに、既存のトークン化アプローチの大半は、トレーニングコーパスにない新規/未使用のユーザやアイテムに効果的に一般化する上で困難に直面していることが多い。 これらの課題に対処するために,TokenRecという新しいフレームワークを提案する。これは,有効なIDトークン化戦略だけでなく,LLMベースのレコメンデーションのための効率的な検索パラダイムも導入する。 具体的には、トークン化戦略であるMasked Vector-Quantized (MQ) Tokenizerは、協調フィルタリングから学んだマスク付きユーザ/イテム表現を離散トークンに定量化することで、高次協調知識のスムーズな取り込みとLLMベースのRecSysのユーザおよびアイテムの一般化可能なトークン化を実現する。 一方,我々の生成検索パラダイムは,LLMが使用する自動回帰復号法やビーム探索法の必要性を解消し,推論時間を大幅に削減するために,ユーザに対してKドル以上のアイテムを効率的に推奨するように設計されている。 提案手法の有効性を総合的に検証し,TokenRecが従来のレコメンデータシステムとLLMベースのレコメンデータシステムの両方を含む競合ベンチマークより優れていることを示した。

関連論文リスト

• Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
  大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。 この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。 そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
  論文  参考訳（メタデータ） (2024-11-07T10:31:31Z)
• Real-Time Personalization for LLM-based Recommendation with Customized In-Context Learning [57.28766250993726]
  この研究は、モデル更新なしに動的なユーザ関心に適応することを検討する。 既存のLarge Language Model (LLM)ベースのレコメンダは、レコメンデーションチューニング中にコンテキスト内学習能力を失うことが多い。 本稿では,レコメンデーション固有のインコンテキスト学習をリアルタイムレコメンデーションにカスタマイズするRecICLを提案する。
  論文  参考訳（メタデータ） (2024-10-30T15:48:36Z)
• Beyond Retrieval: Generating Narratives in Conversational Recommender Systems [4.912663905306209]
  本稿では,会話レコメンデーションにおける自然言語生成タスクのための新しいデータセット(REGEN)を提案する。 我々は、よく知られた生成指標を用いてベンチマークを作成し、レーダLEMを用いて新しいデータセットの自動評価を行う。 そして、私たちの知る限りでは、レコメンデーター信号を理解し、リッチな物語を生成することにおけるLLMの能力を分析する最初の試みである。
  論文  参考訳（メタデータ） (2024-10-22T07:53:41Z)
• STORE: Streamlining Semantic Tokenization and Generative Recommendation with A Single LLM [59.08493154172207]
  本稿では,意味的トークン化と生成的レコメンデーションプロセスを合理化する統合フレームワークを提案する。 我々は,意味的トークン化をテキスト・ツー・ケントタスクとして定式化し,生成的推薦をトークン・ツー・ケントタスクとして,トークン・ツー・ケント・コンストラクションタスクとテキスト・ツー・ケント補助タスクで補足する。 これらのタスクはすべて生成的な方法でフレーム化され、単一の大規模言語モデル(LLM)バックボーンを使用してトレーニングされる。
  論文  参考訳（メタデータ） (2024-09-11T13:49:48Z)
• Improving LLMs for Recommendation with Out-Of-Vocabulary Tokens [51.584024345378005]
  本稿では,Large Language Models (LLMs) ベースのレコメンデータシステムにおいて,ユーザや項目を効果的にトークンする方法を示す。 語彙内トークンに加えて、語彙外トークン(OOV)の役割も強調する。 提案するフレームワークは,様々なダウンストリームレコメンデーションタスクにおいて,既存の最先端メソッドよりも優れている。
  論文  参考訳（メタデータ） (2024-06-12T17:59:05Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• Improve Temporal Awareness of LLMs for Sequential Recommendation [61.723928508200196]
  大規模言語モデル(LLM)は、幅広い汎用タスクを解く際、印象的なゼロショット能力を示した。 LLMは時間的情報の認識と利用に不足しており、シーケンシャルなデータの理解を必要とするタスクではパフォーマンスが悪い。 LLMに基づくシーケンシャルレコメンデーションのために、歴史的相互作用の中で時間情報を利用する3つのプロンプト戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-05T00:21:26Z)
• RA-Rec: An Efficient ID Representation Alignment Framework for LLM-based Recommendation [9.606111709136675]
  LLMに基づくレコメンデーションのための効率的なID表現フレームワークであるRA-Recを提案する。 RA-Recは最先端のメソッドを大幅に上回り、最大3.0%のHitRate@100の改善を実現している。
  論文  参考訳（メタデータ） (2024-02-07T02:14:58Z)
• Representation Learning with Large Language Models for Recommendation [34.46344639742642]
  本稿では,大規模言語モデル (LLM) を用いた表現学習によるレコメンデータの強化を目的とした,モデルに依存しないフレームワーク RLMRec を提案する。 RLMRecには補助的なテキスト信号が組み込まれており、LLMが権限を持つユーザ/イテムプロファイリングパラダイムを開発し、LLMの意味空間と協調的関係信号の表現空間を整合させる。
  論文  参考訳（メタデータ） (2023-10-24T15:51:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。