論文の概要: CoST: Contrastive Quantization based Semantic Tokenization for Generative Recommendation

• arxiv url: http://arxiv.org/abs/2404.14774v2
• Date: Sat, 07 Sep 2024 16:11:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 01:58:21.539719
• Title: CoST: Contrastive Quantization based Semantic Tokenization for Generative Recommendation
• Title（参考訳）: CoST:ジェネレーティブレコメンデーションのためのコントラスト量子化に基づく意味的トークン化
• Authors: Jieming Zhu, Mengqun Jin, Qijiong Liu, Zexuan Qiu, Zhenhua Dong, Xiu Li,
• Abstract要約: 我々は、アイテムの関係と意味情報の両方を利用して意味的トークンを学習する、コントラッシブな量子化に基づく意味的トークン化手法CoSTを提案する。 この結果から,意味的トークン化が生成的推薦性能に与える影響が明らかとなった。
• 参考スコア（独自算出の注目度）: 38.97136297977874
• License:
• Abstract: Embedding-based retrieval serves as a dominant approach to candidate item matching for industrial recommender systems. With the success of generative AI, generative retrieval has recently emerged as a new retrieval paradigm for recommendation, which casts item retrieval as a generation problem. Its model consists of two stages: semantic tokenization and autoregressive generation. The first stage involves item tokenization that constructs discrete semantic tokens to index items, while the second stage autoregressively generates semantic tokens of candidate items. Therefore, semantic tokenization serves as a crucial preliminary step for training generative recommendation models. Existing research usually employs a vector quantizier with reconstruction loss (e.g., RQ-VAE) to obtain semantic tokens of items, but this method fails to capture the essential neighborhood relationships that are vital for effective item modeling in recommender systems. In this paper, we propose a contrastive quantization-based semantic tokenization approach, named CoST, which harnesses both item relationships and semantic information to learn semantic tokens. Our experimental results highlight the significant impact of semantic tokenization on generative recommendation performance, with CoST achieving up to a 43% improvement in Recall@5 and 44% improvement in NDCG@5 on the MIND dataset over previous baselines.
• Abstract（参考訳）: 埋め込み型検索は、産業レコメンデーションシステムにおける候補項目マッチングに対する支配的なアプローチとして機能する。 生成型AIの成功に伴い、生成型検索はレコメンデーションのための新しい検索パラダイムとして登場し、アイテム検索を生成問題として捉えている。 そのモデルはセマンティックトークン化と自己回帰生成という2つの段階から構成される。 第1段階は、個別の意味トークンを構成するアイテムトークン化と、第2段階は、候補項目のセマンティックトークンを自動回帰的に生成する。 したがって、意味的トークン化は、生成的レコメンデーションモデルをトレーニングするための重要な予備ステップとなる。 既存の研究では、復元損失(例えばRQ-VAE)を持つベクトル量子化器を用いてアイテムのセマンティックトークンを取得するが、この手法はレコメンデーターシステムにおいて効果的なアイテムモデリングに不可欠である必須の近傍関係を捉えることに失敗する。 本稿では、アイテム関係と意味情報の両方を利用して意味的トークンを学習する、コントラッシブな量子化に基づく意味的トークン化手法であるCoSTを提案する。 実験結果から, セマンティックトークン化が生成レコメンデーション性能に与える影響が明らかになり, CoSTはリコール@5が43%, NDCG@5が44%向上した。

関連論文リスト

• Unleash LLMs Potential for Recommendation by Coordinating Twin-Tower Dynamic Semantic Token Generator [60.07198935747619]
  動的セマンティック・インデックス・パラダイムを採用した最初の生成型RSであるTTDS(Twin-Tower Dynamic Semantic Recommender)を提案する。 より具体的には、ツイン・トワー・セマンティック・トークン・ジェネレータをLLMベースのレコメンデータに統合する動的知識融合フレームワークを初めて提案する。 提案したTTDSレコメンデータは,平均19.41%のヒットレート,20.84%のNDCG測定値を実現している。
  論文  参考訳（メタデータ） (2024-09-14T01:45:04Z)
• STORE: Streamlining Semantic Tokenization and Generative Recommendation with A Single LLM [59.08493154172207]
  本稿では,意味的トークン化と生成的レコメンデーションプロセスを合理化する統合フレームワークを提案する。 我々は,意味的トークン化をテキスト・ツー・ケントタスクとして定式化し,生成的推薦をトークン・ツー・ケントタスクとして,トークン・ツー・ケント・コンストラクションタスクとテキスト・ツー・ケント補助タスクで補足する。 これらのタスクはすべて生成的な方法でフレーム化され、単一の大規模言語モデル(LLM)バックボーンを使用してトレーニングされる。
  論文  参考訳（メタデータ） (2024-09-11T13:49:48Z)
• Diffusion-based Contrastive Learning for Sequential Recommendation [6.3482831836623355]
  本稿では,CaDiRecという,文脈対応拡散に基づく逐次推薦のためのコントラスト学習を提案する。 CaDiRecは、コンテキスト対応拡散モデルを使用して、シーケンス内の所定の位置に対する代替アイテムを生成する。 フレームワーク全体をエンドツーエンドでトレーニングし、拡散モデルとレコメンデーションモデルの間でアイテムの埋め込みを共有します。
  論文  参考訳（メタデータ） (2024-05-15T14:20:37Z)
• Learnable Item Tokenization for Generative Recommendation [78.30417863309061]
  LETTER (Larnable Tokenizer for generaTivE Recommendation) を提案する。 LETTERは、セマンティック正規化のためのResidual Quantized VAE、協調正規化のためのコントラストアライメント損失、コードの割り当てバイアスを軽減するための多様性損失を組み込んでいる。
  論文  参考訳（メタデータ） (2024-05-12T15:49:38Z)
• Recommender Systems with Generative Retrieval [58.454606442670034]
  本稿では,対象候補の識別子を自己回帰的に復号する新たな生成検索手法を提案する。 そのために、各項目のセマンティックIDとして機能するために、意味論的に意味のあるコードワードを作成します。 提案手法を用いて学習した推薦システムは,様々なデータセット上での現在のSOTAモデルよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-08T21:48:17Z)
• Contrastive Self-supervised Sequential Recommendation with Robust Augmentation [101.25762166231904]
  Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。 データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。 逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T07:15:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。