論文の概要: CoST: Contrastive Quantization based Semantic Tokenization for Generative Recommendation

• arxiv url: http://arxiv.org/abs/2404.14774v2
• Date: Sat, 07 Sep 2024 16:11:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 01:58:21.539719
• Title: CoST: Contrastive Quantization based Semantic Tokenization for Generative Recommendation
• Title（参考訳）: CoST:ジェネレーティブレコメンデーションのためのコントラスト量子化に基づく意味的トークン化
• Authors: Jieming Zhu, Mengqun Jin, Qijiong Liu, Zexuan Qiu, Zhenhua Dong, Xiu Li,
• Abstract要約: 我々は、アイテムの関係と意味情報の両方を利用して意味的トークンを学習する、コントラッシブな量子化に基づく意味的トークン化手法CoSTを提案する。 この結果から,意味的トークン化が生成的推薦性能に与える影響が明らかとなった。
• 参考スコア（独自算出の注目度）: 38.97136297977874
• License:
• Abstract: Embedding-based retrieval serves as a dominant approach to candidate item matching for industrial recommender systems. With the success of generative AI, generative retrieval has recently emerged as a new retrieval paradigm for recommendation, which casts item retrieval as a generation problem. Its model consists of two stages: semantic tokenization and autoregressive generation. The first stage involves item tokenization that constructs discrete semantic tokens to index items, while the second stage autoregressively generates semantic tokens of candidate items. Therefore, semantic tokenization serves as a crucial preliminary step for training generative recommendation models. Existing research usually employs a vector quantizier with reconstruction loss (e.g., RQ-VAE) to obtain semantic tokens of items, but this method fails to capture the essential neighborhood relationships that are vital for effective item modeling in recommender systems. In this paper, we propose a contrastive quantization-based semantic tokenization approach, named CoST, which harnesses both item relationships and semantic information to learn semantic tokens. Our experimental results highlight the significant impact of semantic tokenization on generative recommendation performance, with CoST achieving up to a 43% improvement in Recall@5 and 44% improvement in NDCG@5 on the MIND dataset over previous baselines.
• Abstract（参考訳）: 埋め込み型検索は、産業レコメンデーションシステムにおける候補項目マッチングに対する支配的なアプローチとして機能する。 生成型AIの成功に伴い、生成型検索はレコメンデーションのための新しい検索パラダイムとして登場し、アイテム検索を生成問題として捉えている。 そのモデルはセマンティックトークン化と自己回帰生成という2つの段階から構成される。 第1段階は、個別の意味トークンを構成するアイテムトークン化と、第2段階は、候補項目のセマンティックトークンを自動回帰的に生成する。 したがって、意味的トークン化は、生成的レコメンデーションモデルをトレーニングするための重要な予備ステップとなる。 既存の研究では、復元損失(例えばRQ-VAE)を持つベクトル量子化器を用いてアイテムのセマンティックトークンを取得するが、この手法はレコメンデーターシステムにおいて効果的なアイテムモデリングに不可欠である必須の近傍関係を捉えることに失敗する。 本稿では、アイテム関係と意味情報の両方を利用して意味的トークンを学習する、コントラッシブな量子化に基づく意味的トークン化手法であるCoSTを提案する。 実験結果から, セマンティックトークン化が生成レコメンデーション性能に与える影響が明らかになり, CoSTはリコール@5が43%, NDCG@5が44%向上した。

関連論文リスト

• Unleash LLMs Potential for Recommendation by Coordinating Twin-Tower Dynamic Semantic Token Generator [60.07198935747619]
  動的セマンティック・インデックス・パラダイムを採用した最初の生成型RSであるTTDS(Twin-Tower Dynamic Semantic Recommender)を提案する。 より具体的には、ツイン・トワー・セマンティック・トークン・ジェネレータをLLMベースのレコメンデータに統合する動的知識融合フレームワークを初めて提案する。 提案したTTDSレコメンデータは,平均19.41%のヒットレート,20.84%のNDCG測定値を実現している。
  論文  参考訳（メタデータ） (2024-09-14T01:45:04Z)
• SC-Rec: Enhancing Generative Retrieval with Self-Consistent Reranking for Sequential Recommendation [18.519480704213017]
  SC-Recは2つの異なる項目の指標と複数のプロンプトテンプレートから多様な嗜好知識を学習する統合レコメンデータシステムである。 SC-Recはシーケンシャルレコメンデーションのための最先端の手法よりも優れており、モデルの様々な出力から補完的な知識を効果的に取り入れている。
  論文  参考訳（メタデータ） (2024-08-16T11:59:01Z)
• Enhancing Retrieval-Augmented LMs with a Two-stage Consistency Learning Compressor [4.35807211471107]
  本研究では,検索強化言語モデルにおける検索情報圧縮のための2段階一貫性学習手法を提案する。 提案手法は複数のデータセットにまたがって実験的に検証され,質問応答タスクの精度と効率が顕著に向上したことを示す。
  論文  参考訳（メタデータ） (2024-06-04T12:43:23Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Recommender Systems with Generative Retrieval [58.454606442670034]
  本稿では,対象候補の識別子を自己回帰的に復号する新たな生成検索手法を提案する。 そのために、各項目のセマンティックIDとして機能するために、意味論的に意味のあるコードワードを作成します。 提案手法を用いて学習した推薦システムは,様々なデータセット上での現在のSOTAモデルよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-08T21:48:17Z)
• Detecting Human-Object Interactions with Object-Guided Cross-Modal Calibrated Semantics [6.678312249123534]
  我々は,オブジェクト指向の統計モデルを用いて,エンドツーエンドのモデルを強化することを目指している。 本稿では,Verb Semantic Model (VSM) とセマンティックアグリゲーション(セマンティックアグリゲーション)を用いて,このオブジェクト誘導階層から利益を得る方法を提案する。 上記のモジュールの組み合わせは、オブジェクト指向クロスモーダルネットワーク(OCN)を構成する。
  論文  参考訳（メタデータ） (2022-02-01T07:39:04Z)
• Sequential Recommendation via Stochastic Self-Attention [68.52192964559829]
  Transformerベースのアプローチでは、アイテムをベクトルとして埋め込んで、ドット積の自己アテンションを使用してアイテム間の関係を測定する。 本稿では,これらの問題を克服するための新しいtextbfStochastic textbfSelf-textbfAttention (STOSA) を提案する。 我々は、アイテムと項目の位置関係を列で特徴づける新しいワッサースタイン自己保持モジュールを考案した。
  論文  参考訳（メタデータ） (2022-01-16T12:38:45Z)
• Contrastive Self-supervised Sequential Recommendation with Robust Augmentation [101.25762166231904]
  Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。 データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。 逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T07:15:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。