論文の概要: Generating Long Semantic IDs in Parallel for Recommendation

• arxiv url: http://arxiv.org/abs/2506.05781v1
• Date: Fri, 06 Jun 2025 06:20:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.347876
• Title: Generating Long Semantic IDs in Parallel for Recommendation
• Title（参考訳）: 勧告のための並列における長セマンティックIDの生成
• Authors: Yupeng Hou, Jiacheng Li, Ashley Shin, Jinsung Jeon, Abhishek Santhanam, Wei Shao, Kaveh Hassani, Ning Yao, Julian McAuley,
• Abstract要約: セマンティックIDベースのリコメンデーションのための軽量フレームワークであるRPGを提案する。 我々は、マルチトークン予測損失を用いて、各トークンを独立して予測するようにモデルを訓練する。 実験の結果、セマンティックIDの長さを64にスケールアップすることで、RPGは生成ベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 29.97624755406803
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semantic ID-based recommendation models tokenize each item into a small number of discrete tokens that preserve specific semantics, leading to better performance, scalability, and memory efficiency. While recent models adopt a generative approach, they often suffer from inefficient inference due to the reliance on resource-intensive beam search and multiple forward passes through the neural sequence model. As a result, the length of semantic IDs is typically restricted (e.g. to just 4 tokens), limiting their expressiveness. To address these challenges, we propose RPG, a lightweight framework for semantic ID-based recommendation. The key idea is to produce unordered, long semantic IDs, allowing the model to predict all tokens in parallel. We train the model to predict each token independently using a multi-token prediction loss, directly integrating semantics into the learning objective. During inference, we construct a graph connecting similar semantic IDs and guide decoding to avoid generating invalid IDs. Experiments show that scaling up semantic ID length to 64 enables RPG to outperform generative baselines by an average of 12.6% on the NDCG@10, while also improving inference efficiency. Code is available at: https://github.com/facebookresearch/RPG_KDD2025.
• Abstract（参考訳）: セマンティックIDベースのレコメンデーションモデルは、各項目を少数の個別トークンにトークン化し、特定のセマンティクスを保存することにより、パフォーマンス、スケーラビリティ、メモリ効率が向上する。 最近のモデルでは生成的アプローチが採用されているが、リソース集約的なビームサーチに依存し、複数のフォワードがニューラルシーケンスモデルを通過するため、しばしば非効率な推論に悩まされる。 その結果、セマンティックIDの長さは通常制限され(例:4トークン)、表現性が制限される。 これらの課題に対処するため、セマンティックIDベースのリコメンデーションのための軽量フレームワークであるRPGを提案する。 キーとなる考え方は、秩序のない長いセマンティックIDを生成し、モデルがすべてのトークンを並列に予測できるようにすることである。 我々は,学習目標に意味論を直接組み込んだマルチトークン予測損失を用いて,各トークンを独立して予測するようにモデルを訓練する。 推論中に、類似のセマンティックIDとガイドデコーディングを結合したグラフを構築し、不正なIDの生成を避ける。 実験によると、セマンティックIDの長さを64に拡大することで、RPGはNDCG@10で平均12.6%の生成ベースラインを上回り、推論効率も向上する。 コードは、https://github.com/facebookresearch/RPG_KDD2025で入手できる。

関連論文リスト

• Order-agnostic Identifier for Large Language Model-based Generative Recommendation [94.37662915542603]
  アイテムは、ユーザ履歴をエンコードし、次のアイテムを生成するために、LLM(Large Language Models)の識別子に割り当てられる。 既存のアプローチでは、トークンシーケンス識別子を使用して、アイテムを個別のトークンシーケンスとして表現するか、IDまたはセマンティック埋め込みを使用して単一トークン識別子を使用する。 本稿では,セマンティック・トークンライザを利用するSETRecを提案する。
  論文  参考訳（メタデータ） (2025-02-15T15:25:38Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Language Models As Semantic Indexers [78.83425357657026]
  本稿では,ジェネレーティブ言語モデルを用いてセマンティックIDを学習するための自己教師型フレームワークLMIndexerを紹介する。 学習したIDの質を検証し,推奨,製品検索,文書検索の3つの課題において有効性を示す。
  論文  参考訳（メタデータ） (2023-10-11T18:56:15Z)
• Better Generalization with Semantic IDs: A Case Study in Ranking for Recommendations [24.952222114424146]
  本稿では、ランダムIDの代替としてコンテンツ由来の特徴を用いることを提案する。 我々は、ID機能をコンテンツベースの埋め込みに置き換えるだけで、記憶能力の低下により品質が低下することを示した。 コンテンツ埋め込みと同様に、セマンティックIDのコンパクトさはレコメンデーションモデルにおいて容易に適応できる問題を引き起こす。
  論文  参考訳（メタデータ） (2023-06-13T20:34:15Z)
• Recommender Systems with Generative Retrieval [58.454606442670034]
  本稿では,対象候補の識別子を自己回帰的に復号する新たな生成検索手法を提案する。 そのために、各項目のセマンティックIDとして機能するために、意味論的に意味のあるコードワードを作成します。 提案手法を用いて学習した推薦システムは,様々なデータセット上での現在のSOTAモデルよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-08T21:48:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。