論文の概要: Understanding Generative Recommendation with Semantic IDs from a Model-scaling View

• arxiv url: http://arxiv.org/abs/2509.25522v2
• Date: Fri, 03 Oct 2025 01:21:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 12:05:48.054414
• Title: Understanding Generative Recommendation with Semantic IDs from a Model-scaling View
• Title（参考訳）: モデルスケーリングから見た意味的IDを用いた生成的レコメンデーションの理解
• Authors: Jingzhe Liu, Liam Collins, Jiliang Tang, Tong Zhao, Neil Shah, Clark Mingxuan Ju,
• Abstract要約: Generative Recommendation (GR)は、リッチアイテムのセマンティクスと協調フィルタリング信号を統合する。 一般的なアプローチの1つは、セマンティックID(SID)を使用して、自動回帰ユーザーインタラクションシーケンスモデリングのセットアップでアイテムを表現することである。 SIDをベースとしたGRは,モデルをスケールアップしながら大きなボトルネックを示す。 我々は、大規模言語モデル(LLM)を直接レコメンデーションとして使用する別のGRパラダイムを再考する。
• 参考スコア（独自算出の注目度）: 57.471604518714535
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in generative models have allowed the emergence of a promising paradigm for recommender systems (RS), known as Generative Recommendation (GR), which tries to unify rich item semantics and collaborative filtering signals. One popular modern approach is to use semantic IDs (SIDs), which are discrete codes quantized from the embeddings of modality encoders (e.g., large language or vision models), to represent items in an autoregressive user interaction sequence modeling setup (henceforth, SID-based GR). While generative models in other domains exhibit well-established scaling laws, our work reveals that SID-based GR shows significant bottlenecks while scaling up the model. In particular, the performance of SID-based GR quickly saturates as we enlarge each component: the modality encoder, the quantization tokenizer, and the RS itself. In this work, we identify the limited capacity of SIDs to encode item semantic information as one of the fundamental bottlenecks. Motivated by this observation, as an initial effort to obtain GR models with better scaling behaviors, we revisit another GR paradigm that directly uses large language models (LLMs) as recommenders (henceforth, LLM-as-RS). Our experiments show that the LLM-as-RS paradigm has superior model scaling properties and achieves up to 20 percent improvement over the best achievable performance of SID-based GR through scaling. We also challenge the prevailing belief that LLMs struggle to capture collaborative filtering information, showing that their ability to model user-item interactions improves as LLMs scale up. Our analyses on both SID-based GR and LLMs across model sizes from 44M to 14B parameters underscore the intrinsic scaling limits of SID-based GR and position LLM-as-RS as a promising path toward foundation models for GR.
• Abstract（参考訳）: 生成モデルの最近の進歩は、リッチアイテムセマンティクスと協調フィルタリング信号を統一しようとするジェネレーティブレコメンデーション(GR)として知られるレコメンデーションシステム(RS)のための有望なパラダイムの出現を可能にしている。 現代の一般的なアプローチの1つはセマンティックID(SID)を使い、これはモダリティエンコーダ(例えば、大きな言語やビジョンモデル)の埋め込みから量子化された離散コードであり、自動回帰的なユーザインタラクションシーケンスモデリングのセットアップ(以下、SIDベースのGR)でアイテムを表現することである。 他の領域の生成モデルは、十分に確立されたスケーリング法則を示すが、SIDベースのGRは、モデルをスケールアップしながら、重大なボトルネックを示す。 特に、SIDベースのGRの性能は、モジュラリティエンコーダ(Modality encoder)、量子化トークン化器(Quantization tokenizer)、RS自体など、各コンポーネントを拡大するにつれて急速に飽和する。 本研究では、アイテムの意味情報を符号化するSIDの制限容量を、基本的なボトルネックの1つとして特定する。 この観察によって動機づけられた最初の取り組みとして、大規模言語モデル(LLM)を直接レコメンデータ(以下、LLM-as-RS)として使用するGRパラダイムを再検討した。 実験の結果,LSM-as-RSパラダイムはモデルスケーリング特性に優れており,SIDベースGRの最適性能よりも最大20%向上していることがわかった。 また、LLMが協調的なフィルタリング情報を取得するのに苦労しているという一般的な信念にも異議を唱え、LLMがスケールアップするにつれて、ユーザとイテムのインタラクションをモデル化する能力が向上することを示す。 SID-based GR と LLM をモデルサイズ44M から 14B のパラメータで解析し,SID-based GR と LLM-as-RS の内在的なスケーリング限界をGR の基礎モデルへの有望な経路として示す。

関連論文リスト

• Generative Recommendation with Semantic IDs: A Practitioner's Handbook [34.25784373770595]
  Generative Recommendation (GR) は、従来のモデルと比較して有望なパフォーマンスで注目を集めている。 GRの成功に寄与する重要な要因はセマンティックID(SID)であり、連続的なセマンティック表現を離散IDシーケンスに変換する。 本研究は,モジュール性に特化して設計されたセマンティックID,すなわちGRIDを用いたジェネレーティブレコメンデーションフレームワークを紹介し,オープンソース化する。
  論文  参考訳（メタデータ） (2025-07-29T20:41:51Z)
• LlamaRec-LKG-RAG: A Single-Pass, Learnable Knowledge Graph-RAG Framework for LLM-Based Ranking [0.0]
  LlamaRec-LKG-RAGは、パーソナライズされた知識グラフコンテキストをレコメンデーションランキングに統合する、新しい単一パスでエンドツーエンドのトレーニング可能なフレームワークである。 提案手法はLlamaRecアーキテクチャを拡張し,ユーザプライオリティを動的に識別する軽量なモジュールを組み込むことで実現した。 ML-100KとAmazon Beautyデータセットの実験では、主要なランキングメトリクス間でLlamaRecよりも一貫性があり、重要な改善が示されている。
  論文  参考訳（メタデータ） (2025-06-09T05:52:03Z)
• Exploring User Retrieval Integration towards Large Language Models for Cross-Domain Sequential Recommendation [66.72195610471624]
  Cross-Domain Sequential Recommendationは、異なるドメイン間でユーザのシーケンシャルな好みをマイニングし、転送することを目的としている。 本稿では,ユーザ検索手法を探索し,CDSRの性能向上を目的とした URLLM という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T09:19:54Z)
• GSVA: Generalized Segmentation via Multimodal Large Language Models [72.57095903188922]
  Generalized Referring Expression (GRES)は、従来のRESの範囲を拡張して、1つの式で複数のオブジェクトを参照したり、画像に存在しない空のターゲットを特定する。 セグメンテーションMLLMは、ユーザが特定のプロンプトで複数の主題を参照するケースを正しく扱えないため、現在のGRESの解決策は満足できないままである。 本稿では,このギャップに対処する汎用ビジョンアシスタント(GSVA)を提案する。
  論文  参考訳（メタデータ） (2023-12-15T02:54:31Z)
• Compositional Chain-of-Thought Prompting for Large Multimodal Models [46.721769077885966]
  CCoT(コンポジション・チェーン・オブ・ソート)は、新規なゼロショット・オブ・ソート・プロンプト法である。 まず,Large Language Model(LLM)を用いてSGを生成し,そのSGをプロンプトに使用して応答を生成する。 提案手法は,LMMの性能向上だけでなく,一般的なマルチモーダルベンチマーク上でのLMMの性能向上にも寄与する。
  論文  参考訳（メタデータ） (2023-11-27T22:23:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。