論文の概要: Expressiveness Limits of Autoregressive Semantic ID Generation in Generative Recommendation

• arxiv url: http://arxiv.org/abs/2605.06331v1
• Date: Thu, 07 May 2026 14:25:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.893589
• Title: Expressiveness Limits of Autoregressive Semantic ID Generation in Generative Recommendation
• Title（参考訳）: 生成レコメンデーションにおける自己回帰的セマンティックID生成の表現性限界
• Authors: Yupeng Hou, Haven Kim, Clark Mingxuan Ju, Eduardo Escoto, Neil Shah, Julian McAuley,
• Abstract要約: 生成レコメンデーション(GR)モデルは、ターゲットアイテムを共同でインデックスする離散トークンのシーケンスを自動回帰的に生成することで、アイテムを生成する。 本稿では,各セマンティックIDの前に潜在トークンを注入し,単一の木から複数の潜在トークン条件木に復号空間を変換する簡易な修正手法であるLatteを提案する。
• 参考スコア（独自算出の注目度）: 37.7230289841301
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative recommendation (GR) models generate items by autoregressively producing a sequence of discrete tokens that jointly index the target item. However, this autoregressive generation process also induces a structured decoding space whose impact on model expressiveness remains underexplored. Specifically, token-by-token generation can be viewed as traversing a decoding tree induced by semantic ID tokens, where leaf nodes correspond to candidate items. We observe that the item probabilities produced by GR models are strongly correlated with this tree structure: items that are close in the tree tend to receive similar probabilities for any given user, making it difficult to distinguish among them based on user-specific preferences. We further show theoretically that such structural correlations prevent GR models from representing even simple patterns that can be well captured by conventional collaborative filtering models. To mitigate this issue, we propose Latte, a simple modification that injects a latent token before each semantic ID, reshaping the decoding space from a single tree into multiple latent-token-conditioned trees. This design creates multiple paths with varying tree distances between items, relaxing tree-induced probability coupling and yielding an average of 3.45% relative improvement on NDCG@10. Our code is available at https://github.com/hyp1231/Latte.
• Abstract（参考訳）: 生成レコメンデーション(GR)モデルは、ターゲットアイテムを共同でインデックスする離散トークンのシーケンスを自動回帰的に生成することで、アイテムを生成する。 しかし、この自己回帰生成プロセスは、モデル表現性への影響が未探索のままである構造化復号空間も誘導する。 特に、トークン・バイ・トークン生成は、葉ノードが候補項目に対応するセマンティックIDトークンによって誘導されるデコードツリーをトラバースすると見なすことができる。 我々は,GRモデルが生成する項目確率が,この木構造と強く相関していることを観察した。 さらに、このような構造的相関は、GRモデルが従来の協調フィルタリングモデルでうまく捉えられるような単純なパターンでさえも表現できないことを理論的に示す。 この問題を軽減するために,各セマンティックIDの前に潜在トークンを注入する簡単な修正であるLatteを提案する。 この設計は、アイテム間のツリー距離の異なる複数のパスを生成し、ツリー誘起確率結合を緩和し、NDCG@10の平均3.45%の相対的な改善をもたらす。 私たちのコードはhttps://github.com/hyp1231/Latte.comから入手可能です。

関連論文リスト

• Tree Matching Networks for Natural Language Inference: Parameter-Efficient Semantic Understanding via Dependency Parse Trees [0.0]
  ツリーマッチングネットワーク(TMN)は、それらをスクラッチから学ぶことなく、事前にエンコードされた関係に関する情報を活用することができる。 TMNは、SNLIタスクに基づくBERTベースのモデルよりも、メモリフットプリントを大幅に削減し、トレーニング時間を大幅に短縮することで、はるかに優れた結果を得ることができる。
  論文  参考訳（メタデータ） (2025-11-28T21:06:11Z)
• CoFiRec: Coarse-to-Fine Tokenization for Generative Recommendation [55.783414010717074]
  CoFiRecは、アイテム情報をセマンティックレベルに分解する新しい生成レコメンデーションフレームワークである。 我々は、CoFiRecが既存の手法より優れており、ジェネレーティブレコメンデーションの新しい視点を提供することを示す。
  論文  参考訳（メタデータ） (2025-11-27T18:59:35Z)
• Generating Long Semantic IDs in Parallel for Recommendation [29.97624755406803]
  セマンティックIDベースのリコメンデーションのための軽量フレームワークであるRPGを提案する。 我々は、マルチトークン予測損失を用いて、各トークンを独立して予測するようにモデルを訓練する。 実験の結果、セマンティックIDの長さを64にスケールアップすることで、RPGは生成ベースラインを上回ります。
  論文  参考訳（メタデータ） (2025-06-06T06:20:37Z)
• RASD: Retrieval-Augmented Speculative Decoding [5.3926068062773895]
  投機的復号化は大規模言語モデル(LLM)における推論を加速する 本稿では,モデルに基づく投機的復号化を促進する検索手法を採用したRASD(Retrieval-Augmented Speculative Decoding)を提案する。
  論文  参考訳（メタデータ） (2025-03-05T12:10:14Z)
• Tree Variational Autoencoders [5.992683455757179]
  本稿では,潜在変数上の柔軟木に基づく後続分布を学習する階層的階層クラスタリングモデルを提案する。 TreeVAEは、本質的な特徴に従ってサンプルを階層的に分割し、データ内の隠れた構造に光を遮る。
  論文  参考訳（メタデータ） (2023-06-15T09:25:04Z)
• SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
  MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。 我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。 これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。 得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
  論文  参考訳（メタデータ） (2023-06-08T17:59:58Z)
• Complex Event Forecasting with Prediction Suffix Trees: Extended Technical Report [70.7321040534471]
  複合イベント認識(CER)システムは、イベントのリアルタイムストリーム上のパターンを"即時"検出する能力によって、過去20年間に人気が高まっている。 このような現象が実際にCERエンジンによって検出される前に、パターンがいつ発生するかを予測する方法が不足している。 複雑なイベント予測の問題に対処しようとする形式的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-01T09:52:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。