論文の概要: Preserving Item Semantics for Free: Rethinking Token Initialization in LLM-Based Generative Recommendation

• arxiv url: http://arxiv.org/abs/2608.07816v1
• Date: Fri, 07 Aug 2026 23:33:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.522129
• Title: Preserving Item Semantics for Free: Rethinking Token Initialization in LLM-Based Generative Recommendation
• Title（参考訳）: フリーアイテムセマンティクスの保存:LLM生成勧告におけるトークン初期化の再考
• Abstract要約: 生成レコメンデーションシステムでは、アイテムはしばしばセマンティックID(SID)を通して表現される 標準的な語彙展開は、これらのトークンをランダムなガウスベクトルとして初期化し、SIDの基礎となる連続幾何学を捨てる。 本稿では,SIDトークンの埋め込みをセマンティックな埋め込み空間において対応するセントロイドから直接初期化する,シンプルなパラメータフリーな介入を提案する。
• 参考スコア（独自算出の注目度）: 33.094341397930776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in generative recommendation (GR) leverage large language models (LLMs) as recommender backbones, enabling LLMs to directly generate recommendations conditioned on item-interaction histories. In these systems, items are often represented through semantic IDs (SIDs) added to the LLM vocabulary as special tokens. Ideally, SIDs imbue item token representations with semantic priors, thereby improving model generalization. However, standard vocabulary expansion typically initializes these tokens as random Gaussian vectors, discarding the SIDs' underlying continuous geometry and forcing the LLM to relearn token relationships from interaction data. To demonstrate the consequences of this design, we first show that training from this initialization tends to organize SID embeddings around item popularity rather than semantics. We further show that, despite partially reducing the reliance on popularity and improving cold item performance, the computationally expensive process of continual pretraining (CPT) fails to reliably recover the original semantic geometry. To address these findings, we propose a simple, parameter-free intervention that initializes SID token embeddings directly from their corresponding centroids in the semantic embedding space. Requiring only a few lines of code and no additional training or inference overhead, this drop-in approach improves pure-SFT Recall@5 by up to 16%, reaches peak performance with up to 40% fewer SFT steps, and improves cold-item Recall@5 by up to 60%. Moreover, on datasets that benefit from additional CPT, centroid initialization reaches comparable performance while requiring half as many CPT epochs. Together, our findings show that preserving SID geometry, beyond shared-prefix structure, provides a simple and effective semantic prior for LLM-based GR.
• Abstract（参考訳）: ジェネレーティブレコメンデーション(GR)の最近の進歩は、大きな言語モデル(LLM)をレコメンデーターバックボーンとして活用し、LLMがアイテム・インタラクション・ヒストリーに規定されたレコメンデーションを直接生成できるようにしている。 これらのシステムでは、アイテムはしばしば特別なトークンとしてLLM語彙に追加されるセマンティックID(SID)を通して表現される。 理想的には、SIDはアイテムトークン表現をセマンティックプリミティブで表現し、モデル一般化を改善する。 しかし、標準的な語彙展開は、これらのトークンをランダムなガウスベクトルとして初期化し、SIDの根底にある連続幾何を捨て、LLMは相互作用データからトークンの関係を起こさざるを得ない。 この設計の結果を示すために、まず、この初期化によるトレーニングは、セマンティクスではなく、アイテムの人気に関するSID埋め込みを整理する傾向があることを示す。 さらに,CPT(Continuousal Pretraining, 連続事前学習)は, 人気度を部分的に低下させ, コールドアイテム性能の向上を図っているものの, 元の意味的幾何を確実に回復できないことを示す。 これらの知見に対処するために,SIDトークンの埋め込みをセマンティックな埋め込み空間において対応するセントロイドから直接初期化する,単純でパラメータフリーな介入を提案する。 ほんの数行のコードだけで、追加のトレーニングや推論のオーバーヘッドが不要であるこのドロップインアプローチは、純粋なSFT Recall@5を最大16%改善し、最大40%のSFTステップでピークパフォーマンスを達成し、コールドイム Recall@5を最大60%改善する。 さらに、追加のCPTの恩恵を受けるデータセットでは、CPTエポックの半分を必要としながら、Centroidの初期化は同等のパフォーマンスに達する。 その結果,SID の保存構造は共有前置構造に留まらず,LLM ベースの GR に先立ってシンプルかつ効果的な意味を与えることがわかった。

関連論文リスト

• Learning from Unreachable Rewards: Hint-Conditioned Reinforcement Learning for Generative Recommendation [39.5807784132569]
  Semantic-ID生成レコメンデータは、各項目を個別のセマンティックトークンの短いシーケンスとして表現し、このトークンシーケンスを自動回帰生成することで次の項目を予測する。 このパラダイムは、アイテムID、履歴、アイテムテキストのための統一された生成インターフェースを実現するが、報酬ベースのポストトレーニング中に構造化された最適化ボトルネックも生成する。 このようなハードトレーニングインスタンスの学習信号を復元するセマンティックID生成レコメンデーションフレームワークHCGRecを提案する。 HCGRecは、教師付き微調整とバニラ報酬に基づくポストトレーニングを大幅に改善し、ゼロアドバンテージトレーニングサンプルを70%以上から20%以下に削減する。
  論文  参考訳（メタデータ） (2026-08-12T12:13:08Z)
• VaLiDRec: Variable-Length LLM-Aligned Semantic IDs for Generative Recommendation [39.59701442467294]
  VaLiDRecは、可変長LLM対応セマンティック識別子に基づく生成レコメンデーションフレームワークである。 ユーザの好みをモデル化するために、VaLiDRecはグラフ対応のソフトプロンプトを導入し、トークンセット予測としてレコメンデーションを再構成する。 実世界の4つのデータセットの実験では、VaLiDRecは、強い、シーケンシャルな生成推奨ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-07-28T02:29:10Z)
• DREAM: Dynamic Refinement of Early Assignment Mappings [7.781421530363403]
  現在のメソッドは、ユーザーからの十分なフィードバックが観測される前に、オフライントークン化を通じて各アイテムに1つの静的識別子を割り当てる。 我々は、このワンショットコミットメントを、SIDベースの生成レコメンデーションにおける基本的なコールドスタートボトルネックとみなす。 本稿では,この欠陥を解決する3段階のフレームワークであるDREAMを提案する。
  論文  参考訳（メタデータ） (2026-06-05T06:21:01Z)
• Fine-grained Semantics Integration for Large Language Model-based Recommendation [35.75224379727093]
  token-level Semantics を LLM ベースの Recommender に組み込む TS-Rec を提案する。 2つの実世界のベンチマークに関する大規模な実験は、TS-Recが伝統的および生成的ベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-02-26T05:17:24Z)
• GLASS: A Generative Recommender for Long-sequence Modeling via SID-Tier and Semantic Search [51.44490997013772]
  GLASSは、SID-TierとSemantic Searchを通じて、長期的なユーザ関心を生成プロセスに統合する新しいフレームワークである。 GLASSは2つの大規模実世界のデータセットの実験において最先端のベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2026-02-05T13:48:33Z)
• Rethinking Generative Recommender Tokenizer: Recsys-Native Encoding and Semantic Quantization Beyond LLMs [17.944727019161878]
  ReSIDは、情報保存とシーケンシャルな予測可能性の観点から学ぶことを推奨する、原則化されたSIDフレームワークである。 高いシーケンシャルおよびSIDベースの生成ベースラインを平均10%以上上回り、トークン化コストを最大122倍削減する。
  論文  参考訳（メタデータ） (2026-02-02T17:00:04Z)
• Differentiable Semantic ID for Generative Recommendation [65.83703273297492]
  生成的推薦は、各項目がリッチコンテンツから学習された個別意味ID(SID)によって表現される新しいパラダイムを提供する。 実際には、SIDはレコメンデーションの正確さよりもコンテンツ再構成に最適化されるのが一般的である。 自然なアプローチは、セマンティックインデックスを差別化して、レコメンデーショングラデーションが直接SID学習に影響を与えるようにすることだ。 本稿では,ジェネレーティブレコメンデーションのための効果的な識別可能なセマンティックIDに向けた第一歩として,DIGERを提案する。
  論文  参考訳（メタデータ） (2026-01-27T15:34:11Z)
• Unleashing the Native Recommendation Potential: LLM-Based Generative Recommendation via Structured Term Identifiers [51.64398574262054]
  本稿では,意味的にリッチで標準化されたテキストキーワードの集合として定義された用語ID(TID)を導入し,堅牢な項目識別子として機能する。 本稿では,TIDを中心にした新しいフレームワークGRLMを提案し,項目のメタデータを標準化されたTIDに変換し,統合的インストラクションファインタニングを活用して,用語の内部化とシーケンシャルレコメンデーションを協調的に最適化する。
  論文  参考訳（メタデータ） (2026-01-11T07:53:20Z)
• RecBase: Generative Foundation Model Pretraining for Zero-Shot Recommendation [78.01030342481246]
  RecBaseは、レコメンデーション指向の目的によって事前訓練されたドメインに依存しない基礎モデルである。 アイテムを階層的な概念識別子にエンコードする統一されたアイテムトークンを導入します。 我々のモデルは、ゼロショットおよびクロスドメインレコメンデーションタスクにおいて、LLMのベースラインの最大7Bパラメータのパフォーマンスを一致または超過します。
  論文  参考訳（メタデータ） (2025-09-03T08:33:43Z)
• HYPEROFA: Expanding LLM Vocabulary to New Languages via Hypernetwork-Based Embedding Initialization [50.27950279695363]
  多くの事前訓練された言語モデル (PLM) は、中級言語と低級言語で最適な性能を示す。 これを解決するための一般的な戦略は、ターゲット言語固有の新しいトークンを導入し、埋め込みを初期化し、ターゲット言語データに連続的な事前トレーニングを適用することである。 より適応的なトークン埋め込みのためのハイパーネットワークベースのアプローチであるHYPEROFAを提案する。
  論文  参考訳（メタデータ） (2025-04-21T19:40:32Z)
• Enhancing Item Tokenization for Generative Recommendation through Self-Improvement [67.94240423434944]
  生成レコメンデーションシステムは大規模言語モデル(LLM)によって駆動される 現在のアイテムトークン化手法には、テキスト記述、数値文字列、離散トークンのシーケンスの使用が含まれる。 自己改善アイテムトークン化手法を提案し,LLMがトレーニングプロセス中に独自のアイテムトークン化を洗練できるようにする。
  論文  参考訳（メタデータ） (2024-12-22T21:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。