論文の概要: Learning Variable-Length Tokenization for Generative Recommendation
- arxiv url: http://arxiv.org/abs/2605.17779v1
- Date: Mon, 18 May 2026 02:57:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:48.612659
- Title: Learning Variable-Length Tokenization for Generative Recommendation
- Title（参考訳）: 生成レコメンデーションのための可変長トークン化の学習
- Authors: Minhao Wang, Bowen Wu, Wei Zhang,
- Abstract要約: 可変長トークン化学習フレームワークであるVarLenRecを開発した。
VarLenRecは、推奨精度とトレーニング/推論効率において最先端のメソッドよりも大幅に改善されている。
- 参考スコア（独自算出の注目度）: 4.158422133805639
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative recommendation reformulates recommendation as next-token prediction over discrete semantic identifiers (IDs). A fundamental yet unexplored design choice is that existing methods employ fixed-length tokenization for all items, implicitly assuming uniform encoding capacity regardless of item characteristics. Through systematic experiments across four datasets, we discover the Popularity-Length Paradox: popular items achieve optimal performance with short IDs, while tail items require substantially longer codes to capture discriminative semantics. This reveals a critical mismatch where popular items benefit from abundant collaborative signals and require minimal semantic detail, whereas tail items must rely on fine-grained content features due to sparse interaction data. To address this, we propose VarLenRec, a framework for learning variable-length tokenization. We develop Popularity-Weighted Information Budget Allocation (PIBA), an information-theoretic framework proving that optimal ID length should scale as a negative power of popularity. Directly implementing variable-length allocation faces two technical challenges: standard Euclidean residual quantization lacks geometric capacity to support diverse code lengths without distortion, and discrete length decisions are non-differentiable. We address these through Hyperbolic Residual Quantization, which leverages the exponential volume growth of the Poincaré ball to naturally stratify encoding capacity, and a Soft Length Controller, which enables differentiable length prediction via continuous layer retention probabilities regularized by PIBA-derived priors. Extensive experiments demonstrate that VarLenRec achieves significant improvements over state-of-the-art methods in recommendation accuracy and training/inference efficiency, revealing the importance of adaptive encoding capacity in generative recommendation.
- Abstract（参考訳）: ジェネレーティブ・レコメンデーションは、個別のセマンティック・識別子(ID)よりも次のトーケン予測としてレコメンデーションを再構成する。
基本的かつ未探索な設計選択は、既存の手法がすべての項目に対して固定長のトークン化を採用しており、アイテムの特性に関わらず一様符号化能力が仮定されていることである。
人気項目は短いIDで最適なパフォーマンスを達成する一方、尾項目は差別的意味論を捉えるのにかなり長いコードを必要とする。
このことは、人気のあるアイテムが豊富な協調信号の恩恵を受け、セマンティックな詳細を最小限にする必要があるという批判的なミスマッチを明らかにしている。
そこで本研究では,可変長トークン化学習フレームワークであるVarLenRecを提案する。
我々は,最適ID長が普及の負の力であることを示す情報理論フレームワークであるPopularity-Weighted Information Budget Allocation (PIBA)を開発した。
標準ユークリッドの残差量子化は、歪みのない多様なコード長をサポートする幾何学的能力に欠けており、離散長の決定は微分不可能である。
本稿では,ポアンカレ球の指数的体積成長を生かして符号化容量を自然に階層化するハイパーボリック残留量子化法と,PIBA由来の先行値によって正規化される連続層保持確率による可変長予測を可能にするソフト長制御器により,これらに対処する。
大規模な実験により、VarLenRecはレコメンデーション精度とトレーニング/推論効率において最先端の手法よりも大幅に改善され、生成レコメンデーションにおける適応符号化能力の重要性が明らかとなった。
関連論文リスト
- Asymmetric Generative Recommendation via Multi-Expert Projection and Multi-Faceted Hierarchical Quantization [39.92412918837748]
AsymRecは、入力と出力の表現を分離する非対称な連続離散フレームワークである。
常に最先端のジェネレーティブ・レコメンデーターを平均15.8%上回っている。
論文 参考訳（メタデータ） (2026-05-14T07:55:43Z) - Towards Efficient and Generalizable Retrieval: Adaptive Semantic Quantization and Residual Knowledge Transfer [11.95059276298165]
本稿では,逐次適応量子化(SA2CRQ)フレームワークを用いたAnchored Curriculumを提案する。
このフレームワークはアイテムパスのエントロピーに基づいてコードの長さを割り当て、長い識別IDをヘッドアイテムに割り当て、より短い一般化可能なIDをテールアイテムに割り当てる。
本稿では,SA2CRQが既存のベースライン,特にコールドスタート検索シナリオに対して一貫した改善をもたらすことを示す。
論文 参考訳（メタデータ） (2026-02-27T12:39:38Z) - Variable-Length Semantic IDs for Recommender Systems [0.0]
推薦システムにおける鍵となる課題は、アイテム空間の極端に大きな濃度である。
既存のアプローチは固定長のセマンティック識別子を生成し、すべての項目に同じ記述長を割り当てる。
これは非効率であり、自然言語と不一致であり、現実世界のカタログの高度に歪んだ周波数構造を無視している。
本稿では,適応長の項目表現を原理的確率的枠組みで学習する離散変分オートエンコーダを提案する。
論文 参考訳（メタデータ） (2026-02-18T11:29:05Z) - GLASS: A Generative Recommender for Long-sequence Modeling via SID-Tier and Semantic Search [51.44490997013772]
GLASSは、SID-TierとSemantic Searchを通じて、長期的なユーザ関心を生成プロセスに統合する新しいフレームワークである。
GLASSは2つの大規模実世界のデータセットの実験において最先端のベースラインを上回っていることを示す。
論文 参考訳（メタデータ） (2026-02-05T13:48:33Z) - Reliability-Aware Determinantal Point Processes for Robust Informative Data Selection in Large Language Models [6.463509584149428]
本稿では,確率的データアクセスを考慮した信頼性を考慮したk-DPPの実装であるProbDPPを紹介する。
我々は、この信頼性を考慮した多様性を半帯域問題とみなし、オンライン上で未知の信頼性を効率的に学習するためのUPBスタイルのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-01-31T20:14:33Z) - Differentiable Semantic ID for Generative Recommendation [65.83703273297492]
生成的推薦は、各項目がリッチコンテンツから学習された個別意味ID(SID)によって表現される新しいパラダイムを提供する。
実際には、SIDはレコメンデーションの正確さよりもコンテンツ再構成に最適化されるのが一般的である。
自然なアプローチは、セマンティックインデックスを差別化して、レコメンデーショングラデーションが直接SID学習に影響を与えるようにすることだ。
本稿では,ジェネレーティブレコメンデーションのための効果的な識別可能なセマンティックIDに向けた第一歩として,DIGERを提案する。
論文 参考訳（メタデータ） (2026-01-27T15:34:11Z) - Token-Weighted Multi-Target Learning for Generative Recommenders with Curriculum Learning [8.152671524863083]
セマンティックIDを用いた生成レコメンデーションに適した2つの補完情報ゲインに基づくトークン重み付け手法を提案する。
本稿では,2つのトークン重み付け目標と標準可能性とを協調的に最適化する,カリキュラム学習を備えた多目的学習フレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-25T11:01:14Z) - Accelerate Speculative Decoding with Sparse Computation in Verification [49.74839681322316]
投機的復号化は、複数のドラフトトークンを並列に検証することにより、自動回帰言語モデル推論を加速する。
既存のスペーシフィケーション方式は主にトークン・バイ・トーケンの自己回帰復号化のために設計されている。
そこで本研究では,注目度,FFN,MoEを両立させるスパース検証フレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-26T07:53:41Z) - Constrained Auto-Regressive Decoding Constrains Generative Retrieval [71.71161220261655]
ジェネレーティブ検索は、従来の検索インデックスデータ構造を1つの大規模ニューラルネットワークに置き換えようとしている。
本稿では,制約とビームサーチという2つの本質的な視点から,制約付き自己回帰生成の固有の制約について検討する。
論文 参考訳（メタデータ） (2025-04-14T06:54:49Z) - Learning Multi-Aspect Item Palette: A Semantic Tokenization Framework for Generative Recommendation [55.99632509895994]
マルチアスペクトセマンティックトークン化のための新しいアプローチであるLAMIAを紹介する。
単一の埋め込みを使用するRQ-VAEとは異なり、LAMIAは独立的でセマンティックな並列な埋め込みの集合である「アイテムパレット」を学習する。
その結果,提案手法よりも提案手法の精度が大幅に向上した。
論文 参考訳（メタデータ） (2024-09-11T13:49:48Z) - AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。
実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
論文 参考訳（メタデータ） (2020-06-11T16:36:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。