論文の概要: Rethinking Item Tokenization in Generative Recommenders: From Fixed Atoms to Semantic Subwords

• arxiv url: http://arxiv.org/abs/2608.22734v1
• Date: Mon, 24 Aug 2026 02:42:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.874554
• Title: Rethinking Item Tokenization in Generative Recommenders: From Fixed Atoms to Semantic Subwords
• Title（参考訳）: ジェネレーティブレコメンダにおけるアイテムトークン化の再考:固定されたAtomからセマンティックサブワードへ
• Abstract要約: 生成レコメンデーションシステムでは、アイテムは通常、自己回帰的次イテム予測のために固定長のセマンティックIDシーケンスにトークン化される。 ユーザコンテキストのモデリングでは、このきめ細かい表現が注意の過負荷を引き起こす。 本稿では,歴史的項目を可変長のセマンティック・サブワードとして表現するセマンティック・サブワード・トークン化(SST)を提案する。
• 参考スコア（独自算出の注目度）: 50.621722853036005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In generative recommender systems, items are typically tokenized into fixed-length semantic ID sequences for autoregressive next-item prediction. However, for user-context modeling, this fine-grained representation triggers Intra-item Attention Overload: excessive attention is spent on low-level intra-item dependencies rather than high-level inter-item behavioral transitions. To address this, we propose Semantic Subword Tokenization (SST), which represents historical items as variable-length semantic subwords while preserving fixed-length target decoding. SST first applies Item-level Subword Tokenization (IST) to merge stable adjacent atom tokens into compact semantic subword tokens, thereby reducing intra-item reassembly in the encoder. It then introduces Behavior-induced Co-occurrence Augmentation (BCA) to inject coarse-grained semantic prefix transition signals, guiding the freed modeling capacity toward inter-item behavioral regularities. Extensive experiments on three public datasets and three generative recommender backbones show empirical improvements of SST over fixed-length and transferable variable-length SID baselines. Code is available at https://github.com/mxrcandy/Semantic-Subword-Tokenization.
• Abstract（参考訳）: 生成レコメンデーションシステムでは、アイテムは通常、自己回帰的次イテム予測のために固定長のセマンティックIDシーケンスにトークン化される。 しかし、ユーザコンテキストのモデリングでは、このきめ細かい表現は、注意の過負荷を引き起こす: ハイレベルなinter-item動作遷移ではなく、低レベルなinter-item依存性に過剰な注意が払われる。 そこで本稿では,歴史的項目を可変長のセマンティック・サブワードとして表現するセマンティック・サブワード・トークン化(SST)を提案する。 SSTはまず、アイテムレベルのサブワードトークン化(IST)を適用して、安定した隣り合う原子トークンをコンパクトなセマンティックなサブワードトークンにマージし、エンコーダ内での再組み立てを減らす。 次に、振る舞い誘発共起拡張(BCA)を導入し、粗い粒度のセマンティックプレフィックス遷移信号を注入し、自由なモデリング能力を中間的行動正規性に導く。 3つの公開データセットと3つの生成レコメンデーションバックボーンに関する大規模な実験は、固定長および移動可能な可変長SIDベースラインよりもSSTを経験的に改善したことを示している。 コードはhttps://github.com/mxrcandy/Semantic-Subword-Tokenizationで入手できる。

関連論文リスト

• Preference Shapes Relevance: Cross-component Hierarchical Semantic Alignment for Personalized Generative Retrieval [37.821022474615994]
  Generative Retrieval (GR) は、クエリを直接セマンティックID(SID)にマッピングし、候補項目の強力な表現能力を持つ、有望なパラダイムとして登場した。 アイテムコンテンツから派生した既存のSIDはセマンティックギャップを生成し、動的クエリインテントと静的なアイテム表現の整合に失敗する。 本稿では,個別のSIDを合成してユーザ動作をモデル化し,詳細なセマンティック・リファインメントのための構造ガイダンスと連続表現を行う,新しいパーソナライズされたGRフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-31T10:30:22Z)
• Learning from Unreachable Rewards: Hint-Conditioned Reinforcement Learning for Generative Recommendation [39.5807784132569]
  Semantic-ID生成レコメンデータは、各項目を個別のセマンティックトークンの短いシーケンスとして表現し、このトークンシーケンスを自動回帰生成することで次の項目を予測する。 このパラダイムは、アイテムID、履歴、アイテムテキストのための統一された生成インターフェースを実現するが、報酬ベースのポストトレーニング中に構造化された最適化ボトルネックも生成する。 このようなハードトレーニングインスタンスの学習信号を復元するセマンティックID生成レコメンデーションフレームワークHCGRecを提案する。 HCGRecは、教師付き微調整とバニラ報酬に基づくポストトレーニングを大幅に改善し、ゼロアドバンテージトレーニングサンプルを70%以上から20%以下に削減する。
  論文  参考訳（メタデータ） (2026-08-12T12:13:08Z)
• TopoGR: Revealing and Preserving Latent Structure of Semantic ID in Generative Recommendation [25.345503799250476]
  TopoGRはBit-decomposable Semantic ID(バイナリSID)に基づくトポロジー保存型生成レコメンデーションフレームワークである TopoGRは、レコメンデーションパフォーマンスにおいて、既存の最先端のベースラインを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-07-28T02:45:33Z)
• CogRec: Structure-Cognitive Fast-and-Slow Reasoning for Generative Recommendation [29.663400191042996]
  CogRecは構造認識型高速・スロー推論フレームワークである。 CogRecは、層内セマンティックグラフとアイテムレベルの近傍で垂直SID階層を拡大する。 SIDルーティングは、レイヤワイドマッチ、 LateralJump、Explore操作によるレコメンデーション推論を表す。
  論文  参考訳（メタデータ） (2026-07-27T13:19:55Z)
• PairAlign: A Framework for Sequence Tokenization via Self-Alignment with Applications to Audio Tokenization [8.126475706520063]
  PairAlignは、シーケンスレベルの自己アライメントによるコンパクトなオーディオトークン化のためのフレームワークである。 広義の語彙を用いたコンパクトで非退化配列を学習する。 編集距離検索を保存し、アーカイブトークン数を55%削減する。
  論文  参考訳（メタデータ） (2026-05-07T17:11:22Z)
• Multigrain-aware Semantic Prototype Scanning and Tri-Token Prompt Learning Embraced High-Order RWKV for Pan-Sharpening [46.94213480279033]
  パンシャーピングのための多言語対応セマンティックプロトタイプスキャンパラダイムを提案する。 我々は、高階RWKVアーキテクチャとセマンティッククラスタリングから派生したトリトケンプロンプト機構を用いる。 実験により,本手法の優位性を実証した。
  論文  参考訳（メタデータ） (2026-04-16T05:10:03Z)
• Trie-Aware Transformers for Generative Recommendation [18.901863061905825]
  本稿では,TrieRecを提案する。TrieRecは,トランスフォーマーを構造的帰納バイアスで拡張する,トリエアウェアな生成レコメンデーション手法である。 3つの代表的なGRバックボーン内にTrieRecを実装し、実際の4つのデータセットの平均8.83%の改善を実現しています。
  論文  参考訳（メタデータ） (2026-02-25T08:25:16Z)
• C2T-ID: Converting Semantic Codebooks to Textual Document Identifiers for Generative Search [73.61009656398384]
  本稿では,階層クラスタリングによる意味的数値決定法を構築するC2T-IDを提案する。 C2T-IDは、アトミック、セマンティック・コードブック、純粋テキスト・ドシッド・ベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2025-10-22T04:05:38Z)
• Learning Multi-Aspect Item Palette: A Semantic Tokenization Framework for Generative Recommendation [55.99632509895994]
  マルチアスペクトセマンティックトークン化のための新しいアプローチであるLAMIAを紹介する。 単一の埋め込みを使用するRQ-VAEとは異なり、LAMIAは独立的でセマンティックな並列な埋め込みの集合である「アイテムパレット」を学習する。 その結果,提案手法よりも提案手法の精度が大幅に向上した。
  論文  参考訳（メタデータ） (2024-09-11T13:49:48Z)
• CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens [49.569695524535454]
  本稿では, ベクトル量子化をエンコーダに挿入することにより, 多言語音声認識モデルから導出される, 教師付きセマンティックトークンを用いた音声表現を提案する。 トークンをベースとした拡張性のあるゼロショットTSシンセサイザーであるCosyVoiceは,テキスト・ツー・ツー・ケン生成のためのLLMと,トークン・ツー・音声合成のための条件付きフローマッチングモデルから構成される。
  論文  参考訳（メタデータ） (2024-07-07T15:16:19Z)
• Learnable Item Tokenization for Generative Recommendation [113.80559032128065]
  LETTER (Larnable Tokenizer for generaTivE Recommendation) を提案する。 LETTERは、セマンティック正規化のためのResidual Quantized VAE、協調正規化のためのコントラストアライメント損失、コードの割り当てバイアスを軽減するための多様性損失を組み込んでいる。
  論文  参考訳（メタデータ） (2024-05-12T15:49:38Z)
• Pushdown Layers: Encoding Recursive Structure in Transformer Language Models [86.75729087623259]
  再帰は人間の言語の特徴であり、本質的には自己注意に挑戦する。 この作業では、新しいセルフアテンション層であるPushdown Layersを導入している。 プッシュダウン層を備えたトランスフォーマーは、劇的に改善され、3.5倍の高効率な構文一般化を実現した。
  論文  参考訳（メタデータ） (2023-10-29T17:27:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。