論文の概要: TokenMinds: Pretrained User Tokens and Embeddings for User Understanding in Large Recommender Systems

• arxiv url: http://arxiv.org/abs/2606.25147v1
• Date: Tue, 23 Jun 2026 20:20:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.138284
• Title: TokenMinds: Pretrained User Tokens and Embeddings for User Understanding in Large Recommender Systems
• Title（参考訳）: TokenMinds: 大規模レコメンダシステムにおけるユーザ理解のための事前トレーニングされたユーザトークンと埋め込み
• Authors: Qingyun Liu, Bo Yan, Yang Liu, Yuji Roh, Ekansh Sharma, Likang Yin, Emma Olowo, Min-hsuan Tsai, Yuxuan Li, Diego Uribe, Saksham Aggarwal, Siqi Wu, Yuan Hao, Vikas Kedigehalli, Lukasz Heldt, Lichan Hong, Li Wei, Xinyang Yi,
• Abstract要約: TokenMindsはPLUMフレームワークをアイテム検索からユーザモデリングまで拡張する産業規模のシステムである。 個別のSIDベースのユーザトークンと、事前訓練されたLLMから適応したエンコーダデコーダアーキテクチャにより、密なユーザ埋め込みの両方を生成する。
• 参考スコア（独自算出の注目度）: 22.086361560657593
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: User modeling in industrial recommender systems typically produces dense embeddings, which suffer from representational constraints inherent to fixed-dimensional vectors. An emerging alternative for discrete user representation -- using LLMs to generate text-based user tokens -- captures topical co-occurrences rather than deep sequential behavior dynamics and produces outputs that are difficult to ground to item attributes. Meanwhile, Semantic ID (SID) based item tokenization has proven effective for improving generalization in generative recommendation, yet discrete SID-based representations for users remain largely unexplored. We propose TokenMinds, an industrial-scale system that extends the PLUM framework from item retrieval to user modeling, generating both discrete SID-based user tokens and dense user embeddings via an encoder-decoder architecture adapted from pre-trained LLMs. This dual-output design provides the complementary benefits of discrete, semantically grounded user representations while maintaining compatibility with existing downstream models that rely on dense embeddings. Additionally, the shared SID vocabulary naturally extends to cross-scenario modeling: by unifying long-form and short-form video behaviors into a single model, we substantially reduce training and serving costs. We validate TokenMinds through extensive offline experiments and live launches on multiple YouTube surfaces, served on full user traffic (billions of users) via an asynchronous infrastructure that decouples representation generation from downstream scoring. Focusing on ranking as the primary downstream use case, our results confirm the practical viability of SID-based user tokens at industrial scale and demonstrate that tokens and dense embeddings provide complementary value across different production ranking systems.
• Abstract（参考訳）: 産業レコメンデータシステムにおけるユーザモデリングは、一般に、固定次元ベクトルに固有の表現的制約に悩まされる密着な埋め込みを生成する。 LLMを使ってテキストベースのユーザトークンを生成する、離散的なユーザ表現の新たな代替手段は、深いシーケンシャルな振る舞いのダイナミクスではなく、トピックの共起をキャプチャし、アイテム属性をグラウンディングするのが難しいアウトプットを生成する。 一方、セマンティックID(SID)に基づくアイテムトークン化は、ジェネレーティブレコメンデーションにおける一般化を改善するのに有効であることが証明されている。 TokenMindsは、PLUMフレームワークをアイテム検索からユーザモデリングまで拡張し、事前学習されたLLMから適応したエンコーダ・デコーダアーキテクチャを用いて、離散SIDベースのユーザトークンと高密度ユーザ埋め込みの両方を生成する産業規模のシステムである。 このデュアルアウトプット設計は、密接な埋め込みに依存する既存の下流モデルとの互換性を維持しながら、個別でセマンティックな基底を持つユーザ表現の相補的な利点を提供する。 さらに,共有SID語彙は,長文・短文の動画行動を単一モデルに統一することにより,トレーニングやサービスコストを大幅に削減する。 TokenMindsを大規模なオフライン実験を通じて検証し、複数のYouTubeサーフェスでライブローンチし、ダウンストリームスコアリングから表現生成を分離する非同期インフラストラクチャを介して、完全なユーザトラフィック(ユーザ数億)を提供する。 本研究は,産業規模でのSIDベースのユーザトークンの実用性を確認するとともに,各種製品ランキングシステムにおいて,トークンと密着型埋め込みが相補的価値を提供することを示す。

関連論文リスト

• From Local Indices to Global Identifiers: Generative Reranking for Recommender Systems via Global Action Space [50.72071213515985]
  GloRankは、ローカルインデックスの選択からグローバル識別子の生成に移行する、ジェネレーティブなフレームワークである。 我々はGloRankが最先端のベースラインを一貫して上回り、コールドスタートシナリオにおいて優れたロバスト性を実現することを示す。
  論文  参考訳（メタデータ） (2026-04-28T06:57:00Z)
• Query as Anchor: Scenario-Adaptive User Representation via Large Language Model [28.30329175937291]
  静的エンコーディングから動的クエリ認識合成へユーザモデリングをシフトするフレームワークであるQuery-as-Anchorを提案する。 まず,産業規模の事前学習データセットであるUserUを構築し,行動系列とユーザ理解のセマンティクスを整合させる。 クラスタベースのSoft Prompt Tuningを導入し、識別潜在構造を強制する。 デプロイメントでは、シーケンスターミニでのクエリのアンカーにより、無視可能なインクリメンタルレイテンシでKVキャッシュを加速する推論が可能になる。
  論文  参考訳（メタデータ） (2026-02-16T06:09:31Z)
• GLASS: A Generative Recommender for Long-sequence Modeling via SID-Tier and Semantic Search [51.44490997013772]
  GLASSは、SID-TierとSemantic Searchを通じて、長期的なユーザ関心を生成プロセスに統合する新しいフレームワークである。 GLASSは2つの大規模実世界のデータセットの実験において最先端のベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2026-02-05T13:48:33Z)
• Masked Diffusion for Generative Recommendation [30.8737219110446]
  ジェネレーティブレコメンデーション(GR)とセマンティックID(SID)が従来のレコメンデーションアプローチに代わる有望な代替手段として登場した。 そこで我々は,マスク拡散を用いたユーザのSIDシーケンスの確率をモデル化し,学習することを提案する。 提案手法が自己回帰モデルより一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2025-11-28T09:36:26Z)
• Multi-agents based User Values Mining for Recommendation [52.26100802380767]
  効率的なユーザ値抽出のためのゼロショットマルチLLM協調フレームワークを提案する。 本研究は,本質的な意味を保ちながら,項目内容のコンデンスにテキスト要約手法を適用した。 幻覚を緩和するために,評価役と監督役の2つの特殊エージェントの役割を導入する。
  論文  参考訳（メタデータ） (2025-05-02T04:01:31Z)
• Diffusion Generative Recommendation with Continuous Tokens [21.222713476105195]
  ContRecは、連続トークンをLLMベースのRecSysにシームレスに統合するフレームワークである。 ContRecは従来型およびSOTA LLMベースのレコメンデータシステムよりも一貫して優れていることを示す。 本研究は,次世代レコメンデーションシステムにおける連続トークン化と生成モデリングの可能性を強調した。
  論文  参考訳（メタデータ） (2025-04-16T12:01:03Z)
• Learning Multi-Aspect Item Palette: A Semantic Tokenization Framework for Generative Recommendation [55.99632509895994]
  マルチアスペクトセマンティックトークン化のための新しいアプローチであるLAMIAを紹介する。 単一の埋め込みを使用するRQ-VAEとは異なり、LAMIAは独立的でセマンティックな並列な埋め込みの集合である「アイテムパレット」を学習する。 その結果,提案手法よりも提案手法の精度が大幅に向上した。
  論文  参考訳（メタデータ） (2024-09-11T13:49:48Z)
• MISSRec: Pre-training and Transferring Multi-modal Interest-aware Sequence Representation for Recommendation [61.45986275328629]
  逐次レコメンデーションのためのマルチモーダル事前学習・転送学習フレームワークであるMISSRecを提案する。 ユーザ側ではトランスフォーマーベースのエンコーダデコーダモデルを設計し、コンテキストエンコーダがシーケンスレベルのマルチモーダルユーザ興味を捉えることを学習する。 候補項目側では,ユーザ適応項目表現を生成するために動的融合モジュールを採用する。
  論文  参考訳（メタデータ） (2023-08-22T04:06:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。