論文の概要: Farewell to Item IDs: Unlocking the Scaling Potential of Large Ranking Models via Semantic Tokens

• arxiv url: http://arxiv.org/abs/2601.22694v1
• Date: Fri, 30 Jan 2026 08:12:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.314698
• Title: Farewell to Item IDs: Unlocking the Scaling Potential of Large Ranking Models via Semantic Tokens
• Title（参考訳）: 項目IDの欠点:意味的トークンによる大規模ランク付けモデルのスケーリング可能性の解き放つ
• Authors: Zhen Zhao, Tong Zhang, Jie Xu, Qingliang Cai, Qile Zhang, Leyuan Yang, Daorui Xiao, Xiaojia Chang,
• Abstract要約: セマンティックトークンはアイテムIDと比較してスケーリング可能性が高いことを示す。 提案するフレームワークであるTRMはトークン生成とアプリケーションパイプラインを改善し,スパースストレージを33%削減する。 大規模な実験により、TRMはモデルキャパシティがスケールした場合、常に最先端のモデルより優れていることが示された。
• 参考スコア（独自算出の注目度）: 13.493133701658573
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent studies on scaling up ranking models have achieved substantial improvement for recommendation systems and search engines. However, most large-scale ranking systems rely on item IDs, where each item is treated as an independent categorical symbol and mapped to a learned embedding. As items rapidly appear and disappear, these embeddings become difficult to train and maintain. This instability impedes effective learning of neural network parameters and limits the scalability of ranking models. In this paper, we show that semantic tokens possess greater scaling potential compared to item IDs. Our proposed framework TRM improves the token generation and application pipeline, leading to 33% reduction in sparse storage while achieving 0.85% AUC increase. Extensive experiments further show that TRM could consistently outperform state-of-the-art models when model capacity scales. Finally, TRM has been successfully deployed on large-scale personalized search engines, yielding 0.26% and 0.75% improvement on user active days and change query ratio respectively through A/B test.
• Abstract（参考訳）: ランキングモデルのスケールアップに関する最近の研究は,レコメンデーションシステムや検索エンジンの大幅な改善を実現している。 しかし、ほとんどの大規模ランキングシステムはアイテムIDに依存しており、各アイテムは独立した分類記号として扱われ、学習された埋め込みにマップされる。 アイテムが急速に現れて消えていくと、これらの埋め込みは訓練や維持が困難になる。 この不安定性は、ニューラルネットワークパラメータの効果的な学習を妨げ、ランキングモデルのスケーラビリティを制限する。 本稿では,セマンティックトークンが項目IDよりも拡張可能性が高いことを示す。 提案するフレームワークであるTRMはトークン生成とアプリケーションパイプラインを改善し,スパースストレージを33%削減し,AUCの0.85%向上を実現した。 大規模な実験により、TRMはモデルキャパシティのスケールで常に最先端のモデルより優れていることが示されている。 最後に、TRMは大規模パーソナライズされた検索エンジンへのデプロイに成功し、A/Bテストによるユーザアクティブデーの0.26%と0.75%の改善とクエリ比の変更を実現している。

関連論文リスト

• TTS-VAR: A Test-Time Scaling Framework for Visual Auto-Regressive Generation [48.61855865678161]
  視覚的自己回帰(VAR)モデルのための、最初の一般的なテスト時間スケーリングフレームワークを提示する。 クラスタリングに基づく多様性探索と再サンプリングに基づく潜在的選択を提案する。 強力なVARモデルであるInfinityの実験は、注目すべき8.7%のGenEvalスコアの改善を示している。
  論文  参考訳（メタデータ） (2025-07-24T16:04:55Z)
• Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
  我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。 SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2025-05-10T17:15:49Z)
• Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
  生成検索は、検索を自己回帰生成タスクとして再構成し、大きな言語モデルがクエリから直接ターゲット文書を生成する。 生成的検索におけるトレーニングと推論のスケーリング法則を体系的に検討し,モデルのサイズ,トレーニングデータスケール,推論時間計算が協調的に性能に与える影響について検討した。
  論文  参考訳（メタデータ） (2025-03-24T17:59:03Z)
• SeiT++: Masked Token Modeling Improves Storage-efficient Training [36.95646819348317]
  近年のDeep Neural Network(DNN)モデルでは,コンピュータビジョンタスクのパフォーマンスが大幅に向上している。 高度に一般化可能で高性能なビジョンモデルを実現するには、拡張データセットが必要である。 SeiTによる最近のブレークスルーは、Vector-Quantized (VQ)特徴ベクトル(トークン)を視覚分類のためのネットワーク入力として使用することを提案した。 本稿では,自己指導型事前学習のためのMasked Token Modeling (MTM)を統合し,SeyTを拡張した。
  論文  参考訳（メタデータ） (2023-12-15T04:11:34Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Enhancing the Generalization for Intent Classification and Out-of-Domain Detection in SLU [70.44344060176952]
  インテント分類は、音声言語理解(SLU)における主要な課題である 近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。 本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-28T08:27:38Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。