論文の概要: On the Equivalence Between Auto-Regressive Next Token Prediction and Full-Item-Vocabulary Maximum Likelihood Estimation in Generative Recommendation--A Short Note

• arxiv url: http://arxiv.org/abs/2604.15739v1
• Date: Fri, 17 Apr 2026 06:27:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.765871
• Title: On the Equivalence Between Auto-Regressive Next Token Prediction and Full-Item-Vocabulary Maximum Likelihood Estimation in Generative Recommendation--A Short Note
• Title（参考訳）: 生成レコメンデーションにおける自己回帰次トーケン予測と全語彙最大近似推定の等価性について-
• Authors: Yusheng Huang, Shuang Yang, Zhaojie Liu, Han Li,
• Abstract要約: ジェネレーティブレコメンデーション(GR)は、シーケンシャルレコメンデーションにおいて広く採用されているパラダイムである。 現在のGRシステムは、アイテムインデックスのトークン化、トレーニング対象としての次トーケン予測、次世代の自動回帰デコードといった、同様のパイプラインに従っている。
• 参考スコア（独自算出の注目度）: 13.85356879537006
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative recommendation (GR) has emerged as a widely adopted paradigm in industrial sequential recommendation. Current GR systems follow a similar pipeline: tokenization for item indexing, next-token prediction as the training objective and auto-regressive decoding for next-item generation. However, existing GR research mainly focuses on architecture design and empirical performance optimization, with few rigorous theoretical explanations for the working mechanism of auto-regressive next-token prediction in recommendation scenarios. In this work, we formally prove that \textbf{the k-token auto-regressive next-token prediction (AR-NTP) paradigm is strictly mathematically equivalent to full-item-vocabulary maximum likelihood estimation (FV-MLE)}, under the core premise of a bijective mapping between items and their corresponding k-token sequences. We further show that this equivalence holds for both cascaded and parallel tokenizations, the two most widely used schemes in industrial GR systems. Our result provides the first formal theoretical foundation for the dominant industrial GR paradigm, and offers principled guidance for future GR system optimization.
• Abstract（参考訳）: ジェネレーティブレコメンデーション(GR)は産業的シーケンシャルレコメンデーションにおいて広く採用されているパラダイムである。 現在のGRシステムは、アイテムインデックスのトークン化、トレーニング対象としての次トーケン予測、次世代の自動回帰デコードといった、同様のパイプラインに従っている。 しかし、既存のGR研究は主にアーキテクチャ設計と経験的性能最適化に重点を置いており、推奨シナリオにおける自己回帰的次トーケン予測の動作機構に関する厳密な理論的説明はほとんどない。 本研究は,対象物と対応するk-token配列のビジェクティブマッピングのコア前提の下で,<textbf{the k-token auto-regressive next-token prediction (AR-NTP) パラダイムが厳密に数学的にFV-MLEと等価であることを正式に証明する。 さらに、この等価性は、産業GRシステムにおいて最も広く使われている2つのスキームであるカスケードおよびパラレルトークン化の両方に対して成り立つことを示す。 本研究は,産業用GRパラダイムの形式的基礎を初めて提供し,将来的なGRシステムの最適化のための原則的ガイダンスを提供する。

関連論文リスト

• Beyond the Flat Sequence: Hierarchical and Preference-Aware Generative Recommendations [35.58864660038236]
  我々はHPGR(Hierarchical and Preference-aware Generative Recommender)という新しいフレームワークを提案する。 まず、構造化を意識した事前学習段階において、セッションベースのMasked Item Modelingの目的を用いて、階層的にインフォームドされ、セマンティックにリッチなアイテム表現空間を学ぶ。 第二に、プライオリティ対応の微調整ステージは、これらの強力な表現を活用して、Preference-Guided Sparse Attentionメカニズムを実装する。
  論文  参考訳（メタデータ） (2026-03-01T08:15:34Z)
• S$^2$GR: Stepwise Semantic-Guided Reasoning in Latent Space for Generative Recommendation [15.69884243417431]
  Generative Recommendation (GR) は、エンドツーエンドジェネレーションのアドバンテージとともに、トランスフォーメーションパラダイムとして登場した。 既存のGR法は主に相互作用シーケンスから直接セマンティックID(SID)を生成することに重点を置いている。 本稿では,潜在空間における段階的意味誘導推論(S$2$GR)を提案する。
  論文  参考訳（メタデータ） (2026-01-26T16:40:37Z)
• Context-level Language Modeling by Learning Predictive Context Embeddings [79.00607069677393]
  textbfContextLMは、固有のtextbfnext-context予測目標で標準事前学習を強化するフレームワークである。 このメカニズムは、将来のトークンチャンクから派生したエラー信号を利用して、マルチトークンコンテキストの予測表現を学ぶようモデルを訓練する。 GPT2およびPythiaモデルファミリーの実験では、1.5ドルBのパラメータまでスケールし、ContextLMがパープレキシティとダウンストリームのタスクパフォーマンスの両方で一貫した改善を提供することを示した。
  論文  参考訳（メタデータ） (2025-10-23T07:09:45Z)
• LARES: Latent Reasoning for Sequential Recommendation [96.26996622771593]
  本稿では、シークエンシャルレコメンデーションのための新しいスケーラブルなLatent ReasoningフレームワークであるLARESを紹介する。 提案手法では,パラメータの複雑性を増大させることなく推理深度を柔軟に拡張できる再帰的アーキテクチャを用いている。 我々のフレームワークは既存の高度なモデルとのシームレスな互換性を示し、推奨性能をさらに向上させる。
  論文  参考訳（メタデータ） (2025-05-22T16:22:54Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Inductive Generative Recommendation via Retrieval-based Speculation [26.70518822003545]
  生成的レコメンデーション(GR)は、アイテムを個別のトークンにトークン化し、次のトークンを予測として自動回帰的に生成することを学ぶ、新たなパラダイムである。 本稿では,プラグイン・アンド・プレイのフレームワークであるSpecGRを提案する。
  論文  参考訳（メタデータ） (2024-10-03T19:32:32Z)
• Graph-Structured Speculative Decoding [52.94367724136063]
  投機的復号化は、大規模言語モデルの推論を加速する有望な手法として登場した。 本稿では, 有向非巡回グラフ(DAG)を応用して, 起案された仮説を管理する革新的な手法を提案する。 我々は1.73$times$から1.96$times$に顕著なスピードアップを観察し、標準投機的復号法を大幅に上回った。
  論文  参考訳（メタデータ） (2024-07-23T06:21:24Z)
• Target-Embedding Autoencoders for Supervised Representation Learning [111.07204912245841]
  本稿では,対象空間が高次元な純粋教師付き環境における一般化の枠組みを解析する。 我々は、教師付き予測のための目標埋め込みオートエンコーダ(TEA)の一般的なフレームワークのモチベーションと形式化を行い、特徴とターゲットの予測の両方から予測可能なように最適化された中間潜在表現を学習する。
  論文  参考訳（メタデータ） (2020-01-23T02:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。