論文の概要: Personalized LLM Recommendation with Semantic IDs: Autoregressive Beam Search vs. Multi-Token Prediction

• arxiv url: http://arxiv.org/abs/2610.15864v1
• Date: Sun, 11 Oct 2026 19:33:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.263765
• Title: Personalized LLM Recommendation with Semantic IDs: Autoregressive Beam Search vs. Multi-Token Prediction
• Title（参考訳）: セマンティックIDを用いたパーソナライズLDMレコメンデーション:自己回帰ビームサーチとマルチトークン予測
• Abstract要約: 大規模パーソナライゼーションは、埋め込みテーブル検索から、アイテムのセマンティックID(SID)を生成して推奨するLCMベースのレコメンデータへと移行している。 伝統的に、モデルは単一の言語モデリングヘッドに依存しており、通常は制約されたビームサーチを用いてトークンを自動回帰的に生成する。 対照的に、新しい研究機関はマルチトークン予測(MTP)を探求し、専用の頭が全てのトークンを並列に予測し、ビームサーチに伴う復号遅延を大幅に低減する。
• 参考スコア（独自算出の注目度）: 38.58784050114887
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large-scale personalization is shifting from embedding-table retrieval to LLM-based recommenders that generate the Semantic ID (SID) of the item to recommend, where each SID is a short sequence of discrete hierarchical content codes. A single instruction-tuned model can then unify retrieval, content understanding, and language, and recommend brand-new titles from their content alone using SID; then, how should the model generate the SID? Traditionally, models rely on a single language modeling head that generates tokens autoregressively, typically using constrained beam search. In contrast, an emerging body of work explores multi-token prediction (MTP), where dedicated heads predict all tokens in parallel, substantially reducing the decoding latency associated with beam search. We report an industry-scale, apples-to-apples comparison of these two generation paradigms: single-head autoregressive decoding vs. MTP. We introduce a new auxiliary ranking loss, defined over the joint SID score, to train the MTP objective. We evaluate the SID training objectives on both quality and training/inference cost, inside a multi-task LLM that jointly does personalized retrieval, content question-answering (QA), and instruction following over a large streaming-media catalog. Our experiments show single-head beam search consistently beats MTP on most product-critical metrics: ranking and content QA, and trains at roughly 2.6x lower dollar cost on Qwen3-8B scale; MTP wins only on raw inference throughput. Around this finding, we detail an efficient training and inference stack and report end-to-end gains over the previous non-SID baseline equipped with an auxiliary ranking head: +77% item cold-start ranking, +22% content-QA accuracy, +2.8x faster training, with language metric regression traced to SID vocabulary expansion. We address the language regression by reinforcement learning post training.
• Abstract（参考訳）: 大規模パーソナライゼーションは、埋め込みテーブル検索から、アイテムのセマンティックID(SID)を生成して推奨するLCMベースのレコメンデータへと移行している。 単一の命令で調整されたモデルは、検索、コンテンツ理解、言語を統一し、SIDを使ってコンテンツから新しいタイトルを推薦する。 伝統的に、モデルは単一の言語モデリングヘッドに依存しており、通常は制約されたビームサーチを用いてトークンを自動回帰的に生成する。 対照的に、新しい研究機関はマルチトークン予測(MTP)を探求し、専用の頭が全てのトークンを並列に予測し、ビームサーチに伴う復号遅延を大幅に低減する。 本稿では,この2世代のパラダイムであるシングルヘッド自動回帰復号法とMPP法を比較した。 我々は,MTP目標をトレーニングするために,共同SIDスコア上で定義された新たな補助的ランキング損失を導入する。 我々は、個別検索、コンテンツ質問応答(QA)、大規模ストリーミングメディアカタログ上での指示を共同で行うマルチタスクLLMにおいて、品質とトレーニング/推論コストの両面でSIDトレーニング目標を評価する。 実験の結果,シングルヘッドビームサーチは,Qwen3-8Bスケールで,製品クリティカルな指標であるランキングとコンテントQA,および約2.6倍のコストで,MTPが生の推論スループットでのみ勝利することがわかった。 本発見の周辺では,事前の非SIDベースラインに対する効率的なトレーニングと推論のスタックについて,+77%項目のコールドスタートランキング,+22%のコンテントQA精度,+2.8倍の高速トレーニング,およびSID語彙拡張に追従した言語メトリック回帰を報告した。 本研究は,強化学習による言語レグレッションに対処する。

関連論文リスト

• Beyond Semantic IDs: Finite-Beam Reachability and Continuous-Query Generation in Generative Recommendation [15.519683317169575]
  ソーシャルメディアプラットフォームのジェネレーティブレコメンデーション(GR)は、有限幅ビームサーチによる離散セマンティックID(SID)の自動復号化によってアイテムを検索する。 本研究では、この出力インターフェースが有限返却リストに入るか否かを制約し、カタログ全体のスコアビリティを経験的トップKサポートと区別する方法について検討する。 CQG-Singleは1つのパスで1つの検索クエリを生成し、CQG-ARは連続的な更新を自動回帰的に生成し、SID項目の単語を削除しながらステップワイズデコーディングを保持する。
  論文  参考訳（メタデータ） (2026-10-09T04:23:08Z)
• DREAM: Dynamic Refinement of Early Assignment Mappings [7.781421530363403]
  現在のメソッドは、ユーザーからの十分なフィードバックが観測される前に、オフライントークン化を通じて各アイテムに1つの静的識別子を割り当てる。 我々は、このワンショットコミットメントを、SIDベースの生成レコメンデーションにおける基本的なコールドスタートボトルネックとみなす。 本稿では,この欠陥を解決する3段階のフレームワークであるDREAMを提案する。
  論文  参考訳（メタデータ） (2026-06-05T06:21:01Z)
• LLMs Need Encoders for Semantic IDs Too [6.952078655385385]
  PrefixMem はプレフィックス n-gram メモリテーブルをベースとした軽量 SID エンコーダである。 PrefixMemは, 一致したトレーニング計算において, 最深部SID精度を最大46%向上し, 完全SID検索リコールを最大22%向上することを示した。
  論文  参考訳（メタデータ） (2026-05-29T20:01:06Z)
• GrepSeek: Training Search Agents for Direct Corpus Interaction [66.69568141699311]
  GrepSeekは、コンパクトな検索エージェントを訓練し、大きなテキストコーパスから証拠を見つけ、フィルタリングし、構成する、最適化された直接コーパスインタラクション(DCI)検索エージェントである。 DCIを大規模に実用化するためには、シェルコマンドのシーケンシャルな実行とバイトエクササイズ等価性を保ちながら、シェルベースの検索を最大7.6タイムで高速化するセマンティックス保存のシャード並列実行エンジンを使用する。
  論文  参考訳（メタデータ） (2026-05-28T03:37:33Z)
• Autoregressive Ranking: Bridging the Gap Between Dual and Cross Encoders [37.16464474575651]
  マルチトークンドクIDを用いたポイントワイズ生成ランキングはデュアルエンコーダよりも優れていることを示す。 SToICaLは、アイテムとトークンのレベルの両方において、ランク対応の監視を組み込むことができるシンプルなトークンの校正損失である。
  論文  参考訳（メタデータ） (2026-01-09T07:16:28Z)
• GRAPE: Let GPRO Supervise Query Rewriting by Ranking for Retrieval [19.73916326078242]
  CLIPモデルは,テキストと画像データを統合埋め込み空間に整列させることにより,大規模検索システムの基盤となっている。 コストのかかるリトレーニングを避けるため、既存のメソッドは主に大規模言語モデル(LLM)によるクエリ書き換え戦略を採用している。 GRAPEは,検索誘導型クエリ書き換えにランキング信号を組み込むプラグイン・アンド・プレイ拡張手法である。
  論文  参考訳（メタデータ） (2025-09-27T15:36:59Z)
• Cite Pretrain: Retrieval-Free Knowledge Attribution for Large Language Models [44.31597857713689]
  最初の段階でActive Indexingを導入し、一般化可能なソースアンコールバインディングを作成します。 Qwen-2.5-7B&3Bの実験は、アクティブインデックスがパッシブインデックスのベースラインを一貫して上回っていることを示している。 内部の引用は、モデルを検索ノイズに対してより堅牢にすることで、外部の引用を補完する。
  論文  参考訳（メタデータ） (2025-06-21T04:48:05Z)
• PromptReps: Prompting Large Language Models to Generate Dense and Sparse Representations for Zero-Shot Document Retrieval [76.50690734636477]
  本稿では,PmptRepsを提案する。このPmptRepsは,トレーニングを必要とせず,コーパス全体から検索できる機能である。 検索システムは、高密度テキスト埋め込みとスパースバッグ・オブ・ワード表現の両方を利用する。
  論文  参考訳（メタデータ） (2024-04-29T04:51:30Z)
• List-aware Reranking-Truncation Joint Model for Search and Retrieval-augmented Generation [80.12531449946655]
  本稿では,2つのタスクを同時に実行可能なRe rank-Truncation joint model(GenRT)を提案する。 GenRTは、エンコーダ-デコーダアーキテクチャに基づく生成パラダイムによるリランクとトランケーションを統合している。 提案手法は,Web検索および検索拡張LLMにおけるリランクタスクとトラルケーションタスクの両方においてSOTA性能を実現する。
  論文  参考訳（メタデータ） (2024-02-05T06:52:53Z)
• UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph [89.98762327725112]
  KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。 我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
  論文  参考訳（メタデータ） (2022-12-02T04:08:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。