論文の概要: Separating Thinking from Spelling for Efficient Generative Recommendation

• arxiv url: http://arxiv.org/abs/2610.32980v2
• Date: Mon, 26 Oct 2026 10:15:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.224989
• Title: Separating Thinking from Spelling for Efficient Generative Recommendation
• Title（参考訳）: 効率的なジェネレーションレコメンデーションのためのスペリングから思考を分離する
• Abstract要約: 生成レコメンデーションは、トリエ制約ビームサーチの下でコードでセマンティックID(SID)コードを書くことでアイテムを検索する。 Deco(概念から復号する)を導入し、歴史を読み取るのと識別子を書くのを分離する。 電子商取引、映画、音楽ストリーミングの7つのデータセットで、Decoは標準的な生成的推薦者とフルバックボーンの教師の両方に匹敵する、あるいはより良い精度を達成している。
• 参考スコア（独自算出の注目度）: 3.888911542098557
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative recommenders retrieve items by writing their semantic IDs (SIDs) code by code under trie-constrained beam search, an approach now deployed on large web platforms. Standard autoregressive interfaces pay for the SID length K twice: a history of T items enters the backbone as TK code tokens, and every beam-search step runs through the backbone, so returning B candidates costs O(BK) backbone decode tokens per user. The second cost often dominates, and it grows with the backbone, the SID depth and the candidate budget. We introduce Deco (decoding from concepts), which separates reading the history from writing the identifier. The backbone reads each history item as one fused token and condenses the history once into a compact next-item concept; a light KV-cached decoder conditioned on the concept and the generated prefix runs the entire beam search, while the identifiers, the trie and the autoregressive factorization stay unchanged. The decoder approaches full-backbone accuracy with cross-entropy alone, and distillation improves it further. On seven datasets from e-commerce, movies and music streaming, Deco achieves comparable or better accuracy than both a standard generative recommender and the full-backbone teacher with fused inputs, while delivering 3.2-8.6$\times$ their throughput under a 50 ms p95 latency budget in a production-style serving pipeline. Delegating beam search makes larger candidate pools and models practical: Deco generates 1000 candidates faster than its teacher generates 100, and with a 1.5B-parameter LLM backbone, it matches the 69M-parameter teacher's throughput while achieving higher accuracy.
• Abstract（参考訳）: ジェネレーティブレコメンデーションは、トリエ制約ビームサーチの下でコードによってセマンティックID(SID)コードを書くことでアイテムを検索する。 T項目の履歴がTKコードトークンとしてバックボーンに入力され、ビーム検索の各ステップがバックボーンを通過するため、B候補の返却にはユーザ毎にO(BK)バックボーンデコードトークンがかかる。 第2のコストが支配的であり、バックボーン、SID深さ、候補予算とともに成長する。 Deco(概念から復号する)を導入し、歴史を読み取るのと識別子を書くのを分離する。 バックボーンは、各履歴項目を1つの融合トークンとして読み出し、一度その履歴をコンパクトな次のイタム概念に凝縮する。概念に条件付き、生成されたプレフィックスがビームサーチ全体を実行する一方、識別子、トリエおよび自己回帰因子化はそのままである。 デコーダはクロスエントロピーだけでフルバックボーン精度に近づき、蒸留によりさらに改善される。 電子商取引、映画、音楽ストリーミングの7つのデータセットにおいて、Decoは標準的なジェネレーティブ・レコメンデーターとフルバックボーンの教師が融合したインプットと同等または同等の精度を達成し、3.2-8.6$\times$のスループットをプロダクションスタイルのサービスパイプラインで50ms p95の遅延予算で提供する。 デコは、教師が生成する100よりも1000の候補を早く生成し、1.5BパラメータのLLMバックボーンで、69Mパラメータの教師のスループットと高い精度で一致します。

関連論文リスト

• Personalized LLM Recommendation with Semantic IDs: Autoregressive Beam Search vs. Multi-Token Prediction [38.58784050114887]
  大規模パーソナライゼーションは、埋め込みテーブル検索から、アイテムのセマンティックID(SID)を生成して推奨するLCMベースのレコメンデータへと移行している。 伝統的に、モデルは単一の言語モデリングヘッドに依存しており、通常は制約されたビームサーチを用いてトークンを自動回帰的に生成する。 対照的に、新しい研究機関はマルチトークン予測(MTP)を探求し、専用の頭が全てのトークンを並列に予測し、ビームサーチに伴う復号遅延を大幅に低減する。
  論文  参考訳（メタデータ） (2026-10-11T19:33:28Z)
• Beyond Semantic IDs: Finite-Beam Reachability and Continuous-Query Generation in Generative Recommendation [15.519683317169575]
  ソーシャルメディアプラットフォームのジェネレーティブレコメンデーション(GR)は、有限幅ビームサーチによる離散セマンティックID(SID)の自動復号化によってアイテムを検索する。 本研究では、この出力インターフェースが有限返却リストに入るか否かを制約し、カタログ全体のスコアビリティを経験的トップKサポートと区別する方法について検討する。 CQG-Singleは1つのパスで1つの検索クエリを生成し、CQG-ARは連続的な更新を自動回帰的に生成し、SID項目の単語を削除しながらステップワイズデコーディングを保持する。
  論文  参考訳（メタデータ） (2026-10-09T04:23:08Z)
• Matryoshka Hash Representations for Model-Aware Compact Semantic Retrieval [0.4859781642217615]
  マトリオシュカ・ハッシュ表現(MHR)は,前置組織から全幅トレーニングを分離する2段階の手順である。 MHRは.5561 NDCG@10と.6535 Recall@100を32バイトに到達し、同じ予算で最高のベースラインを超えた。 このコードはまた、2つの一般的なパイプラインを強化している: 完全精度の再ランクの候補をショートリストし、低ストレージグラフインデックスをプルーニングする。
  論文  参考訳（メタデータ） (2026-09-07T09:38:28Z)
• CodeHID: Learning an Addressable Hierarchical Code Index for Generative Code Retrieval [16.418964135916433]
  本稿では,コード検索タスクをフラットな候補マッチングから粗いセマンティックアドレス生成へと再構成する生成コード検索フレームワークであるCodeHIDを提案する。 CodeHIDは2つのコアコンポーネントに依存している。まず、Pseudo-Neighbor Guided DocID Learningは、多レベル残留量子化と$k$-nearest-neighbor pseudo-supervisionを適用することで、グローバルな静的階層インデックスを構築する。 第2に、Dual-Phase DocID Generation Guidanceは、トレーニング側ランキングの強化、ハードネガティブとランク蒸留、推論側候補制約、プレフィックス対応デコードを組み合わせて、この固定インデックスを確実にナビゲートする。
  論文  参考訳（メタデータ） (2026-08-25T05:35:17Z)
• Ripple-Pivot Search: Active Parallel Decoding for Diffusion Large Language Models [66.32132912853372]
  Diffusion Large Language Models (dLLMs) は自己回帰型言語モデルの競合代替として登場した。 本研究では,中間エントロピー位置を有望な候補ピボットとして求める訓練自由復号法であるRipple-Pivot Search (RPS)を提案する。 RPSは、生成品質を維持しながら標準デコーダの4-10$times$wall-clockスピードアップを実現し、以前のルックアヘッドベースラインの精度を最大5.49%向上させる。
  論文  参考訳（メタデータ） (2026-08-12T07:32:29Z)
• Hierarchical Embedding Fusion for Retrieval-Augmented Code Generation [6.4453302264198165]
  コード補完のためのリポジトリ表現のための2段階のアプローチである階層埋め込み融合(HEF)を提案する。 HEFはスニペットベースの検索ベースラインに匹敵する正確なマッチング精度を達成する。 グラフベースおよび反復検索システムと比較して、HEFは中央値のエンドツーエンドのレイテンシを13倍から26倍に削減する。
  論文  参考訳（メタデータ） (2026-02-04T14:56:11Z)
• TeaRAG: A Token-Efficient Agentic Retrieval-Augmented Generation Framework [62.66056331998838]
  TeaRAGは、検索内容と推論ステップの両方を圧縮できるトークン効率のエージェントRAGフレームワークである。 報奨関数は,過剰な推論ステップをペナルティ化しながら,知識マッチング機構によって知識満足度を評価する。
  論文  参考訳（メタデータ） (2025-11-07T16:08:34Z)
• Noise-Robust Dense Retrieval via Contrastive Alignment Post Training [89.29256833403167]
  Contrastive Alignment POst Training (CAPOT) は、指数再生を必要とせず、モデルロバスト性を改善する高効率な微調整法である。 CAPOTはドキュメントエンコーダを凍結することで堅牢な検索を可能にし、クエリエンコーダはノイズの多いクエリを修正されていないルートに整列させる。 MSMARCO、Natural Questions、Trivia QAパス検索のCAPOTノイズ変動を評価し、CAPOTがオーバーヘッドを伴わないデータ増大に類似した影響があることを発見した。
  論文  参考訳（メタデータ） (2023-04-06T22:16:53Z)
• Efficient Nearest Neighbor Search for Cross-Encoder Models using Matrix Factorization [60.91600465922932]
  本稿では,クロスエンコーダのみに頼って,二重エンコーダによる検索を回避する手法を提案する。 我々のアプローチは、現在の広く使われている方法よりも優れたテスト時間リコール-vs計算コストトレードオフを提供する。
  論文  参考訳（メタデータ） (2022-10-23T00:32:04Z)
• Tackling Long Code Search with Splitting, Encoding, and Aggregating [67.02322603435628]
  長いコード検索のための新しいベースラインSEA(Split, Encode, Aggregate)を提案する。 長いコードをコードブロックに分割し、これらのブロックを埋め込みにエンコードし、それらを集約して包括的な長いコード表現を得る。 エンコーダとしてGraphCodeBERTを使用すると、SEAはコードSearchNetベンチマークでGraphCodeBERTよりも10.1%高い0.785という総合的な平均逆ランキングスコアを達成する。
  論文  参考訳（メタデータ） (2022-08-24T02:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。