論文の概要: From a Static Multi-Level Small Semantic Codebook to a Dynamic Single-Level Large Semantic Codebook for Generative Recommendation
- arxiv url: http://arxiv.org/abs/2608.21012v1
- Date: Fri, 21 Aug 2026 11:58:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.520856
- Title: From a Static Multi-Level Small Semantic Codebook to a Dynamic Single-Level Large Semantic Codebook for Generative Recommendation
- Title（参考訳）: 静的マルチレベル小型セマンティックコードブックから動的単一レベル大規模セマンティックコードブックへ
- Abstract要約: 生成レコメンデーションは、各項目を個別のセマンティックID(SID)シーケンスで表現し、そのシーケンスを予測して次の項目を取得する。
アイテム衝突を減らすために、個別に協調的曖昧化トークンを保持しながら、複数の残余意味コードを1つの意味トークンに置き換えるシングルレベルな大規模意味コードブックを提案する。
- 参考スコア（独自算出の注目度）: 17.4418123744239
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative recommendation represents each item with a sequence of discrete Semantic IDs (SIDs) and predicts the sequence to retrieve the next item. Typical systems use multi-level residual quantization, which increases autoregressive decoding cost and creates a large hierarchical space that may be sparsely occupied. Static codebooks also become misaligned with current traffic as new items arrive and exposure distributions change. We propose a single-level large semantic codebook that replaces multiple residual semantic codes with one semantic token while retaining a separate collaborative disambiguation token to reduce item collisions. We further introduce an exposure-aware dynamic update mechanism based on temporal weight decay, exponential moving-average center updates, and an exposure-weighted penalty on SID changes. We also develop an offline evaluation framework covering representation quality, code utilization, cluster load, full-SID collision, and temporal stability. On two public datasets, the two-level SID improves mean Recall@10 by 5.0%-8.8% and mean NDCG@10 by 4.1%-5.1% for OneRec-V1, and by 7.1%-8.7% and 3.8%-8.5%, respectively, for OneRec-V2. Dynamic updating provides further gains on KuaiRec. Across three serving architectures, the shorter SID reduces estimated autoregressive-decoding FLOPs by 47.93%-48.70% and increases single-card QPS by 28.57%-47.0%. A five-day online A/B test serving 2.5% of production traffic improves the primary consumption metric by 0.792%.
- Abstract（参考訳）: 生成レコメンデーションは、各項目を個別のセマンティックID(SID)シーケンスで表現し、そのシーケンスを予測して次の項目を取得する。
典型的なシステムは多重レベル残差量子化(英語版)を使用し、自己回帰復号コストを増大させ、疎に占有される可能性のある大きな階層空間を生成する。
静的コードブックは、新しいアイテムが到着し、露出分布が変化するにつれて、現在のトラフィックと不一致になる。
アイテム衝突を減らすために、個別に協調的曖昧化トークンを保持しながら、複数の残余意味コードを1つの意味トークンに置き換えるシングルレベルな大規模意味コードブックを提案する。
さらに、時間的重み付け、指数的な移動平均中心更新、SID変化に対する露光重み付きペナルティに基づく露光対応動的更新機構を導入する。
また,表現品質,コード利用,クラスタ負荷,フルSID衝突,時間的安定性を考慮したオフライン評価フレームワークを開発した。
2つの公開データセットでは、平均Recall@10を5.0%-8.8%、平均NDCG@10を4.1%-5.1%、OneRec-V1を7.1%-8.7%、そして3.8%-8.5%改善している。
動的更新はKuaiRecにさらなる利益をもたらす。
3つのサービスアーキテクチャ全体で、短いSIDは予測された自己回帰復号化FLOPを47.93%-48.70%削減し、シングルカードQPSを28.57%-47.0%向上させた。
生産トラフィックの2.5%を占める5日間のオンラインA/Bテストでは、一次消費度が0.792%向上した。
関連論文リスト
- On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - Accelerating Unified Multimodal Models with Core-Expansion Routing and Unified Computation Scheduling [61.28599393707943]
統一マルチモーダルモデルは、理解と生成を共同でサポートするが、トークン、レイヤ、生成タイムステップ間でかなりの冗長な計算を行う。
本稿では,タスク共有型コアスコアラと進行条件付き生成拡張を提案し,生成分解とクロスタスクコアアライメントを最適化した。
2つの代表的UMMアーキテクチャの実験では、両タスク間で一貫した品質改善が示され、98.03%の高密度な理解性能を維持し、エンドツーエンドの推論速度は1.93times$である。
論文 参考訳（メタデータ） (2026-08-29T14:27:55Z) - TAAL: Mitigating Early Beam Pruning in Generative Recommendation via Temporal Autoregressive Alignment [11.416581885243964]
生成レコメンデーションは、アイテムを階層的セマンティック識別子(SID)としてエンコードし、自動回帰デコーディングを通じて次のアイテムを検索する。
しかし、標準的な次トーケン予測では、相互作用系列に存在するマルチモーダル遷移を明示的にカバーしておらず、初期のビーム探索枝における不可逆プルーニングに弱いSIDを残している。
この問題を解決するために,時間的自己回帰アライメント(TAAL)を提案する。
Amazon Beauty、Yelp、およびAmazon Instrumentsでは、TAALは標準ベースラインのNDCG@10をそれぞれ39.5%、6.7%、28.6%改善し、フルに増加している。
論文 参考訳（メタデータ） (2026-08-29T10:11:47Z) - CODS: Iterative Bellman-Residual Data Selection for Reusable Offline Reinforcement Learning [5.894992157122175]
我々は,アルゴリズムに適合した批評家の適合と高レジデンシャル・トランジションの獲得を交互に行う,批評家誘導のセレクタであるCODSを紹介する。
10%の予算で、CODSは20の有効なD4RLタスク-アルゴリズム細胞に対して96.6%の許容プール性能を維持している。
論文 参考訳（メタデータ） (2026-08-07T19:11:54Z) - Context Features Are Cheap: Rank-Aware Decomposition for Efficient Feature Interaction in Recommender Systems [0.0]
本稿では,リコメンデータシステムにおける支配的相互作用機構に適用可能なランクアウェア分解について述べる。
この分解は、コンテキストのみの計算を、元のモデルと同等の1/1の要求から1/1の要求に移行する。
DLRMスタイルのランサーをアーキテクチャ変更せずに生産する場合、分解はポッド当たりのスループットを87.5%向上させる。
論文 参考訳（メタデータ） (2026-05-24T13:35:36Z) - Beyond Static Collision Handling: Adaptive Semantic ID Learning for Multimodal Recommendation at Industrial Scale [20.066503602593958]
AdaSIDは2段階のプロセスを通じてSIDオーバーラップを制御する。
関連する項目が意味的に互換性がある場合、観察された重複に対する反発を緩和する。
局所的な衝突負荷と訓練の進捗に応じて、残りの規制圧力を割り当てる。
論文 参考訳（メタデータ） (2026-04-26T03:59:35Z) - Phase-Scheduled Multi-Agent Systems for Token-Efficient Coordination [0.0]
位相スケジュール多エージェントシステム(PSMAS)は、円多様体上にモデル化された共有注意空間の連続制御としてエージェント活性化を再認識するフレームワークである。
PSMASは平均トークンの減少率を27.3%(約21.4-34.8%)とし、完全に活性化されたベースラインの2.1ポイント以内のタスク性能を維持している。
論文 参考訳（メタデータ） (2026-04-19T12:03:54Z) - Prune Redundancy, Preserve Essence: Vision Token Compression in VLMs via Synergistic Importance-Diversity [54.95089105944234]
視覚言語モデル(VLM)は、過剰な視覚トークンの生成によって引き起こされる計算の非効率性に直面する。
2段階パイプラインを特徴とする訓練不要なSynergistic Importance-DiversityアプローチPruneSIDを提案する。
LLaVA-NeXTでは11.1%のトークン保持率で96.3%の精度、極端な圧縮速度(5.6%)で92.8%の精度を実現した。
論文 参考訳（メタデータ） (2026-03-10T10:31:58Z) - Rethinking Generative Recommender Tokenizer: Recsys-Native Encoding and Semantic Quantization Beyond LLMs [17.944727019161878]
ReSIDは、情報保存とシーケンシャルな予測可能性の観点から学ぶことを推奨する、原則化されたSIDフレームワークである。
高いシーケンシャルおよびSIDベースの生成ベースラインを平均10%以上上回り、トークン化コストを最大122倍削減する。
論文 参考訳（メタデータ） (2026-02-02T17:00:04Z) - D2Pruner: Debiased Importance and Structural Diversity for MLLM Token Pruning [49.16227597771663]
D2Prunerは、デバイアスされた重要性と構造的なプルーニングメカニズムを組み合わせたフレームワークである。
FLOPを74.2%削減し、元の性能の99.2%を維持した。
既存の手法に比べて63.53%も改善されている。
論文 参考訳（メタデータ） (2025-12-22T14:42:31Z) - Exploiting Discriminative Codebook Prior for Autoregressive Image Generation [54.14166700058777]
トークンベースの自己回帰画像生成システムは、まずトークンインデックスのシーケンスをコードブックでトークン化し、次にこれらのシーケンスを自己回帰パラダイムでモデル化する。
自己回帰生成モデルはインデックス値のみに基づいて訓練されるが、豊富なトークン類似性情報を含むコードブックにエンコードされた前者は利用されない。
近年の研究では、トークン上に単純なk平均クラスタリングを行い、コードブックを減らした生成モデルのトレーニングを容易にすることで、これを先に組み込もうとしている。
k-meansの代替として、差別的コードブック先駆者(DCPE)を提案する。
論文 参考訳（メタデータ） (2025-08-14T15:00:00Z) - Coordinate Transformer: Achieving Single-stage Multi-person Mesh
Recovery from Videos [91.44553585470688]
ビデオから複数人の3Dメッシュを回収することは、バーチャルリアリティーや理学療法などにおけるグループ行動の自動認識に向けた重要な第一歩である。
本稿では,複数人物の時空間関係を直接モデル化し,同時にエンドツーエンドでマルチ・メッシュ・リカバリを行うコーディネート・トランスフォーマーを提案する。
3DPWデータセットの実験では、CoordFormerが最先端の精度を大幅に向上し、MPJPE、PAMPJPE、PVEの計測値でそれぞれ4.2%、8.8%、そして4.7%を上回った。
論文 参考訳（メタデータ） (2023-08-20T18:23:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。