論文の概要: Sample Is Feature: Beyond Item-Level, Toward Sample-Level Tokens for Unified Large Recommender Models
- arxiv url: http://arxiv.org/abs/2604.15650v1
- Date: Fri, 17 Apr 2026 02:47:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-20 22:00:19.716611
- Title: Sample Is Feature: Beyond Item-Level, Toward Sample-Level Tokens for Unified Large Recommender Models
- Title(参考訳): サンプルはアイテムレベルを超えて, 統一された大規模レコメンダモデルのためのサンプルレベルトークン
- Authors: Shuli Wang, Junwei Yin, Changhao Li, Senjie Kou, Chi Wang, Yinqiu Huang, Yinhua Zhu, Haitao Wang, Xingxing Wang,
- Abstract要約: textbfSIF (emphSample Is Feature) を提案する。
textbfSample Tokenizerは、各歴史的なRawサンプルを階層的なグループ適応量子化によってTokenサンプルに量子化する。
textbfSIF-Mixerは、トークンレベルとサンプルレベルの混合を通じて、同種サンプル表現に対する深い特徴相互作用を行い、モデルの表現能力を完全に解放する。
- 参考スコア(独自算出の注目度): 14.332200648147863
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scaling industrial recommender models has followed two parallel paradigms: \textbf{sample information scaling} -- enriching the information content of each training sample through deeper and longer behavior sequences -- and \textbf{model capacity scaling} -- unifying sequence modeling and feature interaction within a single Transformer backbone. However, these two paradigms still face two structural limitations. Firstly, sample information scaling methods encode only a subset of each historical interaction into the sequence token, leaving the majority of the original sample context unexploited and precluding the modeling of sample-level, time-varying features. Secondly, model capacity scaling methods are inherently constrained by the structural heterogeneity between sequential and non-sequential features, preventing the model from fully realizing its representational capacity. To address these issues, we propose \textbf{SIF} (\emph{Sample Is Feature}), which encodes each historical Raw Sample directly into the sequence token -- maximally preserving sample information while simultaneously resolving the heterogeneity between sequential and non-sequential features. SIF consists of two key components. The \textbf{Sample Tokenizer} quantizes each historical Raw Sample into a Token Sample via hierarchical group-adaptive quantization (HGAQ), enabling full sample-level context to be incorporated into the sequence efficiently. The \textbf{SIF-Mixer} then performs deep feature interaction over the homogeneous sample representations via token-level and sample-level mixing, fully unleashing the model's representational capacity. Extensive experiments on a large-scale industrial dataset validate SIF's effectiveness, and we have successfully deployed SIF on the Meituan food delivery platform.
- Abstract(参考訳): 産業レコメンデータモデルのスケーリングは、2つのパラレルパラダイムに従っている。 \textbf{sample information scaling} -- より深く長い振る舞いシーケンスを通じて、各トレーニングサンプルの情報内容を豊かにする -- と、 \textbf{model capacity scaling} -- 単一のTransformerバックボーン内でシーケンスモデリングと機能インタラクションを統合する。
しかし、これらの2つのパラダイムは依然として2つの構造的制限に直面している。
まず、サンプル情報スケーリング手法は、各歴史的相互作用のサブセットのみをシーケンストークンにエンコードし、元のサンプルコンテキストの大部分を未公開のままにして、サンプルレベルの時間変化のある特徴のモデリングを先取りする。
第二に、モデルキャパシティスケーリング法は、シーケンシャルな特徴と非シーケンシャルな特徴の間の構造的不均一性によって本質的に制約され、モデルがその表現キャパシティを完全に実現しない。
これらの問題に対処するために,各歴史的Rawサンプルを直接シーケンストークンにエンコードする \textbf{SIF} (\emph{Sample Is Feature}) を提案する。
SIFは2つのキーコンポーネントから構成される。
textbf{Sample Tokenizer} は、各歴史的なRawサンプルを階層的なグループ適応量子化(HGAQ)を介してTokenサンプルに量子化し、完全なサンプルレベルのコンテキストをシーケンスに効率的に組み込むことができる。
次に \textbf{SIF-Mixer} はトークンレベルとサンプルレベルの混合を通じて同質なサンプル表現に対する深い特徴相互作用を行い、モデルの表現能力を完全に解放する。
大規模産業データセットの大規模実験により, SIFの有効性が検証され, SIFをMeituanフードデリバリープラットフォームに導入することに成功している。
関連論文リスト
- From Sparse to Dense: Multi-View GRPO for Flow Models via Augmented Condition Space [78.36537400975298]
グループ相対政策最適化(GRPO)は、テキスト・ツー・イメージ(T2I)フローモデルにおいて、優先順位調整のための強力なフレームワークとして登場した。
条件空間を拡大することで関係探索を強化する新しい手法であるMulti-View GRPOを提案する。
MV-GRPOは最先端手法よりも優れたアライメント性能を実現する。
論文 参考訳(メタデータ) (2026-03-13T04:35:13Z) - [MASK] is All You Need [28.90875822599164]
離散状態モデルを用いてMasked Generative と Non-autoregressive Diffusion を接続する。
離散状態モデルで[MASK]を活用することで、Masked Generative と Non-autoregressive Diffusion モデルを橋渡しできる。
論文 参考訳(メタデータ) (2024-12-09T18:59:56Z) - Masked Generative Modeling with Enhanced Sampling Scheme [1.3927943269211591]
拡張サンプリングスキーム(ESS)は、サンプルの多様性と忠実さの両方を保証する。
ESSは、Naive Iterative Decoding、Critical Reverse Smpling、Critical Resamplingの3つのステージで構成されている。
非条件サンプリングとクラス条件サンプリングの両方において、ESSの大幅な性能向上を示す。
論文 参考訳(メタデータ) (2023-09-14T09:42:13Z) - Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。
特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
論文 参考訳(メタデータ) (2023-04-04T17:54:32Z) - Mutual Exclusivity Training and Primitive Augmentation to Induce
Compositionality [84.94877848357896]
最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。
本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。
広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
論文 参考訳(メタデータ) (2022-11-28T17:36:41Z) - Leveraging Instance Features for Label Aggregation in Programmatic Weak
Supervision [75.1860418333995]
Programmatic Weak Supervision (PWS) は、トレーニングラベルを効率的に合成するための広く普及したパラダイムとして登場した。
PWSのコアコンポーネントはラベルモデルであり、複数のノイズ管理ソースの出力をラベル関数として集約することで、真のラベルを推論する。
既存の統計ラベルモデルは一般的にLFの出力のみに依存し、基礎となる生成過程をモデル化する際のインスタンスの特徴を無視している。
論文 参考訳(メタデータ) (2022-10-06T07:28:53Z) - Global Mixup: Eliminating Ambiguity with Clustering [18.876583942942144]
我々はtextbfGlobal Mixup というグローバルクラスタリング関係に基づく新しい拡張手法を提案する。
実験によると、Global Mixupはこれまでの最先端のベースラインを大きく上回っている。
論文 参考訳(メタデータ) (2022-06-06T16:42:22Z) - Set Based Stochastic Subsampling [85.5331107565578]
本稿では,2段階間ニューラルサブサンプリングモデルを提案する。
画像分類,画像再構成,機能再構築,少数ショット分類など,様々なタスクにおいて,低いサブサンプリング率で関連ベースラインを上回っていることを示す。
論文 参考訳(メタデータ) (2020-06-25T07:36:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。