論文の概要: TokenFormer: Unify the Multi-Field and Sequential Recommendation Worlds

• arxiv url: http://arxiv.org/abs/2604.13737v1
• Date: Wed, 15 Apr 2026 11:25:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.505304
• Title: TokenFormer: Unify the Multi-Field and Sequential Recommendation Worlds
• Title（参考訳）: TokenFormer: マルチフィールドおよびシークエンシャルレコメンデーションワールドの統合
• Authors: Yifeng Zhou, Yuehong Hu, Zhixiang Feng, Junwei Pan, Kaihui Wu, Hanyong Li, Shangyu Zhang, Shudong Huang, Zhangbin Zhu, Chengguo Yin, Haijie Gu, Jie Jiang,
• Abstract要約: TokenFormerは、以下のイノベーションを取り入れた統合されたレコメンデーションアーキテクチャである。 まず,ボトムフルト・トップ・スライディング(BFTS:Bottom-Full-Top-Sliding)アテンションスキームを導入する。 第2に,非線形相互作用表現(NLIR)を導入し,一方の非線形乗算変換を隠れ状態に適用する。
• 参考スコア（独自算出の注目度）: 17.505701673051405
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recommender systems have historically developed along two largely independent paradigms: feature interaction models for modeling correlations among multi-field categorical features, and sequential models for capturing user behavior dynamics from historical interaction sequences. Although recent trends attempt to bridge these paradigms within shared backbones, we empirically reveal that naive unifying these two branches may lead to a failure mode of Sequential Collapse Propagation (SCP). That is, the interaction with those dimensionally ill non-sequence fields leads to the dimensional collapse of the sequence features. To overcome this challenge, we propose TokenFormer, a unified recommendation architecture with the following innovations. First, we introduce a Bottom-Full-Top-Sliding (BFTS) attention scheme, which applies full self-attention in the lower layers and shrinking-window sliding attention in the upper layers. Second, we introduce a Non-Linear Interaction Representation (NLIR) that applies one-sided non-linear multiplicative transformations to the hidden states. Extensive experiments on public benchmarks and Tencent's advertising platform demonstrate state-of-the-art performance, while detailed analysis confirm that TokenFormer significantly improves dimensional robustness and representation discriminability under unified modeling.
• Abstract（参考訳）: リコメンダシステムは歴史的に大きく独立した2つのパラダイムに沿って発展してきた。多分野のカテゴリの特徴間の相関をモデル化するための機能相互作用モデルと、歴史的相互作用シーケンスからユーザ動作のダイナミクスをキャプチャするためのシーケンシャルモデルである。 最近の傾向は、これらのパラダイムを共有バックボーンにブリッジしようとするものだが、これらの2つのブランチをひとつにまとめることによって、逐次崩壊伝播(Sequential Collapse Propagation, SCP)の障害モードにつながる可能性があることを実証的に明らかにしている。 すなわち、これらの次元的に悪な非列場との相互作用は、列の特徴の次元的崩壊につながる。 この課題を克服するために、以下のイノベーションを取り入れた統合レコメンデーションアーキテクチャであるTokenFormerを提案する。 まず,ボトムフルト・トップ・スライディング(BFTS:Bottom-Full-Top-Sliding)アテンションスキームを導入する。 第二に、隠れ状態に一辺の非線形乗法変換を適用する非線形相互作用表現(NLIR)を導入する。 公開ベンチマークとTencentの広告プラットフォームに関する大規模な実験は、最先端のパフォーマンスを示しているが、詳細な分析により、TokenFormerは、統一されたモデリングの下での次元の堅牢性と表現の識別性を著しく改善することを確認した。

関連論文リスト

• POINTS-Seeker: Towards Training a Multimodal Agentic Search Model from Scratch [84.73366911912512]
  エージェント・シーディング(Agenic Seeding)は,エージェント行動の抽出に必要な前駆体を織り込むための専用フェーズである。 本稿では、最近の対話を高忠実に保ちながら、歴史的コンテキストをレンダリングを介して視覚空間に折り畳みながら、適応的履歴認識圧縮方式であるV-Foldを提案する。 我々は,最新のマルチモーダルエージェントサーチモデルであるPOINTS-Seeker-8Bを開発した。
  論文  参考訳（メタデータ） (2026-04-15T16:09:37Z)
• HyFormer: Revisiting the Roles of Sequence Modeling and Feature Interaction in CTR Prediction [8.97787361529607]
  本稿では,HyFormerについて述べる。HyFormerは1つのバックボーンに長周期モデリングと特徴相互作用を密に統合するハイブリッドトランスフォーマーアーキテクチャである。 数十億の産業データセットに関する実験は、HyFormerが強いLONGERとRanMixerのベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-01-19T02:55:05Z)
• BLADE: A Behavior-Level Data Augmentation Framework with Dual Fusion Modeling for Multi-Behavior Sequential Recommendation [15.457239237638985]
  BLADEは、データの分散を緩和しながらマルチ振る舞いモデリングを強化するフレームワークである。 入力レベルと中間レベルの両方で動作情報を組み込んだデュアルアイテム・ビヘイビア融合アーキテクチャを提案する。 3つの行動レベルのデータ拡張手法は、コアアイテムシーケンスではなく、振舞いシーケンスを直接操作する。
  論文  参考訳（メタデータ） (2025-12-15T04:02:53Z)
• Next Interest Flow: A Generative Pre-training Paradigm for Recommender Systems by Modeling All-domain Movelines [8.895768051554162]
  本稿では,eコマースレコメンデータシステムのための新しい生成事前学習パラダイムを提案する。 我々のモデルは,ユーザの将来の意図を表す密度の高いベクトル列であるNext Interest Flowを予測することを学ぶ。 パイプライン全体を実装した統合フレームワークである All-domain Moveline Evolution Network (AMEN) を提示する。
  論文  参考訳（メタデータ） (2025-10-13T12:13:17Z)
• LARES: Latent Reasoning for Sequential Recommendation [96.26996622771593]
  本稿では、シークエンシャルレコメンデーションのための新しいスケーラブルなLatent ReasoningフレームワークであるLARESを紹介する。 提案手法では,パラメータの複雑性を増大させることなく推理深度を柔軟に拡張できる再帰的アーキテクチャを用いている。 我々のフレームワークは既存の高度なモデルとのシームレスな互換性を示し、推奨性能をさらに向上させる。
  論文  参考訳（メタデータ） (2025-05-22T16:22:54Z)
• BBQRec: Behavior-Bind Quantization for Multi-Modal Sequential Recommendation [15.818669767036592]
  本稿では,2列列の量子化とセマンティックス・アウェア・シーケンス・モデリングを備えたBBQRec(Behavior-Bind Multi-modal Quantization for Sequential Recommendation)を提案する。 BBQRecは、コントラストのあるコードブック学習を通じて、ノイズの多いモダリティ特有の特徴からモダリティに依存しない行動パターンを分離する。 我々は、量子化された意味関係を用いて自己注意スコアを動的に調整する離散化類似度再重み付け機構を設計する。
  論文  参考訳（メタデータ） (2025-04-09T07:19:48Z)
• Long-Sequence Recommendation Models Need Decoupled Embeddings [49.410906935283585]
  我々は、既存の長期推薦モデルにおいて無視された欠陥を識別し、特徴付ける。 埋め込みの単一のセットは、注意と表現の両方を学ぶのに苦労し、これら2つのプロセス間の干渉につながります。 本稿では,2つの異なる埋め込みテーブルを別々に学習し,注意と表現を完全に分離する,DARE(Decoupled Attention and Representation Embeddings)モデルを提案する。
  論文  参考訳（メタデータ） (2024-10-03T15:45:15Z)
• On the Embedding Collapse when Scaling up Recommendation Models [53.66285358088788]
  埋め込み崩壊現象をスケーラビリティの阻害とみなし、埋め込み行列は低次元の部分空間を占有する傾向にある。 本稿では,組込み集合固有の相互作用モジュールを組み込んで,多様性を持つ組込み集合を学習する,単純かつ効果的な組込み設計を提案する。
  論文  参考訳（メタデータ） (2023-10-06T17:50:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。