論文の概要: WHALE: A Scalable Unified Model for Recommendation with Wukong-HSTU Architecture
- arxiv url: http://arxiv.org/abs/2607.17017v1
- Date: Sun, 19 Jul 2026 00:59:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.337494
- Title: WHALE: A Scalable Unified Model for Recommendation with Wukong-HSTU Architecture
- Title（参考訳）: WHALE: Wukong-HSTUアーキテクチャによるレコメンデーションのためのスケーラブル統一モデル
- Abstract要約: We present WHALE, a scalable unified recommendation architecture that togetherly model non-sequence and sequence features on the Wukong and HSTU。
この設計では、両バックボーンはネットワーク全体でアクティブであり、Wukong-HSTUのプログレッシブな交換を可能にする。
大規模産業レコメンデーションデータでは、WHALEはオフライン実験において一貫した利得を達成する。
- 参考スコア（独自算出の注目度）: 20.297096513302744
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As scalability becomes increasingly important in recommendation modeling, recent architectures have advanced the modeling of two broad sources of ranking signals along separate paths: non-sequence features, including user, item, context, and cross features; and sequence features from user behavior histories. Wukong and HSTU have emerged as representative scalable backbones for these paths: Wukong scales high-order non-sequence feature-interaction modeling, while HSTU scales long user-behavior sequence modeling. Despite their complementary strengths, practical architectures that combine these two types of feature modeling remain underexplored. We present WHALE, a scalable unified recommendation architecture that jointly models non-sequence and sequence features on top of Wukong and HSTU. Each WHALE layer contains a Wukong module, an HSTU module, and an attention-based fusion module in which Wukong-derived interaction representations query HSTU-derived behavior representations. This design keeps both backbones active throughout the network and enables progressive Wukong-HSTU exchange, allowing high-order feature crosses to repeatedly retrieve fine-grained evidence from long user histories. To make WHALE practical for industrial deployment, we introduce customized Triton kernels and other model-systems co-design techniques to improve training and inference efficiency. On large-scale industrial recommendation data, WHALE achieves consistent gains in offline experiments. Additionally, it delivers positive online gains with a modest serving-throughput trade-off. The method has been deployed in production systems. Overall, WHALE provides a practical example of how these two sources of information can be scalably unified in an industrial recommendation model.
- Abstract（参考訳）: スケーラビリティがレコメンデーションモデリングにおいてますます重要になるにつれて、最近のアーキテクチャでは、ユーザ、アイテム、コンテキスト、クロス機能を含む非シーケンス機能と、ユーザ行動履歴からのシーケンス機能という、2つの幅広いランキング信号のソースのモデリングが別々の経路に沿って進められている。
WukongとHSTUはこれらのパスの典型的なスケーラブルなバックボーンとして登場している: Wukongは高階の非順序のフィーチャ-相互作用モデリングをスケールし、HSTUは長いユーザ-振る舞いのシーケンスモデリングをスケールする。
相補的な強みにもかかわらず、これらの2つのタイプの特徴モデリングを組み合わせた実用的アーキテクチャはいまだに未解明のままである。
We present WHALE, a scalable unified recommendation architecture that togetherly model non-sequence and sequence features on the Wukong and HSTU。
各 WHALE 層は Wukong モジュール、HSTU モジュール、および Wukong 由来の相互作用表現が HSTU 由来の振る舞い表現をクエリする注目ベースの融合モジュールを含む。
この設計は、両方のバックボーンをネットワーク全体でアクティブに保ち、プログレッシブなWukong-HSTU交換を可能にする。
WHALEを産業展開に活用するために、トレーニングと推論効率を向上させるために、カスタマイズされたトリトンカーネルや他のモデルシステムの共同設計技術を導入する。
大規模産業レコメンデーションデータでは、WHALEはオフライン実験において一貫した利得を達成する。
さらに、前向きなオンラインゲインと、控えめなサーブ・スループットのトレードオフを提供する。
この方法はプロダクションシステムにデプロイされている。
全体として、WHALEは、これらの2つの情報ソースが産業レコメンデーションモデルにおいて、どのように取りまとめられるかの実践的な例を提供する。
関連論文リスト
- UniFormer: Efficient and Unified Model-Centric Scaling for Industrial Recommendation [46.05454633225205]
UniFormerは、産業レコメンデーションシステムのための効率的で統一されたモデル中心のスケーリングフレームワークである。
効率を改善するために、UniFormerは全体のモデリング空間を機能空間とタスク空間に分解する。
UniFormerは、ユーザーエンゲージメントとインタラクションのメトリクスを継続的に改善します。
論文 参考訳（メタデータ） (2026-06-25T14:03:28Z) - TokenFormer: Unify the Multi-Field and Sequential Recommendation Worlds [17.505701673051405]
TokenFormerは、以下のイノベーションを取り入れた統合されたレコメンデーションアーキテクチャである。
まず,ボトムフルト・トップ・スライディング(BFTS:Bottom-Full-Top-Sliding)アテンションスキームを導入する。
第2に,非線形相互作用表現(NLIR)を導入し,一方の非線形乗算変換を隠れ状態に適用する。
論文 参考訳（メタデータ） (2026-04-15T11:25:46Z) - IAT: Instance-As-Token Compression for Historical User Sequence Modeling in Industrial Recommender Systems [19.111182803412458]
Instance-As-Token (IAT)は、新しい2段階のシーケンスモデリングフレームワークである。
IATは歴史的相互作用パターンをコンパクトだが情報的トークンにエンコードする。
IATは実世界の産業レコメンデーションシステムにうまく展開されている。
論文 参考訳（メタデータ） (2026-04-10T04:02:58Z) - MixFormer: Co-Scaling Up Dense and Sequence in Industrial Recommenders [11.566232697512879]
MixFormerは、レコメンデーションシステム用に設計されたTransformerスタイルの統一アーキテクチャである。
単一のバックボーン内でのシーケンシャルな振る舞いと特徴的相互作用を共同でモデル化する。
大規模産業データセットの実験は、MixFormerが常に優れた精度と効率を示すことを示した。
論文 参考訳（メタデータ） (2026-02-15T11:53:30Z) - HyFormer: Revisiting the Roles of Sequence Modeling and Feature Interaction in CTR Prediction [8.97787361529607]
本稿では,HyFormerについて述べる。HyFormerは1つのバックボーンに長周期モデリングと特徴相互作用を密に統合するハイブリッドトランスフォーマーアーキテクチャである。
数十億の産業データセットに関する実験は、HyFormerが強いLONGERとRanMixerのベースラインを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2026-01-19T02:55:05Z) - FuXi-$α$: Scaling Recommendation Model with Feature Interaction Enhanced Transformer [81.12174905444229]
近年の進歩は、大規模レコメンデーションモデルに逐次レコメンデーションモデルを拡張することが効果的な戦略であることを示している。
これらの問題に対処するために、FuXi-$alpha$と呼ばれる新しいモデルを提案する。
我々のモデルは既存のモデルよりも優れており、モデルのサイズが大きくなるにつれてその性能は継続的に向上する。
論文 参考訳（メタデータ） (2025-02-05T09:46:54Z) - SIGMA: Selective Gated Mamba for Sequential Recommendation [56.85338055215429]
最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。
SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。
以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2024-08-21T09:12:59Z) - Noise-powered Multi-modal Knowledge Graph Representation Framework [52.95468915728721]
マルチモーダル・プレトレーニングの台頭は、統合されたマルチモーダル知識グラフ表現学習フレームワークの必要性を強調している。
モードレベルのノイズマスキングを備えたトランスフォーマーアーキテクチャを用いた新しいSNAG手法を提案する。
提案手法は10個のデータセットにまたがってSOTA性能を実現し,その汎用性を実証する。
論文 参考訳（メタデータ） (2024-03-11T15:48:43Z) - Multi-Scale Semantics-Guided Neural Networks for Efficient
Skeleton-Based Human Action Recognition [140.18376685167857]
スケルトンに基づく行動認識には,単純なマルチスケールセマンティクス誘導ニューラルネットワークが提案されている。
MS-SGNは、NTU60、NTU120、SYSUデータセットの最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2021-11-07T03:50:50Z) - Polynomial Networks in Deep Classifiers [55.90321402256631]
我々は深層ニューラルネットワークの研究を統一的な枠組みで行った。
私たちのフレームワークは、各モデルの誘導バイアスに関する洞察を提供します。
提案モデルの有効性を,標準画像および音声分類ベンチマークで評価した。
論文 参考訳（メタデータ） (2021-04-16T06:41:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。