論文の概要: TWIN V2: Scaling Ultra-Long User Behavior Sequence Modeling for Enhanced CTR Prediction at Kuaishou
- arxiv url: http://arxiv.org/abs/2407.16357v1
- Date: Tue, 23 Jul 2024 10:00:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-24 17:36:04.733443
- Title: TWIN V2: Scaling Ultra-Long User Behavior Sequence Modeling for Enhanced CTR Prediction at Kuaishou
- Title（参考訳）: TWIN V2: Kuaishouにおける拡張CTR予測のための超長期ユーザ行動系列のスケーリング
- Authors: Zihua Si, Lin Guan, ZhongXiang Sun, Xiaoxue Zang, Jing Lu, Yiqun Hui, Xingchao Cao, Zeyu Yang, Yichen Zheng, Dewei Leng, Kai Zheng, Chenbin Zhang, Yanan Niu, Yang Song, Kun Gai,
- Abstract要約: SIMの強化であるTWIN-V2を導入し、ライフサイクルの振る舞いを圧縮し、より正確で多様なユーザの興味を明らかにする。
効率的なデプロイメントフレームワークの下では、TWIN-V2が主要なトラフィックにデプロイされ、Kuaishouでは毎日数億人のアクティブユーザを提供する。
- 参考スコア（独自算出の注目度）: 28.809014888174932
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The significance of modeling long-term user interests for CTR prediction tasks in large-scale recommendation systems is progressively gaining attention among researchers and practitioners. Existing work, such as SIM and TWIN, typically employs a two-stage approach to model long-term user behavior sequences for efficiency concerns. The first stage rapidly retrieves a subset of sequences related to the target item from a long sequence using a search-based mechanism namely the General Search Unit (GSU), while the second stage calculates the interest scores using the Exact Search Unit (ESU) on the retrieved results. Given the extensive length of user behavior sequences spanning the entire life cycle, potentially reaching up to 10^6 in scale, there is currently no effective solution for fully modeling such expansive user interests. To overcome this issue, we introduced TWIN-V2, an enhancement of TWIN, where a divide-and-conquer approach is applied to compress life-cycle behaviors and uncover more accurate and diverse user interests. Specifically, a hierarchical clustering method groups items with similar characteristics in life-cycle behaviors into a single cluster during the offline phase. By limiting the size of clusters, we can compress behavior sequences well beyond the magnitude of 10^5 to a length manageable for online inference in GSU retrieval. Cluster-aware target attention extracts comprehensive and multi-faceted long-term interests of users, thereby making the final recommendation results more accurate and diverse. Extensive offline experiments on a multi-billion-scale industrial dataset and online A/B tests have demonstrated the effectiveness of TWIN-V2. Under an efficient deployment framework, TWIN-V2 has been successfully deployed to the primary traffic that serves hundreds of millions of daily active users at Kuaishou.
- Abstract（参考訳）: 大規模レコメンデーションシステムにおけるCTR予測タスクに対する長期的ユーザの関心をモデル化することの重要性は、研究者や実践者の間で徐々に注目されている。
SIMやTWINといった既存の作業は、通常、効率の懸念のために長期的なユーザ行動シーケンスをモデル化するための2段階のアプローチを採用している。
第1のステージは、検索ベース機構であるジェネラルサーチユニット(GSU)を用いて、ターゲット項目に関連するシーケンスのサブセットを長いシーケンスから迅速に検索し、第2のステージは、検索した結果に基づいてExact Search Unit(ESU)を用いて利息スコアを算出する。
ライフサイクル全体にわたる広範囲のユーザ行動シーケンスが,最大10^6の規模に達する可能性があることから,このような拡張性のあるユーザ関心をモデル化するための効果的なソリューションは現在存在しない。
この問題を解決するため、我々はTWIN-V2を導入した。これはTWINの強化であり、ライフサイクルの振る舞いを圧縮し、より正確で多様なユーザの興味を明らかにするために分割対コンカレントアプローチを適用している。
特に、階層的クラスタリング手法は、オフラインフェーズ中にライフサイクルの挙動に類似した特徴を持つアイテムを単一のクラスタにグループ化する。
クラスタのサイズを制限することにより、GSU検索におけるオンライン推論に適した長さに10^5以上の振る舞い列を圧縮することができる。
クラスタ・アウェア・ターゲット・アテンションは、ユーザの包括的かつ多面的な長期的関心を抽出し、最終的な推奨結果をより正確かつ多種多様にする。
マルチビリオン規模の産業データセットとオンラインA/Bテストによる大規模なオフライン実験は、TWIN-V2の有効性を実証した。
効率的なデプロイメントフレームワークの下では、TWIN-V2が主要なトラフィックにデプロイされ、Kuaishouでは毎日数億人のアクティブユーザを提供する。
関連論文リスト
- Long-Sequence Recommendation Models Need Decoupled Embeddings [49.410906935283585]
我々は、既存の長期推薦モデルにおいて無視された欠陥を識別し、特徴付ける。
埋め込みの単一のセットは、注意と表現の両方を学ぶのに苦労し、これら2つのプロセス間の干渉につながります。
本稿では,2つの異なる埋め込みテーブルを別々に学習し,注意と表現を完全に分離する,DARE(Decoupled Attention and Representation Embeddings)モデルを提案する。
論文 参考訳（メタデータ） (2024-10-03T15:45:15Z) - SEMINAR: Search Enhanced Multi-modal Interest Network and Approximate Retrieval for Lifelong Sequential Recommendation [16.370075234443245]
本稿では,SEMINAR-Search Enhanced Multi-Modal Interest Network と Approximate Retrieval という,一生涯にわたるマルチモーダルシーケンスモデルを提案する。
具体的には、Pretraining Search Unitと呼ばれるネットワークが、事前トレーニング-ファインタニング方式で、マルチモーダルクエリ-イテムペアの寿命のシーケンスを学習する。
マルチモーダル埋め込みのオンライン検索速度を高速化するために,マルチモーダルなコードブックベースの製品量子化戦略を提案する。
論文 参考訳（メタデータ） (2024-07-15T13:33:30Z) - Sparse Attentive Memory Network for Click-through Rate Prediction with
Long Sequences [10.233015715433602]
本稿では,長期的ユーザ行動モデリングのためのスパース注意記憶ネットワークを提案する。
SAMは数千のスケールでユーザ行動シーケンスの効率的なトレーニングとリアルタイム推論をサポートする。
SAMは、世界最大の国際Eコマースプラットフォームのひとつとして成功している。
論文 参考訳（メタデータ） (2022-08-08T10:11:46Z) - Meta-Wrapper: Differentiable Wrapping Operator for User Interest
Selection in CTR Prediction [97.99938802797377]
クリックスルー率(CTR)予測は、ユーザーが商品をクリックする確率を予測することを目的としており、リコメンデーションシステムにおいてますます重要になっている。
近年,ユーザの行動からユーザの興味を自動的に抽出する深層学習モデルが大きな成功を収めている。
そこで我々は,メタラッパー(Meta-Wrapper)と呼ばれるラッパー手法の枠組みに基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2022-06-28T03:28:15Z) - Multi-Behavior Sequential Recommendation with Temporal Graph Transformer [66.10169268762014]
マルチビヘイビア・インタラクティブなパターンを意識した動的ユーザ・イテム関係学習に取り組む。
本稿では,動的短期および長期のユーザ・イテム対話パターンを共同でキャプチャする,TGT(Temporal Graph Transformer)レコメンデーションフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-06T15:42:54Z) - Sampling Is All You Need on Modeling Long-Term User Behaviors for CTR
Prediction [15.97120392599086]
textbfM(textbfSampling-based textbfDeep textbfModeling)を提案する。
提案手法は, 長期ユーザ行動のモデル化において, 標準的な注意モデルと同等に機能することが理論的, 実験的に示されている。
論文 参考訳（メタデータ） (2022-05-20T15:20:52Z) - Sequential Search with Off-Policy Reinforcement Learning [48.88165680363482]
本稿では,RNN学習フレームワークとアテンションモデルからなる,スケーラブルなハイブリッド学習モデルを提案する。
新たな最適化のステップとして、1つのRNNパスに複数の短いユーザシーケンスをトレーニングバッチ内に収める。
また、マルチセッションパーソナライズされた検索ランキングにおける非政治強化学習の利用についても検討する。
論文 参考訳（メタデータ） (2022-02-01T06:52:40Z) - End-to-End User Behavior Retrieval in Click-Through RatePrediction Model [15.52581453176164]
本稿では,学習と推論のコストを大幅に削減できる ETA (Locality-sensitive hashing) 法を提案する。
GMV(Gross Merchandise Value)を2段階の長期ユーザシーケンスCTRモデルと比較して3.1%改善した。
論文 参考訳（メタデータ） (2021-08-10T06:28:29Z) - Dynamic Memory based Attention Network for Sequential Recommendation [79.5901228623551]
DMAN(Dynamic Memory-based Attention Network)と呼ばれる新しい連続的推薦モデルを提案する。
長い動作シーケンス全体を一連のサブシーケンスに分割し、モデルをトレーニングし、ユーザの長期的な利益を維持するためにメモリブロックのセットを維持する。
動的メモリに基づいて、ユーザの短期的および長期的関心を明示的に抽出し、組み合わせて効率的な共同推薦を行うことができる。
論文 参考訳（メタデータ） (2021-02-18T11:08:54Z) - Multi-Interactive Attention Network for Fine-grained Feature Learning in
CTR Prediction [48.267995749975476]
クリックスルー率(ctr)予測シナリオでは、ユーザのシーケンシャルな動作を利用してユーザの関心を捉える。
既存の手法は主にユーザの行動に注意を払っているが、CTR予測には必ずしも適していない。
マルチインタラクティブ・アテンション・ネットワーク (MIAN) を提案し, 各種微細な特徴間の潜在関係を総合的に抽出する。
論文 参考訳（メタデータ） (2020-12-13T05:46:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。