論文の概要: Sparse Attentive Memory Network for Click-through Rate Prediction with Long Sequences

• arxiv url: http://arxiv.org/abs/2208.04022v1
• Date: Mon, 8 Aug 2022 10:11:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-09 13:57:06.982228
• Title: Sparse Attentive Memory Network for Click-through Rate Prediction with Long Sequences
• Title（参考訳）: 長シーケンスのクリックスルーレート予測のためのスパース注意メモリネットワーク
• Authors: Qianying Lin, Wen-Ji Zhou, Yanshi Wang, Qing Da, Qing-Guo Chen, Bing Wang
• Abstract要約: 本稿では,長期的ユーザ行動モデリングのためのスパース注意記憶ネットワークを提案する。 SAMは数千のスケールでユーザ行動シーケンスの効率的なトレーニングとリアルタイム推論をサポートする。 SAMは、世界最大の国際Eコマースプラットフォームのひとつとして成功している。
• 参考スコア（独自算出の注目度）: 10.233015715433602
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequential recommendation predicts users' next behaviors with their historical interactions. Recommending with longer sequences improves recommendation accuracy and increases the degree of personalization. As sequences get longer, existing works have not yet addressed the following two main challenges. Firstly, modeling long-range intra-sequence dependency is difficult with increasing sequence lengths. Secondly, it requires efficient memory and computational speeds. In this paper, we propose a Sparse Attentive Memory (SAM) network for long sequential user behavior modeling. SAM supports efficient training and real-time inference for user behavior sequences with lengths on the scale of thousands. In SAM, we model the target item as the query and the long sequence as the knowledge database, where the former continuously elicits relevant information from the latter. SAM simultaneously models target-sequence dependencies and long-range intra-sequence dependencies with O(L) complexity and O(1) number of sequential updates, which can only be achieved by the self-attention mechanism with O(L^2) complexity. Extensive empirical results demonstrate that our proposed solution is effective not only in long user behavior modeling but also on short sequences modeling. Implemented on sequences of length 1000, SAM is successfully deployed on one of the largest international E-commerce platforms. This inference time is within 30ms, with a substantial 7.30% click-through rate improvement for the online A/B test. To the best of our knowledge, it is the first end-to-end long user sequence modeling framework that models intra-sequence and target-sequence dependencies with the aforementioned degree of efficiency and successfully deployed on a large-scale real-time industrial recommender system.
• Abstract（参考訳）: 逐次レコメンデーションは、過去のインタラクションでユーザの次の行動を予測します。 より長いシーケンスでのリコメンデーションは、推奨精度を改善し、パーソナライゼーションの度合いを高める。 シーケンスが長くなるにつれて、既存の作業はまだ以下の2つの主な課題に対処していません。 まず、シーケンス長の増加に伴い、長距離シーケンス内依存性のモデル化が困難となる。 第二に、効率的なメモリと計算速度を必要とする。 本稿では,長期的ユーザ行動モデリングのためのスパース注意メモリ(SAM)ネットワークを提案する。 SAMは数千のスケールでユーザ行動シーケンスの効率的なトレーニングとリアルタイム推論をサポートする。 SAMでは,対象項目を問合せとして,ロングシーケンスを知識データベースとしてモデル化し,後者から関連情報を連続的に抽出する。 SAM は O(L) の複雑性と O(1) のシーケンシャルな更新数で、O(L^2) の複雑性を持つ自己保持機構によってのみ達成できる。 実験結果から,提案手法は長期ユーザ行動モデリングだけでなく,ショートシーケンスモデリングにも有効であることが示された。 長さ1000のシークエンスで実装され、samは最大の国際eコマースプラットフォームの一つにうまく展開される。 この推測時間は30ミリ秒以内で、オンラインA/Bテストでは7.30%のクリックスルー率の改善がある。 我々の知る限り、このフレームワークは、上記の効率の程度でシーケンス内およびターゲットシーケンス依存性をモデル化し、大規模なリアルタイム産業レコメンデーションシステムにうまくデプロイする最初のエンドツーエンドのユーザーシーケンスモデリングフレームワークです。

関連論文リスト

• TWIN V2: Scaling Ultra-Long User Behavior Sequence Modeling for Enhanced CTR Prediction at Kuaishou [28.809014888174932]
  SIMの強化であるTWIN-V2を導入し、ライフサイクルの振る舞いを圧縮し、より正確で多様なユーザの興味を明らかにする。 効率的なデプロイメントフレームワークの下では、TWIN-V2が主要なトラフィックにデプロイされ、Kuaishouでは毎日数億人のアクティブユーザを提供する。
  論文  参考訳（メタデータ） (2024-07-23T10:00:45Z)
• LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory [63.41820940103348]
  自己保持機構の計算コストは、長いシーケンスの実用性を制限する。 我々はLongVQと呼ばれる新しい手法を提案し、長さ固定されたコードブックとしてグローバルな抽象化を圧縮する。 LongVQは動的グローバルパターンとローカルパターンを効果的に維持し、長距離依存性の問題の欠如を補うのに役立つ。
  論文  参考訳（メタデータ） (2024-04-17T08:26:34Z)
• Learning Sequence Representations by Non-local Recurrent Neural Memory [61.65105481899744]
  教師付きシーケンス表現学習のためのNon-local Recurrent Neural Memory (NRNM)を提案する。 我々のモデルは長距離依存を捉えることができ、潜伏した高レベル特徴を我々のモデルで抽出することができる。 我々のモデルは、これらのシーケンスアプリケーションごとに特別に設計された他の最先端の手法と比較して好意的に比較する。
  論文  参考訳（メタデータ） (2022-07-20T07:26:15Z)
• Sampling Is All You Need on Modeling Long-Term User Behaviors for CTR Prediction [15.97120392599086]
  textbfM(textbfSampling-based textbfDeep textbfModeling)を提案する。 提案手法は, 長期ユーザ行動のモデル化において, 標準的な注意モデルと同等に機能することが理論的, 実験的に示されている。
  論文  参考訳（メタデータ） (2022-05-20T15:20:52Z)
• Sequential Search with Off-Policy Reinforcement Learning [48.88165680363482]
  本稿では,RNN学習フレームワークとアテンションモデルからなる,スケーラブルなハイブリッド学習モデルを提案する。 新たな最適化のステップとして、1つのRNNパスに複数の短いユーザシーケンスをトレーニングバッチ内に収める。 また、マルチセッションパーソナライズされた検索ランキングにおける非政治強化学習の利用についても検討する。
  論文  参考訳（メタデータ） (2022-02-01T06:52:40Z)
• Contrastive Self-supervised Sequential Recommendation with Robust Augmentation [101.25762166231904]
  Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。 データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。 逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T07:15:25Z)
• Sequence Adaptation via Reinforcement Learning in Recommender Systems [8.909115457491522]
  そこで我々は,SARモデルを提案する。SARモデルは,ユーザとイテムの相互作用のシーケンス長をパーソナライズされた方法で調整する。 さらに,逐次レコメンデーションの精度を批評家ネットワークの予測累積報酬と整合させるために,共同損失関数を最適化する。 実世界の4つのデータセットに対する実験的な評価は,提案モデルがいくつかのベースラインアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-31T13:56:46Z)
• Dynamic Memory based Attention Network for Sequential Recommendation [79.5901228623551]
  DMAN(Dynamic Memory-based Attention Network)と呼ばれる新しい連続的推薦モデルを提案する。 長い動作シーケンス全体を一連のサブシーケンスに分割し、モデルをトレーニングし、ユーザの長期的な利益を維持するためにメモリブロックのセットを維持する。 動的メモリに基づいて、ユーザの短期的および長期的関心を明示的に抽出し、組み合わせて効率的な共同推薦を行うことができる。
  論文  参考訳（メタデータ） (2021-02-18T11:08:54Z)
• SAC: Accelerating and Structuring Self-Attention via Sparse Adaptive Connection [51.376723069962]
  本稿では,スパース適応接続(Sparse Adaptive Connection)を提案する。 SACでは、入力シーケンスをグラフとみなし、リンクノード間のアテンション操作を行う。 我々は,SACが最先端モデルと競合する一方で,メモリコストを大幅に削減することを示した。
  論文  参考訳（メタデータ） (2020-03-22T07:58:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。