論文の概要: Efficient Long Sequential User Data Modeling for Click-Through Rate Prediction

• arxiv url: http://arxiv.org/abs/2209.12212v1
• Date: Sun, 25 Sep 2022 12:59:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 18:03:12.123655
• Title: Efficient Long Sequential User Data Modeling for Click-Through Rate Prediction
• Title（参考訳）: クリックスルーレート予測のための効率的な時系列ユーザデータモデリング
• Authors: Qiwei Chen, Yue Xu, Changhua Pei, Shanshan Lv, Tao Zhuang, Junfeng Ge
• Abstract要約: 本稿では,長期動作シーケンスをモデル化し,優れた性能と優れたコスト効率を実現するエンド・ツー・エンドのパラダイムを提案する。 まず、エンド・ツー・エンドのユーザ行動検索を可能にするために、ETA-Netというハッシュベースの効率的なターゲットアテンション(TA)ネットワークを提案する。 ETA-Netはタオバオのレコメンダシステムに配備されており、SOTAの2段法に比べてCTRが1.8%上昇し、Gross Merchandise Value(GMV)が3.1%上昇した。
• 参考スコア（独自算出の注目度）: 9.455385139394494
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies on Click-Through Rate (CTR) prediction has reached new levels by modeling longer user behavior sequences. Among others, the two-stage methods stand out as the state-of-the-art (SOTA) solution for industrial applications. The two-stage methods first train a retrieval model to truncate the long behavior sequence beforehand and then use the truncated sequences to train a CTR model. However, the retrieval model and the CTR model are trained separately. So the retrieved subsequences in the CTR model is inaccurate, which degrades the final performance. In this paper, we propose an end-to-end paradigm to model long behavior sequences, which is able to achieve superior performance along with remarkable cost-efficiency compared to existing models. Our contribution is three-fold: First, we propose a hashing-based efficient target attention (TA) network named ETA-Net to enable end-to-end user behavior retrieval based on low-cost bit-wise operations. The proposed ETA-Net can reduce the complexity of standard TA by orders of magnitude for sequential data modeling. Second, we propose a general system architecture as one viable solution to deploy ETA-Net on industrial systems. Particularly, ETA-Net has been deployed on the recommender system of Taobao, and brought 1.8% lift on CTR and 3.1% lift on Gross Merchandise Value (GMV) compared to the SOTA two-stage methods. Third, we conduct extensive experiments on both offline datasets and online A/B test. The results verify that the proposed model outperforms existing CTR models considerably, in terms of both CTR prediction performance and online cost-efficiency. ETA-Net now serves the main traffic of Taobao, delivering services to hundreds of millions of users towards billions of items every day.
• Abstract（参考訳）: CTR(Click-Through Rate)予測に関する最近の研究は、より長いユーザ動作シーケンスをモデル化することによって、新たなレベルに達した。 中でも、2段階の手法は産業応用のための最先端(SOTA)ソリューションとして際立っている。 2段階の手法は、まず検索モデルを訓練し、長い動作シーケンスを事前に切り刻み、次に切り刻まれたシーケンスを使用してCTRモデルを訓練する。 しかし、検索モデルとCTRモデルは別々に訓練される。 したがって、CTRモデルの取得したサブシーケンスは不正確であり、最終的な性能を劣化させる。 本稿では,従来のモデルに比べて優れた性能と優れたコスト効率を実現することができる,長期動作シーケンスをモデル化するためのエンドツーエンドパラダイムを提案する。 まず,安価ビットワイズ操作に基づくエンド・ツー・エンドのユーザ動作検索を可能にするために,eta-net というハッシュベースの効率的なターゲットアテンション (ta) ネットワークを提案する。 提案した ETA-Net は、シーケンシャルなデータモデリングにおいて、標準 TA の複雑さを桁違いに軽減することができる。 第2に,産業システムにeta-netをデプロイするための有効なソリューションとして,汎用システムアーキテクチャを提案する。 特にETA-Netはタオバオの推薦システムに配備されており、SOTAの2段法に比べてCTRが1.8%上昇し、Gross Merchandise Value(GMV)が3.1%上昇した。 第3に、オフラインデータセットとオンラインA/Bテストの両方で広範な実験を行います。 その結果,提案モデルがCTR予測性能とオンラインコスト効率の両面から,既存のCTRモデルよりも優れていることを確認した。 eta-netは現在、taobaoの主要トラフィックを担い、毎日数十億のアイテムに数億人のユーザーにサービスを提供する。

関連論文リスト

• A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
  我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。 ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。 当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
  論文  参考訳（メタデータ） (2024-11-20T20:38:56Z)
• Deep Learning-Based Cyber-Attack Detection Model for Smart Grids [6.642400003243118]
  監視制御とデータ取得(SCADA)により、受信した負荷データに対するデータ完全性サイバー攻撃(DIA)を防止するために、人工知能に基づく新しいサイバー攻撃検出モデルを開発した。 提案モデルでは、まず回帰モデルを用いて負荷データを予測し、処理後、教師なし学習法を用いて処理データをクラスタ化する。 提案したEE-BiLSTM法は,他の2つの手法と比較して,より堅牢かつ高精度に動作可能である。
  論文  参考訳（メタデータ） (2023-12-14T10:54:04Z)
• MAP: A Model-agnostic Pretraining Framework for Click-through Rate Prediction [39.48740397029264]
  本稿では,多分野分類データに特徴的破損と回復を適用したMAP(Model-Agnostic Pretraining)フレームワークを提案する。 マスク付き特徴予測(RFD)と代替特徴検出(RFD)の2つの実用的なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2023-08-03T12:55:55Z)
• Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
  本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-11-21T03:09:42Z)
• Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
  2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。 我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。 得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
  論文  参考訳（メタデータ） (2022-11-16T21:55:05Z)
• Dynamic Parameterized Network for CTR Prediction [6.749659219776502]
  我々は、明示的かつ暗黙的な相互作用をインスタンスワイズで学習するために、新しいプラグイン操作であるDynamic ized Operation (DPO)を提案した。 DNNモジュールとアテンションモジュールへのDPOの導入は,クリックスルー率(CTR)予測においてそれぞれ2つの主要なタスクに有効であることを示した。 我々のDynamic ized Networksは、パブリックデータセットと実世界のプロダクションデータセットのオフライン実験において、最先端の手法を著しく上回る。
  論文  参考訳（メタデータ） (2021-11-09T08:15:03Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)
• End-to-End User Behavior Retrieval in Click-Through RatePrediction Model [15.52581453176164]
  本稿では,学習と推論のコストを大幅に削減できる ETA (Locality-sensitive hashing) 法を提案する。 GMV(Gross Merchandise Value)を2段階の長期ユーザシーケンスCTRモデルと比較して3.1%改善した。
  論文  参考訳（メタデータ） (2021-08-10T06:28:29Z)
• When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
  正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。 精度を向上させるために,2つの軽量モジュールを提案する。 DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。 QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
  論文  参考訳（メタデータ） (2021-05-27T13:51:42Z)
• DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator Search [55.164053971213576]
  畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。 構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。 既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
  論文  参考訳（メタデータ） (2020-11-04T07:43:01Z)
• Iterative Boosting Deep Neural Networks for Predicting Click-Through Rate [15.90144113403866]
  クリックスルーレート(CTR)は、特定の項目のクリックの比率を、そのビューの総数に反映する。 XdBoostは、従来の機械学習の強化メカニズムの影響を受け、反復的な3段階ニューラルネットワークモデルである。
  論文  参考訳（メタデータ） (2020-07-26T09:41:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。