論文の概要: MAP: A Model-agnostic Pretraining Framework for Click-through Rate Prediction

• arxiv url: http://arxiv.org/abs/2308.01737v1
• Date: Thu, 3 Aug 2023 12:55:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-04 14:08:03.115516
• Title: MAP: A Model-agnostic Pretraining Framework for Click-through Rate Prediction
• Title（参考訳）: MAP:クリックスルー率予測のためのモデルに依存しない事前学習フレームワーク
• Authors: Jianghao Lin, Yanru Qu, Wei Guo, Xinyi Dai, Ruiming Tang, Yong Yu, Weinan Zhang
• Abstract要約: 本稿では,多分野分類データに特徴的破損と回復を適用したMAP(Model-Agnostic Pretraining)フレームワークを提案する。 マスク付き特徴予測(RFD)と代替特徴検出(RFD)の2つの実用的なアルゴリズムを導出する。
• 参考スコア（独自算出の注目度）: 39.48740397029264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the widespread application of personalized online services, click-through rate (CTR) prediction has received more and more attention and research. The most prominent features of CTR prediction are its multi-field categorical data format, and vast and daily-growing data volume. The large capacity of neural models helps digest such massive amounts of data under the supervised learning paradigm, yet they fail to utilize the substantial data to its full potential, since the 1-bit click signal is not sufficient to guide the model to learn capable representations of features and instances. The self-supervised learning paradigm provides a more promising pretrain-finetune solution to better exploit the large amount of user click logs, and learn more generalized and effective representations. However, self-supervised learning for CTR prediction is still an open question, since current works on this line are only preliminary and rudimentary. To this end, we propose a Model-agnostic pretraining (MAP) framework that applies feature corruption and recovery on multi-field categorical data, and more specifically, we derive two practical algorithms: masked feature prediction (MFP) and replaced feature detection (RFD). MFP digs into feature interactions within each instance through masking and predicting a small portion of input features, and introduces noise contrastive estimation (NCE) to handle large feature spaces. RFD further turns MFP into a binary classification mode through replacing and detecting changes in input features, making it even simpler and more effective for CTR pretraining. Our extensive experiments on two real-world large-scale datasets (i.e., Avazu, Criteo) demonstrate the advantages of these two methods on several strong backbones (e.g., DCNv2, DeepFM), and achieve new state-of-the-art performance in terms of both effectiveness and efficiency for CTR prediction.
• Abstract（参考訳）: パーソナライズされたオンラインサービスの普及に伴い、クリックスルー率(CTR)予測はますます注目を集め、研究されている。 CTR予測の最も顕著な特徴は、その多分野の分類データフォーマットと、大規模で日々成長するデータボリュームである。 大量のニューラルネットワークは、教師あり学習パラダイムの下で大量のデータを消化するのに役立つが、1ビットのクリック信号がモデルに特徴やインスタンスの有能な表現を学習させるのに十分ではないため、実質的なデータを最大限に活用できない。 自己教師型学習パラダイムは、大量のユーザクリックログをより活用し、より一般化され効果的な表現を学ぶために、より有望なプレトレーニング・ファインチューンソリューションを提供する。 しかし、CTR予測のための自己教師型学習は、現時点では予備的かつ初歩的なものであるため、まだ未解決の課題である。 そこで本研究では,マルチフィールド分類データに特徴劣化とリカバリを適用したMAP(Model-Agnostic Pretraining)フレームワークを提案し,より具体的には,マスク特徴予測(MFP)と代用特徴検出(RFD)の2つの実用的なアルゴリズムを導出する。 MFPはマスキングと少数の入力特徴の予測を通じて各インスタンス内の機能インタラクションを掘り下げ、大きな特徴空間を扱うためにノイズコントラスト推定(NCE)を導入している。 RFDはさらにMFPをバイナリ分類モードにし、入力特徴の変化を置き換え、検出することで、CTR事前訓練をよりシンプルに、より効果的にする。 2つの実世界の大規模データセット(例えばAvazu,Criteo)に関する大規模な実験では、複数の強力なバックボーン(例えばDCNv2, DeepFM)上でこれらの2つの手法の利点を実証し、CTR予測の有効性と効率性の両面から新しい最先端性能を実現する。

関連論文リスト

• Multi-Epoch learning with Data Augmentation for Deep Click-Through Rate Prediction [53.88231294380083]
  非連続的な学習シナリオと連続的な学習シナリオの両方に適合する、新しいMulti-Epoch Learning with Data Augmentation (MEDA)フレームワークを導入する。 MEDAは、その後のトレーニングデータへの埋め込み層の依存性を減らし、過度な適合を最小化する。 実験の結果,プレトレーニングした層が新しい埋め込み空間に適応し,過度に適合することなく性能を向上できることが確認された。
  論文  参考訳（メタデータ） (2024-06-27T04:00:15Z)
• Tuning Pre-trained Model via Moment Probing [62.445281364055795]
  本稿では,LP の可能性を探るため,新しい Moment Probing (MP) 法を提案する。 MPは、最終特徴の平均に基づいて線形分類ヘッドを実行する。 当社のMPはLPを著しく上回り、トレーニングコストの低い相手と競争しています。
  論文  参考訳（メタデータ） (2023-07-21T04:15:02Z)
• Meta-Wrapper: Differentiable Wrapping Operator for User Interest Selection in CTR Prediction [97.99938802797377]
  クリックスルー率(CTR)予測は、ユーザーが商品をクリックする確率を予測することを目的としており、リコメンデーションシステムにおいてますます重要になっている。 近年,ユーザの行動からユーザの興味を自動的に抽出する深層学習モデルが大きな成功を収めている。 そこで我々は,メタラッパー(Meta-Wrapper)と呼ばれるラッパー手法の枠組みに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-06-28T03:28:15Z)
• Research on Dual Channel News Headline Classification Based on ERNIE Pre-training Model [13.222137788045416]
  提案モデルは従来のニューラルネットワークモデルと比較して,ニュース見出し分類の精度,精度,F1スコアを改善する。 大規模データ量でのニュース見出しテキストのマルチクラス化アプリケーションでは、うまく機能する。
  論文  参考訳（メタデータ） (2022-02-14T10:44:12Z)
• Dynamic Parameterized Network for CTR Prediction [6.749659219776502]
  我々は、明示的かつ暗黙的な相互作用をインスタンスワイズで学習するために、新しいプラグイン操作であるDynamic ized Operation (DPO)を提案した。 DNNモジュールとアテンションモジュールへのDPOの導入は,クリックスルー率(CTR)予測においてそれぞれ2つの主要なタスクに有効であることを示した。 我々のDynamic ized Networksは、パブリックデータセットと実世界のプロダクションデータセットのオフライン実験において、最先端の手法を著しく上回る。
  論文  参考訳（メタデータ） (2021-11-09T08:15:03Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Calibrating Class Activation Maps for Long-Tailed Visual Recognition [60.77124328049557]
  本稿では,CNNの長期分布からネットワーク学習を改善するための2つの効果的な修正を提案する。 まず,ネットワーク分類器の学習と予測を改善するために,CAMC (Class Activation Map) モジュールを提案する。 第2に,長期化問題における表現学習における正規化分類器の利用について検討する。
  論文  参考訳（メタデータ） (2021-08-29T05:45:03Z)
• Iterative Boosting Deep Neural Networks for Predicting Click-Through Rate [15.90144113403866]
  クリックスルーレート(CTR)は、特定の項目のクリックの比率を、そのビューの総数に反映する。 XdBoostは、従来の機械学習の強化メカニズムの影響を受け、反復的な3段階ニューラルネットワークモデルである。
  論文  参考訳（メタデータ） (2020-07-26T09:41:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。