論文の概要: PPM : A Pre-trained Plug-in Model for Click-through Rate Prediction

• arxiv url: http://arxiv.org/abs/2403.10049v1
• Date: Fri, 15 Mar 2024 06:42:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 18:29:12.332718
• Title: PPM : A Pre-trained Plug-in Model for Click-through Rate Prediction
• Title（参考訳）: PPM : クリックスルー速度予測のための事前学習プラグインモデル
• Authors: Yuanbo Gao, Peng Lin, Dongyue Wang, Feng Mei, Xiwei Zhao, Sulong Xu, Jinghe Hu,
• Abstract要約: クリックスルー率(CTR)予測はレコメンダシステムにおける中核的なタスクである。 我々は、textbfP$re-trained $textbfP$lug-in CTR $textbfM$odel、すなわちPPMを提案する。
• 参考スコア（独自算出の注目度）: 10.341207266687494
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Click-through rate (CTR) prediction is a core task in recommender systems. Existing methods (IDRec for short) rely on unique identities to represent distinct users and items that have prevailed for decades. On one hand, IDRec often faces significant performance degradation on cold-start problem; on the other hand, IDRec cannot use longer training data due to constraints imposed by iteration efficiency. Most prior studies alleviate the above problems by introducing pre-trained knowledge(e.g. pre-trained user model or multi-modal embeddings). However, the explosive growth of online latency can be attributed to the huge parameters in the pre-trained model. Therefore, most of them cannot employ the unified model of end-to-end training with IDRec in industrial recommender systems, thus limiting the potential of the pre-trained model. To this end, we propose a $\textbf{P}$re-trained $\textbf{P}$lug-in CTR $\textbf{M}$odel, namely PPM. PPM employs multi-modal features as input and utilizes large-scale data for pre-training. Then, PPM is plugged in IDRec model to enhance unified model's performance and iteration efficiency. Upon incorporating IDRec model, certain intermediate results within the network are cached, with only a subset of the parameters participating in training and serving. Hence, our approach can successfully deploy an end-to-end model without causing huge latency increases. Comprehensive offline experiments and online A/B testing at JD E-commerce demonstrate the efficiency and effectiveness of PPM.
• Abstract（参考訳）: クリックスルー率(CTR)予測はレコメンダシステムにおける中核的なタスクである。 既存の方法(IDRec、略してIDRec)は、何十年にもわたって普及してきた異なるユーザやアイテムを表現するために、ユニークなアイデンティティに依存している。 一方、IDRecは、繰り返し効率の制約により、より長いトレーニングデータを使用することができない。 多くの先行研究は、事前学習された知識(例えば、事前学習されたユーザモデルやマルチモーダル埋め込み)を導入することで、上記の問題を緩和している。 しかし、オンラインレイテンシの爆発的な成長は、事前訓練されたモデルにおける大きなパラメータに起因する可能性がある。 そのため,産業レコメンデータシステムにおいて,IDRecを用いたエンド・ツー・エンド・エンド・トレーニングの統一モデルを採用できない場合が多く,事前学習モデルの可能性を制限している。 この目的のために、$\textbf{P}$re-trained $\textbf{P}$lug-in CTR $\textbf{M}$odel, すなわち、PPMを提案する。 PPMは入力としてマルチモーダル機能を使用し、事前トレーニングに大規模データを使用する。 次に、PPMをIDRecモデルにプラグインし、統一モデルの性能とイテレーション効率を向上させる。 IDRecモデルを組み込むと、ネットワーク内のある中間結果がキャッシュされ、トレーニングやサービスに参加するパラメータのサブセットのみがキャッシュされる。 したがって、我々のアプローチは、大きなレイテンシの増加を引き起こすことなく、エンドツーエンドモデルをうまくデプロイできる。 JD Eコマースにおける総合的なオフライン実験とオンラインA/Bテストは、PPMの有効性と有効性を示している。

関連論文リスト

• Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
  マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。 事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。 次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
  論文  参考訳（メタデータ） (2024-08-21T06:48:38Z)
• FD-Align: Feature Discrimination Alignment for Fine-tuning Pre-Trained Models in Few-Shot Learning [21.693779973263172]
  本稿では,特徴識別アライメント(FD-Align)と呼ばれる微調整手法を提案する。 本手法は,突発的特徴の一貫性を保ち,モデルの一般化可能性を高めることを目的としている。 一度微調整すると、モデルは既存のメソッドとシームレスに統合され、パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-23T17:12:01Z)
• Uncertainty-aware Parameter-Efficient Self-training for Semi-supervised Language Understanding [38.11411155621616]
  我々は,主に半教師あり学習の手法として,自己学習について研究している。 我々は,新しい不確かさを意識した自己学習フレームワークであるUPETを紹介する。 UPETは性能と効率の面で大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-19T02:18:29Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• INGENIOUS: Using Informative Data Subsets for Efficient Pre-Training of Language Models [40.54353850357839]
  トレーニングコーパスの高度に代表的なサブセットを選択するために、サブモジュラー最適化を利用する方法を示す。 その結果,完全学習モデルの性能の最大$sim99%が得られた。
  論文  参考訳（メタデータ） (2023-05-11T09:24:41Z)
• Effective and Efficient Training for Sequential Recommendation using Recency Sampling [91.02268704681124]
  本稿では,新しいRecency-based Smpling of Sequencesトレーニング目標を提案する。 提案手法により拡張されたモデルにより,最先端のBERT4Recに近い性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-06T13:06:31Z)
• MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
  本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。 自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2022-04-15T23:19:37Z)
• LogME: Practical Assessment of Pre-trained Models for Transfer Learning [80.24059713295165]
  最大エビデンス対数(logme)は、転送学習のための事前学習されたモデルを評価するために用いられる。 ブルートフォースの微調整と比較して、LogMEはウォールクロックタイムで3000times$のスピードアップをもたらします。
  論文  参考訳（メタデータ） (2021-02-22T13:58:11Z)
• MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
  データに依存しない蒸留フレームワークであるMixKDを提案する。 妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。 限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
  論文  参考訳（メタデータ） (2020-11-01T18:47:51Z)
• PrIU: A Provenance-Based Approach for Incrementally Updating Regression Models [9.496524884855559]
  本稿では,予測精度を犠牲にすることなく,モデルパラメータを漸進的に更新する手法PrIUを提案する。 漸進的に更新されたモデルパラメータの正しさと収束性を証明し、実験的に検証する。 実験結果から, PrIU-optはスクラッチからモデルを再トレーニングするのに対して, 非常に類似したモデルを得るよりも, 最大2桁のスピードアップを達成できることがわかった。
  論文  参考訳（メタデータ） (2020-02-26T21:04:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。