Fugu-MT 論文翻訳(概要): Multi-Epoch learning with Data Augmentation for Deep Click-Through Rate Prediction

論文の概要: Multi-Epoch learning with Data Augmentation for Deep Click-Through Rate Prediction

arxiv url: http://arxiv.org/abs/2407.01607v1
Date: Thu, 27 Jun 2024 04:00:15 GMT
ステータス: 処理完了
システム内更新日: 2024-07-03 20:02:00.769075
Title: Multi-Epoch learning with Data Augmentation for Deep Click-Through Rate Prediction
Title（参考訳）: 深部クリックスルーレート予測のためのデータ拡張によるマルチエポック学習
Authors: Zhongxiang Fan, Zhaocheng Liu, Jian Liang, Dongying Kong, Han Li, Peng Jiang, Shuang Li, Kun Gai,
Abstract要約: 非連続的な学習シナリオと連続的な学習シナリオの両方に適合する、新しいMulti-Epoch Learning with Data Augmentation (MEDA)フレームワークを導入する。 MEDAは、その後のトレーニングデータへの埋め込み層の依存性を減らし、過度な適合を最小化する。実験の結果,プレトレーニングした層が新しい埋め込み空間に適応し,過度に適合することなく性能を向上できることが確認された。
参考スコア（独自算出の注目度）: 53.88231294380083
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper investigates the one-epoch overfitting phenomenon in Click-Through Rate (CTR) models, where performance notably declines at the start of the second epoch. Despite extensive research, the efficacy of multi-epoch training over the conventional one-epoch approach remains unclear. We identify the overfitting of the embedding layer, caused by high-dimensional data sparsity, as the primary issue. To address this, we introduce a novel and simple Multi-Epoch learning with Data Augmentation (MEDA) framework, suitable for both non-continual and continual learning scenarios, which can be seamlessly integrated into existing deep CTR models and may have potential applications to handle the "forgetting or overfitting" dilemma in the retraining and the well-known catastrophic forgetting problems. MEDA minimizes overfitting by reducing the dependency of the embedding layer on subsequent training data or the Multi-Layer Perceptron (MLP) layers, and achieves data augmentation through training the MLP with varied embedding spaces. Our findings confirm that pre-trained MLP layers can adapt to new embedding spaces, enhancing performance without overfitting. This adaptability underscores the MLP layers' role in learning a matching function focused on the relative relationships among embeddings rather than their absolute positions. To our knowledge, MEDA represents the first multi-epoch training strategy tailored for deep CTR prediction models. We conduct extensive experiments on several public and business datasets, and the effectiveness of data augmentation and superiority over conventional single-epoch training are fully demonstrated. Besides, MEDA has exhibited significant benefits in a real-world online advertising system.
Abstract（参考訳）: 本稿では,Click-Through Rate (CTR)モデルにおいて,第2のエポック開始時に顕著に性能が低下する1エピックオーバーフィッティング現象について検討する。広範な研究にもかかわらず、従来のワンエポックアプローチに対するマルチエポックトレーニングの有効性は明らかになっていない。そこで本研究では,高次元データ空間に起因した埋め込み層の過度な適合を主要な課題として挙げる。そこで本研究では,既存の深層CTRモデルにシームレスに統合し,再学習におけるジレンマの「鍛造あるいは過剰適合」処理や,破滅的忘れの問題に対処する可能性のある,非連続的および連続的な学習シナリオに適した,新しい,データ拡張によるマルチエポックラーニング(MEDA)フレームワークを提案する。 MEDAは、後続のトレーニングデータやMLP(Multi-Layer Perceptron)レイヤへの埋め込み層の依存性を減らして過度な適合を最小化し、様々な埋め込み空間でMLPをトレーニングすることでデータ拡張を実現する。以上の結果から,事前学習したMLP層が新しい埋め込み空間に適応し,過度に適合することなく性能を向上させることが確認された。この適応性は、MLP層が絶対位置ではなく埋め込み間の相対関係に焦点を当てたマッチング関数を学ぶ際に果たす役割を裏付けている。我々の知る限り、MEDAは深部CTR予測モデルに適した最初のマルチエポックトレーニング戦略である。我々は,複数の公共およびビジネスデータセットに対する広範な実験を行い,従来の単一エポックトレーニングよりもデータ拡張と優越性の有効性を十分に実証した。さらに、MEDAは現実世界のオンライン広告システムに多大な利益をもたらしている。

関連論文リスト

Beyond Efficiency: Molecular Data Pruning for Enhanced Generalization [30.738229850748137]
MolPegは、一般化を強化するための分子データプルーニングフレームワークである。これは、事前訓練されたモデルでデータプルーニングを適用する、ソースフリーなデータプルーニングシナリオに焦点を当てている。 4つのダウンストリームタスクで既存のDPメソッドを一貫して上回ります。
論文参考訳（メタデータ） (2024-09-02T09:06:04Z)
Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
論文参考訳（メタデータ） (2024-08-21T06:48:38Z)
Continual Learning with Pre-Trained Models: A Survey [61.97613090666247]
継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
論文参考訳（メタデータ） (2024-01-29T18:27:52Z)
PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly Detection [65.24854366973794]
ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
論文参考訳（メタデータ） (2023-10-18T02:59:57Z)
MAP: A Model-agnostic Pretraining Framework for Click-through Rate Prediction [39.48740397029264]
本稿では,多分野分類データに特徴的破損と回復を適用したMAP(Model-Agnostic Pretraining)フレームワークを提案する。マスク付き特徴予測(RFD)と代替特徴検出(RFD)の2つの実用的なアルゴリズムを導出する。
論文参考訳（メタデータ） (2023-08-03T12:55:55Z)
Multi-Epoch Learning for Deep Click-Through Rate Prediction Models [32.80864867251999]
ワンエポックオーバーフィッティング現象は産業用クリックスルーレート(CTR)の応用で広く観測されている。本稿では,データ拡張を用いたマルチエポック学習(MEDA)を提案する。
論文参考訳（メタデータ） (2023-05-31T03:36:50Z)
To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
論文参考訳（メタデータ） (2023-05-22T17:02:15Z)
TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文参考訳（メタデータ） (2023-03-20T14:12:55Z)
Siloed Federated Learning for Multi-Centric Histopathology Datasets [0.17842332554022694]
本稿では,医学領域における深層学習アーキテクチャのための新しいフェデレーション学習手法を提案する。局所統計バッチ正規化(BN)層が導入され、協調的に訓練されるが中心に固有のモデルが作られる。本研究では,Camelyon16およびCamelyon17データセットから抽出した腫瘍組織像の分類法についてベンチマークを行った。
論文参考訳（メタデータ） (2020-08-17T15:49:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。