論文の概要: Towards Understanding the Overfitting Phenomenon of Deep Click-Through Rate Prediction Models

• arxiv url: http://arxiv.org/abs/2209.06053v1
• Date: Sun, 4 Sep 2022 11:36:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-18 16:54:12.110466
• Title: Towards Understanding the Overfitting Phenomenon of Deep Click-Through Rate Prediction Models
• Title（参考訳）: ディープクリックスルー率予測モデルの過剰フィット現象の解明に向けて
• Authors: Zhao-Yu Zhang, Xiang-Rong Sheng, Yujing Zhang, Biye Jiang, Shuguang Han, Hongbo Deng, Bo Zheng
• Abstract要約: 我々は,Click-Through Rate (CTR) 予測において,興味深い一時期オーバーフィッティング問題を観測した。 モデル性能は、第2のエポックの初めに劇的な劣化を示す。 これにより、最高のパフォーマンスは通常、1つのエポックでトレーニングすることで達成される。
• 参考スコア（独自算出の注目度）: 16.984947259260878
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning techniques have been applied widely in industrial recommendation systems. However, far less attention has been paid to the overfitting problem of models in recommendation systems, which, on the contrary, is recognized as a critical issue for deep neural networks. In the context of Click-Through Rate (CTR) prediction, we observe an interesting one-epoch overfitting problem: the model performance exhibits a dramatic degradation at the beginning of the second epoch. Such a phenomenon has been witnessed widely in real-world applications of CTR models. Thereby, the best performance is usually achieved by training with only one epoch. To understand the underlying factors behind the one-epoch phenomenon, we conduct extensive experiments on the production data set collected from the display advertising system of Alibaba. The results show that the model structure, the optimization algorithm with a fast convergence rate, and the feature sparsity are closely related to the one-epoch phenomenon. We also provide a likely hypothesis for explaining such a phenomenon and conduct a set of proof-of-concept experiments. We hope this work can shed light on future research on training more epochs for better performance.
• Abstract（参考訳）: 深層学習技術は産業レコメンデーションシステムに広く応用されている。 しかし、レコメンデーションシステムにおけるモデルの過剰フィット問題に対する注意は少なく、それとは対照的に、ディープニューラルネットワークの重要な問題として認識されている。 CTR(Click-Through Rate)予測の文脈では、モデル性能が第2のエポックの開始時に劇的な劣化を示すという、興味深い1つのエポックなオーバーフィッティングの問題が観察される。 このような現象は、CTRモデルの実際の応用において広く見られた。 これにより、最高のパフォーマンスは通常、1つのエポックでトレーニングすることで達成される。 この現象の背後にある要因を理解するため,Alibabaのディスプレイ広告システムから収集した生産データについて広範な実験を行った。 その結果, モデル構造, 高速収束率の最適化アルゴリズム, 特徴空間は, ワンエポック現象と密接に関連していることがわかった。 また,このような現象を説明するための仮説を提案し,概念実証実験を行う。 この成果が,パフォーマンス向上のためのエポックのトレーニングに関する今後の研究に光を当ててくれることを願っています。

関連論文リスト

• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Robustness and Generalization Performance of Deep Learning Models on Cyber-Physical Systems: A Comparative Study [71.84852429039881]
  調査は、センサーの故障やノイズなど、様々な摂動を扱うモデルの能力に焦点を当てている。 我々は,これらのモデルの一般化と伝達学習能力を,アウト・オブ・ディストリビューション(OOD)サンプルに公開することによって検証する。
  論文  参考訳（メタデータ） (2023-06-13T12:43:59Z)
• Multi-Epoch Learning for Deep Click-Through Rate Prediction Models [32.80864867251999]
  ワンエポックオーバーフィッティング現象は産業用クリックスルーレート(CTR)の応用で広く観測されている。 本稿では,データ拡張を用いたマルチエポック学習(MEDA)を提案する。
  論文  参考訳（メタデータ） (2023-05-31T03:36:50Z)
• Two Steps Forward and One Behind: Rethinking Time Series Forecasting with Deep Learning [7.967995669387532]
  Transformerは、人工知能ニューラルネットワークの世界に革命をもたらした、非常に成功したディープラーニングモデルである。 時系列予測領域に適用したトランスフォーマーモデルの有効性について検討する。 性能が良く、より複雑でない代替モデル一式を提案する。
  論文  参考訳（メタデータ） (2023-04-10T12:47:42Z)
• How Tempering Fixes Data Augmentation in Bayesian Neural Networks [22.188535244056016]
  テンパリングは、拡張のモデリングから生じる誤特定を暗黙的に減らし、すなわちデータとして示す。 温度は有効サンプルサイズの役割を模倣し、増強によって提供される情報の利得を反映している。
  論文  参考訳（メタデータ） (2022-05-27T11:06:56Z)
• Hybrid Predictive Coding: Inferring, Fast and Slow [62.997667081978825]
  本稿では,反復型と償却型の両方を原則的に組み合わせたハイブリッド予測符号化ネットワークを提案する。 我々は,本モデルが本質的に不確実性に敏感であり,最小計算費用を用いて正確な信念を得るためにバランスを適応的にバランスさせることを実証した。
  論文  参考訳（メタデータ） (2022-04-05T12:52:45Z)
• Back2Future: Leveraging Backfill Dynamics for Improving Real-time Predictions in Future [73.03458424369657]
  公衆衛生におけるリアルタイム予測では、データ収集は簡単で要求の多いタスクである。 過去の文献では「バックフィル」現象とそのモデル性能への影響についてはほとんど研究されていない。 我々は、与えられたモデルの予測をリアルタイムで洗練することを目的とした、新しい問題とニューラルネットワークフレームワークBack2Futureを定式化する。
  論文  参考訳（メタデータ） (2021-06-08T14:48:20Z)
• Self-Regression Learning for Blind Hyperspectral Image Fusion Without Label [11.291055330647977]
  ハイパースペクトル画像(HSI)を再構築した自己回帰学習法を提案し,観察モデルを推定する。 特に,hsiを復元するinvertible neural network (inn) と,観測モデルを推定する2つの完全連結ネットワーク (fcn) を採用している。 我々のモデルは、合成データと実世界のデータセットの両方で実験で最先端の手法を上回ることができる。
  論文  参考訳（メタデータ） (2021-03-31T04:48:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。