論文の概要: CowClip: Reducing CTR Prediction Model Training Time from 12 hours to 10
minutes on 1 GPU
- arxiv url: http://arxiv.org/abs/2204.06240v1
- Date: Wed, 13 Apr 2022 08:17:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-14 14:07:14.795804
- Title: CowClip: Reducing CTR Prediction Model Training Time from 12 hours to 10
minutes on 1 GPU
- Title（参考訳）: CowClip: CTR予測モデルのトレーニング時間を1GPUで12時間から10分に短縮する
- Authors: Zangwei Zheng, Pengtai Xu, Xuan Zou, Da Tang, Zhen Li, Chenguang Xi,
Peng Wu, Leqi Zou, Yijie Zhu, Ming Chen, Xiangzhuo Ding, Fuzhao Xue, Ziheng
Qing, Youlong Cheng, Yang You
- Abstract要約: クリックスルーレート(CTR)予測タスクは、ユーザーが推奨項目をクリックするかどうかを予測することである。
トレーニング速度を上げるためのアプローチのひとつは、大規模なバッチトレーニングを適用することだ。
適応型カラムワイドクリッピング(CowClip)を開発し,大規模なバッチサイズ設定でトレーニングプロセスを安定化させる。
- 参考スコア（独自算出の注目度）: 14.764217935910988
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The click-through rate (CTR) prediction task is to predict whether a user
will click on the recommended item. As mind-boggling amounts of data are
produced online daily, accelerating CTR prediction model training is critical
to ensuring an up-to-date model and reducing the training cost. One approach to
increase the training speed is to apply large batch training. However, as shown
in computer vision and natural language processing tasks, training with a large
batch easily suffers from the loss of accuracy. Our experiments show that
previous scaling rules fail in the training of CTR prediction neural networks.
To tackle this problem, we first theoretically show that different frequencies
of ids make it challenging to scale hyperparameters when scaling the batch
size. To stabilize the training process in a large batch size setting, we
develop the adaptive Column-wise Clipping (CowClip). It enables an easy and
effective scaling rule for the embeddings, which keeps the learning rate
unchanged and scales the L2 loss. We conduct extensive experiments with four
CTR prediction networks on two real-world datasets and successfully scaled 128
times the original batch size without accuracy loss. In particular, for CTR
prediction model DeepFM training on the Criteo dataset, our optimization
framework enlarges the batch size from 1K to 128K with over 0.1% AUC
improvement and reduces training time from 12 hours to 10 minutes on a single
V100 GPU. Our code locates at https://github.com/zhengzangw/LargeBatchCTR.
- Abstract（参考訳）: クリックスルー率(CTR)予測タスクは、ユーザーが推奨項目をクリックするかどうかを予測することである。
CTR予測モデルのトレーニングを加速させることは、最新モデルの確保とトレーニングコストの削減に不可欠である。
トレーニング速度を上げるためのアプローチのひとつは、大規模なバッチトレーニングを適用することだ。
しかし、コンピュータビジョンや自然言語処理タスクで示されているように、大規模なバッチによるトレーニングは精度の低下に容易に悩まされる。
実験の結果,CTR予測ニューラルネットワークのトレーニングでは,従来のスケーリングルールが失敗することがわかった。
この問題に対処するために、まず、各周波数のidがバッチサイズをスケールする際のハイパーパラメータのスケーリングを困難にすることを示す。
大規模バッチサイズ設定でトレーニングプロセスを安定化するために,適応型カラムワイズクリッピング(cowclip)を開発した。
これにより、埋め込みの容易かつ効果的なスケーリングルールが実現され、学習率を一定に保ち、L2損失をスケールできる。
実世界の2つのデータセット上で4つのCTR予測ネットワークを用いて広範な実験を行い、精度を損なわずに元のバッチサイズの128倍のスケールに成功した。
特に、CTR予測モデルにおいて、Criteoデータセット上でのDeepFMトレーニングでは、最適化フレームワークは、バッチサイズを1Kから128Kに拡大し、0.1% AUCの改善を実現し、トレーニング時間を1つのV100 GPUで12時間から10分に短縮する。
私たちのコードはhttps://github.com/zhengzangw/LargeBatchCTRにあります。
関連論文リスト
- KAKURENBO: Adaptively Hiding Samples in Deep Neural Network Training [2.8804804517897935]
深層ニューラルネットワークのトレーニングにおいて,最も重要でないサンプルを隠蔽する手法を提案する。
我々は,学習プロセス全体への貢献に基づいて,与えられたエポックを除外するサンプルを適応的に見つける。
本手法は, ベースラインと比較して, 最大22%の精度でトレーニング時間を短縮できる。
論文 参考訳（メタデータ） (2023-10-16T06:19:29Z) - Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。
我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文 参考訳（メタデータ） (2023-05-24T15:52:08Z) - Adaptive Low-Precision Training for Embeddings in Click-Through Rate
Prediction [36.605153166169224]
埋め込みテーブルは通常、クリックスルーレート(CTR)予測モデルにおいて巨大である。
我々は,低精度トレーニング(low-precision training)と呼ばれる,新しい量子化トレーニングパラダイムを定式化して,埋め込みをトレーニング段階から圧縮する。
CTRモデルでは,予測精度を犠牲にすることなく8ビット埋め込みのトレーニングに成功した。
論文 参考訳（メタデータ） (2022-12-12T07:19:14Z) - Peeling the Onion: Hierarchical Reduction of Data Redundancy for
Efficient Vision Transformer Training [110.79400526706081]
ビジョントランス (ViT) は近年多くのアプリケーションで成功を収めているが、その計算量とメモリ使用量によって一般化が制限されている。
従来の圧縮アルゴリズムは通常、事前訓練された高密度モデルから始まり、効率的な推論のみに焦点を当てる。
本稿では,3つのスパースの観点から,Tri-Level E-ViTと呼ばれるエンドツーエンドの効率的なトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-19T21:15:47Z) - On-Device Training Under 256KB Memory [62.95579393237751]
本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。
私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
論文 参考訳（メタデータ） (2022-06-30T17:59:08Z) - One-Pixel Shortcut: on the Learning Preference of Deep Neural Networks [28.502489028888608]
Unlearnable Example (ULE) は、DNNのトレーニングのための不正使用からデータを保護することを目的としている。
逆行訓練では、誤り最小化ノイズの非学習性は著しく低下する。
本稿では,各画像の1ピクセルのみを摂動させ,データセットを学習不能にする,新しいモデルフリー手法であるemphOne-Pixel Shortcutを提案する。
論文 参考訳（メタデータ） (2022-05-24T15:17:52Z) - Jigsaw Clustering for Unsupervised Visual Representation Learning [68.09280490213399]
本稿では,新しいjigsawクラスタリング・プレテキストタスクを提案する。
本手法は画像内情報と画像間情報の両方を利用する。
トレーニングバッチの半分しか使用されていない場合、コントラスト学習方法にも匹敵します。
論文 参考訳（メタデータ） (2021-04-01T08:09:26Z) - ClickTrain: Efficient and Accurate End-to-End Deep Learning Training via
Fine-Grained Architecture-Preserving Pruning [35.22893238058557]
畳み込みニューラルネットワーク(CNN)はますます深くなり、より広く、非線形になっている。
CNNのための効率的なエンドツーエンドトレーニングおよびプルーニングフレームワークであるClickTrainを提案する。
論文 参考訳（メタデータ） (2020-11-20T01:46:56Z) - Predicting Training Time Without Training [120.92623395389255]
我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。
我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。
トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
論文 参考訳（メタデータ） (2020-08-28T04:29:54Z) - RIFLE: Backpropagation in Depth for Deep Transfer Learning through
Re-Initializing the Fully-connected LayEr [60.07531696857743]
事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。
転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。
RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
論文 参考訳（メタデータ） (2020-07-07T11:27:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。