論文の概要: Adaptive Low-Precision Training for Embeddings in Click-Through Rate Prediction

• arxiv url: http://arxiv.org/abs/2212.05735v1
• Date: Mon, 12 Dec 2022 07:19:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 18:15:41.442763
• Title: Adaptive Low-Precision Training for Embeddings in Click-Through Rate Prediction
• Title（参考訳）: クリックスルー速度予測における埋め込みの適応的低精度訓練
• Authors: Shiwei Li, Huifeng Guo, Lu Hou, Wei Zhang, Xing Tang, Ruiming Tang, Rui Zhang, Ruixuan Li
• Abstract要約: 埋め込みテーブルは通常、クリックスルーレート(CTR)予測モデルにおいて巨大である。 我々は,低精度トレーニング(low-precision training)と呼ばれる,新しい量子化トレーニングパラダイムを定式化して,埋め込みをトレーニング段階から圧縮する。 CTRモデルでは,予測精度を犠牲にすることなく8ビット埋め込みのトレーニングに成功した。
• 参考スコア（独自算出の注目度）: 36.605153166169224
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embedding tables are usually huge in click-through rate (CTR) prediction models. To train and deploy the CTR models efficiently and economically, it is necessary to compress their embedding tables at the training stage. To this end, we formulate a novel quantization training paradigm to compress the embeddings from the training stage, termed low-precision training (LPT). Also, we provide theoretical analysis on its convergence. The results show that stochastic weight quantization has a faster convergence rate and a smaller convergence error than deterministic weight quantization in LPT. Further, to reduce the accuracy degradation, we propose adaptive low-precision training (ALPT) that learns the step size (i.e., the quantization resolution) through gradient descent. Experiments on two real-world datasets confirm our analysis and show that ALPT can significantly improve the prediction accuracy, especially at extremely low bit widths. For the first time in CTR models, we successfully train 8-bit embeddings without sacrificing prediction accuracy. The code of ALPT is publicly available.
• Abstract（参考訳）: 埋め込みテーブルは通常、クリックスルーレート(CTR)予測モデルにおいて巨大である。 CTRモデルを効率よく、経済的に訓練・展開するには、トレーニング段階での埋め込みテーブルを圧縮する必要がある。 この目的のために,新しい量子化訓練パラダイムを定式化し,学習段階からの埋め込みを圧縮し,低精度訓練(lpt)と呼ぶ。 また,その収束に関する理論的解析を行う。 その結果, 確率的重み量子化は, LPTにおける決定論的重み量子化よりも収束速度が速く, 収束誤差も小さいことがわかった。 さらに, 精度劣化を軽減するために, 勾配降下を通じてステップサイズ(すなわち量子化分解能)を学習する適応型低精度トレーニング(alpt)を提案する。 2つの実世界のデータセットの実験により、ALPTが予測精度、特に極低ビット幅で著しく向上できることが確認された。 CTRモデルでは,予測精度を犠牲にすることなく8ビット埋め込みのトレーニングに成功した。 ALPTのコードは公開されている。

関連論文リスト

• Scaling Laws for Precision [73.24325358259753]
  トレーニングと推論の両方に"精度対応"のスケーリング法則を考案する。 推論では,学習後の量子化によって生じる劣化が,モデルがより多くのデータに基づいて訓練されるにつれて増加することが分かる。 トレーニングのために、我々のスケーリング法則は、異なるパーツの異なるモデルの損失を、異なる精度で予測することができる。
  論文  参考訳（メタデータ） (2024-11-07T00:10:10Z)
• OAC: Output-adaptive Calibration for Accurate Post-training Quantization [30.115888331426515]
  大規模言語モデル(LLM)を圧縮するPTQ(Post-training Quantization)技術が開発されている。 ほとんどのPTQは、キャリブレーションされた層単位で$ell$損失に基づいて量子化誤差を定式化する。 キャリブレーションプロセスにモデル出力を組み込むための出力適応型(OAC)を提案する。
  論文  参考訳（メタデータ） (2024-05-23T20:01:17Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• SQuAT: Sharpness- and Quantization-Aware Training for BERT [43.049102196902844]
  シャープネスと量子化アウェアトレーニング(SQuAT)を提案する。 提案手法は,2,3,4ビット条件下で,最先端の量子化BERTモデルよりも1%向上する。 また, シャープネスの測定実験により, 他の量子化法と比較して, より平坦な最小値が得られることが示唆された。
  論文  参考訳（メタデータ） (2022-10-13T16:52:19Z)
• CowClip: Reducing CTR Prediction Model Training Time from 12 hours to 10 minutes on 1 GPU [14.764217935910988]
  クリックスルーレート(CTR)予測タスクは、ユーザーが推奨項目をクリックするかどうかを予測することである。 トレーニング速度を上げるためのアプローチのひとつは、大規模なバッチトレーニングを適用することだ。 適応型カラムワイドクリッピング(CowClip)を開発し,大規模なバッチサイズ設定でトレーニングプロセスを安定化させる。
  論文  参考訳（メタデータ） (2022-04-13T08:17:15Z)
• Quantization-Guided Training for Compact TinyML Models [8.266286436571887]
  最適化された低ビット精度目標に対してDNNトレーニングを導くためのQGT(Quantization Guided Training)手法を提案する。 QGTはカスタマイズされた正規化を使用して、量子化エラーを減らしながら精度を最大化する分布に向けて重み値を促進する。
  論文  参考訳（メタデータ） (2021-03-10T18:06:05Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• TRP: Trained Rank Pruning for Efficient Deep Neural Networks [69.06699632822514]
  低位近似とトレーニングを交互に行うTrated Rank Pruning (TRP)を提案する。 サブ段階降下により最適化された核正則化を利用して、TRPの低位化をさらに促進する。 TRPトレーニングネットワークは本質的に低ランク構造であり、無視可能な性能損失と近似される。
  論文  参考訳（メタデータ） (2020-04-30T03:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。