論文の概要: Accelerating Recommender Model Training by Dynamically Skipping Stale Embeddings
- arxiv url: http://arxiv.org/abs/2404.04270v1
- Date: Fri, 22 Mar 2024 00:29:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-14 13:21:48.426526
- Title: Accelerating Recommender Model Training by Dynamically Skipping Stale Embeddings
- Title（参考訳）: 動的スキャッピングステア埋め込みによるレコメンダモデルトレーニングの高速化
- Authors: Yassaman Ebrahimzadeh Maboud, Muhammad Adnan, Divya Mahajan, Prashant J. Nair,
- Abstract要約: Slipstreamは、オンザフライで古い埋め込みを識別し、更新をスキップしてパフォーマンスを向上させるフレームワークである。
本稿では,実世界のデータセットと構成における2x,2.4x,1.2x,1.175xのトレーニング時間短縮について述べる。
- 参考スコア（独自算出の注目度）: 1.8457649813040096
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training recommendation models pose significant challenges regarding resource utilization and performance. Prior research has proposed an approach that categorizes embeddings into popular and non-popular classes to reduce the training time for recommendation models. We observe that, even among the popular embeddings, certain embeddings undergo rapid training and exhibit minimal subsequent variation, resulting in saturation. Consequently, updates to these embeddings lack any contribution to model quality. This paper presents Slipstream, a software framework that identifies stale embeddings on the fly and skips their updates to enhance performance. This capability enables Slipstream to achieve substantial speedup, optimize CPU-GPU bandwidth usage, and eliminate unnecessary memory access. SlipStream showcases training time reductions of 2x, 2.4x, 1.2x, and 1.175x across real-world datasets and configurations, compared to Baseline XDL, Intel-optimized DRLM, FAE, and Hotline, respectively.
- Abstract（参考訳）: トレーニングレコメンデーションモデルは、リソース利用とパフォーマンスに関する重要な課題を提起する。
先行研究は、リコメンデーションモデルのトレーニング時間を短縮するために、人気クラスと非人気クラスに埋め込みを分類するアプローチを提案している。
一般的な埋め込みにおいても,ある程度の埋め込みが急激な訓練を施し,後続の変動が最小限に抑えられ,飽和が生じることが観察された。
結果として、これらの埋め込みの更新は、モデル品質への貢献を欠いている。
本稿では,スリップストリーム(Slipstream)について述べる。スリップストリーム(Slipstream)は,高速な埋め込みを識別し,その更新をスキップして性能を向上させるソフトウェアフレームワークである。
これにより、Slipstreamはかなりのスピードアップを実現し、CPU-GPU帯域幅の使用を最適化し、不要なメモリアクセスを排除できる。
SlipStreamは、ベースラインXDL、Intel最適化DRLM、FAE、Hotlineと比較して、2x、2.4x、1.2x、1.175xのトレーニング時間短縮を実世界のデータセットと構成で示す。
関連論文リスト
- Hollowed Net for On-Device Personalization of Text-to-Image Diffusion Models [51.3915762595891]
本稿では、デバイス上での主観的生成のための効率的なLoRAに基づくパーソナライズ手法を提案する。
提案手法はHollowed Netと呼ばれ,拡散U-Netのアーキテクチャを変更することにより,微調整時のメモリ効率を向上させる。
論文 参考訳（メタデータ） (2024-11-02T08:42:48Z) - Efficient Deep Learning Board: Training Feedback Is Not All You Need [28.910266386748525]
自動性能予測とコンポーネントレコメンデーションのための革新的なディープラーニングボードであるEfficientDLを提案する。
トレーニングのフィードバックがない魔法は、提案した包括的で多次元できめ細かいシステムコンポーネントデータセットから来ています。
例えば、EfficientDLはResNet50、MobileNetV3、EfficientNet-B0、MaxViT-T、Swin-B、DaViT-Tといった主流モデルとシームレスに動作する。
論文 参考訳（メタデータ） (2024-10-17T14:43:34Z) - How the Training Procedure Impacts the Performance of Deep Learning-based Vulnerability Patching [14.794452134569475]
本稿では、脆弱性パッチ作成のための自己教師付きおよび教師付き事前訓練の既存のソリューションを比較した。
データ収集のコストは高いが、DLベースの脆弱性パッチングを大幅に改善することを発見した。
この教師付き事前訓練モデルの上にプロンプトチューニングを適用すると、性能が著しく向上することはない。
論文 参考訳（メタデータ） (2024-04-27T13:08:42Z) - Fine-Grained Embedding Dimension Optimization During Training for Recommender Systems [17.602059421895856]
FIITEDは、FIne-fine In-Training Embedding Dimension Pruningを通じてメモリフットプリントを自動的に削減するシステムである。
FIITEDは,モデル品質を維持しつつ,DLRMの埋め込みサイズを65%以上削減できることを示す。
公開データセットでは、FIITEDはテーブルの埋め込みサイズを2.1倍から800倍に減らすことができる。
論文 参考訳（メタデータ） (2024-01-09T08:04:11Z) - Dynamic Embedding Size Search with Minimum Regret for Streaming
Recommender System [39.78277554870799]
同一かつ静的な埋め込みサイズの設定は、推奨性能とメモリコストの面で準最適であることを示す。
非定常的な方法でユーザ側とアイテム側の埋め込みサイズ選択を最小化する手法を提案する。
論文 参考訳（メタデータ） (2023-08-15T13:27:18Z) - Multiplicative update rules for accelerating deep learning training and
increasing robustness [69.90473612073767]
我々は、幅広い機械学習アルゴリズムに適合し、代替の更新ルールを適用することができる最適化フレームワークを提案する。
提案するフレームワークはトレーニングを加速する一方、従来の追加更新ルールとは対照的に、より堅牢なモデルにつながります。
論文 参考訳（メタデータ） (2023-07-14T06:44:43Z) - Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
メトリクス学習はコンピュータビジョンの基本的な問題である。
蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。
特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
論文 参考訳（メタデータ） (2023-03-30T03:22:52Z) - Failure Tolerant Training with Persistent Memory Disaggregation over CXL [7.700500756012469]
本稿では,分散メモリのプール内で大規模レコメンデーションデータセットを効率的に処理できるTRAININGCXLを提案する。
この目的のために、永続メモリ(PMEM)とGPUをキャッシュコヒーレントなドメインにType-2として統合する。
評価の結果,TRAININGCXLはPMEMベースの推薦システムと比較して5.2倍のトレーニング性能向上と76%の省エネを実現していることがわかった。
論文 参考訳（メタデータ） (2023-01-14T05:59:07Z) - Online Convolutional Re-parameterization [51.97831675242173]
2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。
最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。
また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
論文 参考訳（メタデータ） (2022-04-02T09:50:19Z) - A First Look at Class Incremental Learning in Deep Learning Mobile
Traffic Classification [68.11005070665364]
インクリメンタルラーニング(IL)技術を使って、モデルに新しいクラスをフルリトレーニングせずに追加し、モデルのアップデートサイクルを高速化します。
iCarlはアートILメソッドのステートであり、MIRAGE-2019は40のAndroidアプリからのトラフィックを持つパブリックデータセットである。
解析によってその初期段階が明らかになっているにもかかわらず、IL技術は自動DLベースの交通分析システムへのロードマップに関する有望な研究分野である。
論文 参考訳（メタデータ） (2021-07-09T14:28:16Z) - Dynamic Model Pruning with Feedback [64.019079257231]
余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。
CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
論文 参考訳（メタデータ） (2020-06-12T15:07:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。