論文の概要: Accelerating Communication in Deep Learning Recommendation Model Training with Dual-Level Adaptive Lossy Compression

• arxiv url: http://arxiv.org/abs/2407.04272v3
• Date: Thu, 11 Jul 2024 15:31:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 12:15:14.323116
• Title: Accelerating Communication in Deep Learning Recommendation Model Training with Dual-Level Adaptive Lossy Compression
• Title（参考訳）: Dual-Level Adaptive Lossy Compressionを用いたDeep Learning Recommendation Modelトレーニングにおけるコミュニケーションの高速化
• Authors: Hao Feng, Boyuan Zhang, Fanjiang Ye, Min Si, Ching-Hsiang Chu, Jiannan Tian, Chunxing Yin, Summer Deng, Yuchen Hao, Pavan Balaji, Tong Geng, Dingwen Tao,
• Abstract要約: DLRMは最先端のレコメンデーションシステムモデルであり、様々な業界アプリケーションで広く採用されている。 このプロセスの重大なボトルネックは、すべてのデバイスから埋め込みデータを集めるのに必要な全通信に時間を要することだ。 本稿では,通信データサイズを削減し,DLRMトレーニングを高速化するために,エラーバウンドの損失圧縮を利用する手法を提案する。
• 参考スコア（独自算出の注目度）: 10.233937665979694
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: DLRM is a state-of-the-art recommendation system model that has gained widespread adoption across various industry applications. The large size of DLRM models, however, necessitates the use of multiple devices/GPUs for efficient training. A significant bottleneck in this process is the time-consuming all-to-all communication required to collect embedding data from all devices. To mitigate this, we introduce a method that employs error-bounded lossy compression to reduce the communication data size and accelerate DLRM training. We develop a novel error-bounded lossy compression algorithm, informed by an in-depth analysis of embedding data features, to achieve high compression ratios. Moreover, we introduce a dual-level adaptive strategy for error-bound adjustment, spanning both table-wise and iteration-wise aspects, to balance the compression benefits with the potential impacts on accuracy. We further optimize our compressor for PyTorch tensors on GPUs, minimizing compression overhead. Evaluation shows that our method achieves a 1.38$\times$ training speedup with a minimal accuracy impact.
• Abstract（参考訳）: DLRMは最先端のレコメンデーションシステムモデルであり、様々な業界アプリケーションで広く採用されている。 しかし、DLRMモデルの大きなサイズは、効率的なトレーニングのために複数のデバイス/GPUを使用する必要がある。 このプロセスにおける重要なボトルネックは、すべてのデバイスから埋め込みデータを集めるのに必要な全通信に時間を要することだ。 これを軽減するため,通信データサイズを削減し,DLRMトレーニングを高速化するために,エラーバウンドの損失圧縮を利用する手法を提案する。 本研究では,埋込データの特徴を詳細に解析し,高い圧縮率を達成するために,新しい誤り結合型損失圧縮アルゴリズムを開発した。 さらに、テーブルワイドとイテレーションワイドの両方にまたがる、エラーバウンド調整のための二重レベル適応戦略を導入し、圧縮の利点と精度への影響をバランスさせる。 さらに、GPU上のPyTorchテンソルの圧縮機を最適化し、圧縮オーバーヘッドを最小限にする。 評価の結果,本手法は最小限の精度で1.38$\times$トレーニングスピードアップを達成した。

関連論文リスト

• LoCo: Low-Bit Communication Adaptor for Large-scale Model Training [63.040522637816906]
  低ビット通信は、しばしば圧縮情報損失によってトレーニング品質が低下する。 本稿では,ローカルGPUノードを補償するLoCo(Lo-bit Communication Adaptor)を提案する。 実験結果から,Megatron-LMやPyTorchs FSDPといった大規模トレーニングモデルフレームワークの移動により,LoCoは圧縮通信効率を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-07-05T13:01:36Z)
• Communication-Efficient Distributed Learning with Local Immediate Error Compensation [95.6828475028581]
  本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。 LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
  論文  参考訳（メタデータ） (2024-02-19T05:59:09Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• Long Context Compression with Activation Beacon [22.054232261437186]
  Activation Beaconは、トランスフォーマーベースのLLM用のプラグインモジュールである。 長いコンテキストの効率的な、効率的、柔軟な圧縮をターゲットとしている。 推論時間の2倍の高速化と、KVキャッシュのメモリコストの8倍の削減を実現している。
  論文  参考訳（メタデータ） (2024-01-07T11:57:40Z)
• GraVAC: Adaptive Compression for Communication-Efficient Distributed DL Training [0.0]
  分散データ並列(DDP)トレーニングは、複数のデバイスがデータのサブセットをトレーニングし、アップデートを集約してグローバルに共有するモデルを生成することにより、アプリケーション全体のスループットを向上させる。 GraVACは、モデル進捗を評価し、圧縮に関連する情報損失を評価することで、トレーニング全体を通して圧縮係数を動的に調整するフレームワークである。 静的圧縮係数を使用するのとは対照的に、GraVACはResNet101、VGG16、LSTMのエンドツーエンドのトレーニング時間をそれぞれ4.32x、1.95x、6.67x削減する。
  論文  参考訳（メタデータ） (2023-05-20T14:25:17Z)
• Optimal Rate Adaption in Federated Learning with Compressed Communications [28.16239232265479]
  フェデレートラーニングは高い通信オーバーヘッドを引き起こし、モデル更新の圧縮によって大幅に軽減される。 ネットワーク環境における 圧縮とモデルの精度のトレードオフは 未だ不明です 各繰り返しの圧縮を戦略的に調整することで最終モデルの精度を最大化する枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-13T14:26:15Z)
• COMET: A Novel Memory-Efficient Deep Learning Training Framework by Using Error-Bounded Lossy Compression [8.080129426746288]
  広範かつ深層ニューラルネットワーク(DNN)のトレーニングには、メモリなどの大量のストレージリソースが必要になる。 本稿では,メモリ効率のよいCNNトレーニングフレームワーク(COMET)を提案する。 我々のフレームワークは、ベースライントレーニングで最大13.5倍、最先端の圧縮ベースのフレームワークで1.8倍のトレーニングメモリ消費を大幅に削減できる。
  論文  参考訳（メタデータ） (2021-11-18T07:43:45Z)
• Remote Multilinear Compressive Learning with Adaptive Compression [107.87219371697063]
  MultiIoT Compressive Learning (MCL)は、多次元信号に対する効率的な信号取得および学習パラダイムである。 MCLモデルにそのような機能を実現するための新しい最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:24:03Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• A Novel Memory-Efficient Deep Learning Training Framework via Error-Bounded Lossy Compression [6.069852296107781]
  本稿では,メモリ駆動型高速DNNトレーニングフレームワークを提案する。 我々のフレームワークは、ベースライントレーニングと圧縮による最先端フレームワークよりも最大13.5xと1.8xのトレーニングメモリ消費を大幅に削減することができる。
  論文  参考訳（メタデータ） (2020-11-18T00:47:21Z)
• PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
  本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。 中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
  論文  参考訳（メタデータ） (2020-08-04T09:14:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。