論文の概要: A Novel Memory-Efficient Deep Learning Training Framework via Error-Bounded Lossy Compression

• arxiv url: http://arxiv.org/abs/2011.09017v1
• Date: Wed, 18 Nov 2020 00:47:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-24 04:56:35.250494
• Title: A Novel Memory-Efficient Deep Learning Training Framework via Error-Bounded Lossy Compression
• Title（参考訳）: error-bounded lossy compressionを用いた新しいメモリ効率の高いディープラーニング学習フレームワーク
• Authors: Sian Jin, Guanpeng Li, Shuaiwen Leon Song, Dingwen Tao
• Abstract要約: 本稿では,メモリ駆動型高速DNNトレーニングフレームワークを提案する。 我々のフレームワークは、ベースライントレーニングと圧縮による最先端フレームワークよりも最大13.5xと1.8xのトレーニングメモリ消費を大幅に削減することができる。
• 参考スコア（独自算出の注目度）: 6.069852296107781
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (DNNs) are becoming increasingly deeper, wider, and non-linear due to the growing demands on prediction accuracy and analysis quality. When training a DNN model, the intermediate activation data must be saved in the memory during forward propagation and then restored for backward propagation. However, state-of-the-art accelerators such as GPUs are only equipped with very limited memory capacities due to hardware design constraints, which significantly limits the maximum batch size and hence performance speedup when training large-scale DNNs. In this paper, we propose a novel memory-driven high performance DNN training framework that leverages error-bounded lossy compression to significantly reduce the memory requirement for training in order to allow training larger networks. Different from the state-of-the-art solutions that adopt image-based lossy compressors such as JPEG to compress the activation data, our framework purposely designs error-bounded lossy compression with a strict error-controlling mechanism. Specifically, we provide theoretical analysis on the compression error propagation from the altered activation data to the gradients, and then empirically investigate the impact of altered gradients over the entire training process. Based on these analyses, we then propose an improved lossy compressor and an adaptive scheme to dynamically configure the lossy compression error-bound and adjust the training batch size to further utilize the saved memory space for additional speedup. We evaluate our design against state-of-the-art solutions with four popular DNNs and the ImageNet dataset. Results demonstrate that our proposed framework can significantly reduce the training memory consumption by up to 13.5x and 1.8x over the baseline training and state-of-the-art framework with compression, respectively, with little or no accuracy loss.
• Abstract（参考訳）: 予測精度と分析品質に対する要求が高まっているため、ディープニューラルネットワーク(DNN)はますます深く、より広く、非線形になってきている。 DNNモデルをトレーニングする場合、中間活性化データは前方伝播中にメモリに保存し、後方伝播のために復元する必要がある。 しかし、GPUのような最先端のアクセラレータは、ハードウェア設計の制約によりメモリ容量が非常に限られており、大規模なDNNをトレーニングする際の最大バッチサイズを著しく制限している。 本稿では,エラーバウンドのロスイッチ圧縮を利用した新しいメモリ駆動型高性能dnnトレーニングフレームワークを提案し,大規模ネットワークのトレーニングを実現するために,トレーニングのメモリ要求を大幅に削減する。 JPEGなどの画像ベース損失圧縮機を用いてアクティベーションデータを圧縮する最先端のソリューションとは異なり,本フレームワークは厳密なエラー制御機構を用いて,エラー境界損失圧縮を設計する。 具体的には,変更したアクティベーションデータから勾配への圧縮誤差伝播に関する理論的解析を行い,トレーニングプロセス全体における変化勾配の影響を実験的に検討する。 これらの分析に基づいて、損失圧縮エラーバウンドを動的に設定し、トレーニングバッチサイズを調整し、保存メモリ空間を高速化するために、改良された損失圧縮機と適応型スキームを提案する。 我々は4つのDNNとImageNetデータセットによる最先端のソリューションに対する設計を評価する。 その結果,提案フレームワークは,ベースライントレーニングと最先端フレームワークをそれぞれ圧縮することで,最大13.5倍,1.8倍のトレーニングメモリ使用量を大幅に削減できることがわかった。

関連論文リスト

• Accelerating Communication in Deep Learning Recommendation Model Training with Dual-Level Adaptive Lossy Compression [10.233937665979694]
  DLRMは最先端のレコメンデーションシステムモデルであり、様々な業界アプリケーションで広く採用されている。 このプロセスの重大なボトルネックは、すべてのデバイスから埋め込みデータを集めるのに必要な全通信に時間を要することだ。 本稿では,通信データサイズを削減し,DLRMトレーニングを高速化するために,エラーバウンドの損失圧縮を利用する手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T05:55:18Z)
• A Low-Complexity Approach to Rate-Distortion Optimized Variable Bit-Rate Compression for Split DNN Computing [5.3221129103999125]
  分散コンピューティングは、DNNベースのAIワークロードを実装するための最近のパラダイムとして登場した。 本稿では,レート・精度・複雑さのトレードオフを最適化する上での課題に対処するアプローチを提案する。 我々のアプローチは、トレーニングと推論の両方において非常に軽量であり、非常に効果的であり、高い速度歪曲性能を実現する。
  論文  参考訳（メタデータ） (2022-08-24T15:02:11Z)
• Crowd Counting on Heavily Compressed Images with Curriculum Pre-Training [90.76576712433595]
  ディープニューラルネットワークによって処理された画像に損失圧縮を適用することで、大幅な精度低下につながる可能性がある。 カリキュラム学習のパラダイムに着想を得て,圧縮画像の群集カウントのためのカリキュラム事前学習(CPT)と呼ばれる新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-08-15T08:43:21Z)
• DIVISION: Memory Efficient Training via Dual Activation Precision [60.153754740511864]
  最先端の研究は、量子化ビット幅の探索とトレーニングを組み合わせることで、手順を複雑にし、透明性を損なう。 そこで本研究では,DNNトレーニングを簡易かつ効果的に圧縮する手法を提案する。 実験結果によると、DIVISIONは10倍以上のアクティベーションマップの圧縮や、モデルの精度を損なうことなく、競争訓練のスループットなど、最先端の手法よりも総合的な性能を示している。
  論文  参考訳（メタデータ） (2022-08-05T03:15:28Z)
• Modeling Image Quantization Tradeoffs for Optimal Compression [0.0]
  ロスシー圧縮アルゴリズムは、圧縮率を上げるために高周波データを定量化することでトレードオフを狙う。 本稿では,Deep Learningとminimax損失関数を用いた量子化テーブルの最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-12-14T07:35:22Z)
• Implicit Neural Representations for Image Compression [103.78615661013623]
  Inlicit Neural Representations (INRs) は、様々なデータ型の新規かつ効果的な表現として注目されている。 量子化、量子化を考慮した再学習、エントロピー符号化を含むINRに基づく最初の包括的圧縮パイプラインを提案する。 我々は、INRによるソース圧縮に対する我々のアプローチが、同様の以前の作業よりも大幅に優れていることに気付きました。
  論文  参考訳（メタデータ） (2021-12-08T13:02:53Z)
• COMET: A Novel Memory-Efficient Deep Learning Training Framework by Using Error-Bounded Lossy Compression [8.080129426746288]
  広範かつ深層ニューラルネットワーク(DNN)のトレーニングには、メモリなどの大量のストレージリソースが必要になる。 本稿では,メモリ効率のよいCNNトレーニングフレームワーク(COMET)を提案する。 我々のフレームワークは、ベースライントレーニングで最大13.5倍、最先端の圧縮ベースのフレームワークで1.8倍のトレーニングメモリ消費を大幅に削減できる。
  論文  参考訳（メタデータ） (2021-11-18T07:43:45Z)
• Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings [89.63764845984076]
  効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。 SEERは、既存の非政治深層強化学習方法の簡単な修正です。 計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
  論文  参考訳（メタデータ） (2021-03-04T08:14:10Z)
• Neural Network Compression for Noisy Storage Devices [71.4102472611862]
  従来、モデル圧縮と物理ストレージは分離される。 このアプローチでは、ストレージは圧縮されたモデルの各ビットを等しく扱い、各ビットに同じ量のリソースを割り当てるように強制される。 i) 各メモリセルの容量を最大化するためにアナログメモリを使用し, (ii) モデル圧縮と物理ストレージを共同で最適化し, メモリの有用性を最大化する。
  論文  参考訳（メタデータ） (2021-02-15T18:19:07Z)
• An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
  Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
  論文  参考訳（メタデータ） (2021-01-26T13:06:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。