論文の概要: Less Memory Means smaller GPUs: Backpropagation with Compressed Activations

• arxiv url: http://arxiv.org/abs/2409.11902v1
• Date: Wed, 18 Sep 2024 11:57:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 17:50:39.184278
• Title: Less Memory Means smaller GPUs: Backpropagation with Compressed Activations
• Title（参考訳）: 少ないメモリはGPUを小さくする:圧縮されたアクティベーションによるバックプロパゲーション
• Authors: Daniel Barley, Holger Fröning,
• Abstract要約: 深層ニューラルネットワーク(DNN)の規模は、計算リソースの要件が等しく急速に増大している。 最近の多くのアーキテクチャ、特にLarge Language Modelsは、何千ものアクセラレーターを持つスーパーコンピュータを使って訓練されなければならない。 このアプローチにより、より長いトレーニングスケジュールのコストで、ピークメモリ使用量を29%削減することが可能になります。
• 参考スコア（独自算出の注目度）: 1.7065506903618906
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The ever-growing scale of deep neural networks (DNNs) has lead to an equally rapid growth in computational resource requirements. Many recent architectures, most prominently Large Language Models, have to be trained using supercomputers with thousands of accelerators, such as GPUs or TPUs. Next to the vast number of floating point operations the memory footprint of DNNs is also exploding. In contrast, GPU architectures are notoriously short on memory. Even comparatively small architectures like some EfficientNet variants cannot be trained on a single consumer-grade GPU at reasonable mini-batch sizes. During training, intermediate input activations have to be stored until backpropagation for gradient calculation. These make up the vast majority of the memory footprint. In this work we therefore consider compressing activation maps for the backward pass using pooling, which can reduce both the memory footprint and amount of data movement. The forward computation remains uncompressed. We empirically show convergence and study effects on feature detection at the example of the common vision architecture ResNet. With this approach we are able to reduce the peak memory consumption by 29% at the cost of a longer training schedule, while maintaining prediction accuracy compared to an uncompressed baseline.
• Abstract（参考訳）: 深層ニューラルネットワーク(DNN)の規模は、計算リソースの要件が等しく急速に増大している。 最近の多くのアーキテクチャ、特にLarge Language Modelsは、GPUやTPUといった数千のアクセラレータを持つスーパーコンピュータを使って訓練する必要がある。 大量の浮動小数点演算に加えて、DNNのメモリフットプリントも爆発的だ。 対照的に、GPUアーキテクチャはメモリが不足していることが知られている。 EfficientNetのような比較的小さなアーキテクチャでさえ、適切なミニバッチサイズで単一のコンシューマグレードGPUでトレーニングすることはできない。 トレーニング中は、勾配計算のバックプロパゲーションまで中間入力アクティベーションを格納する必要がある。 これらはメモリフットプリントの大部分を占めています。 そこで本研究では, メモリフットプリントとデータ移動量の両方を削減できる, プールを用いた後方パスのアクティベーションマップの圧縮について検討する。 フォワード計算は未だに圧縮されていない。 本稿では、共通ビジョンアーキテクチャResNetの例において、コンバージェンスと研究が特徴検出に与える影響を実証的に示す。 このアプローチにより、圧縮されていないベースラインと比較して予測精度を維持しながら、トレーニングスケジュールの長いコストでピークメモリ消費を29%削減できる。

関連論文リスト

• Deep Optimizer States: Towards Scalable Training of Transformer Models Using Interleaved Offloading [2.8231000588510757]
  トランスフォーマーと大規模言語モデル(LLM)は、すべてのドメインで急速に採用されている。 変圧器の訓練は非常に高価で、しばしば記憶壁にぶつかる」 本稿では,LLMをCPUまたはGPU上で更新フェーズをスケジュールしたサブグループに分割する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-26T00:43:59Z)
• Compressing the Backward Pass of Large-Scale Neural Architectures by Structured Activation Pruning [0.0]
  ディープニューラルネットワーク(DNN)におけるスパシティはソリューションとして注目されている。 この研究は、訓練中のメモリ消費を減らすことを目的として、短命の空間性に焦点を当てている。 大規模ニューラルアーキテクチャのトレーニング速度,精度,メモリ使用量を評価することにより,アクティベーションプルーニングの有効性を報告する。
  論文  参考訳（メタデータ） (2023-11-28T15:31:31Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Demand Layering for Real-Time DNN Inference with Minimized Memory Usage [2.5768647103950357]
  ディープニューラルネットワーク(DNN)モデルパラメータは、実行前にGPUメモリにロードされる。 本稿では,DNNの層間実行を利用したDemand Layeringを提案する。 私たちの実装では、96.5%のメモリ削減と、平均14.8%の遅延オーバーヘッドが示されています。
  論文  参考訳（メタデータ） (2022-10-08T13:38:48Z)
• On-Device Training Under 256KB Memory [62.95579393237751]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)
• Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
  本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。 Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。 ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
  論文  参考訳（メタデータ） (2021-11-22T11:23:01Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)
• Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings [89.63764845984076]
  効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。 SEERは、既存の非政治深層強化学習方法の簡単な修正です。 計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
  論文  参考訳（メタデータ） (2021-03-04T08:14:10Z)
• Refining activation downsampling with SoftPool [74.1840492087968]
  畳み込みニューラルネットワーク(cnns)は、アクティベーションマップのサイズを減らすためにプールを使用する。 指数重化アクティベーションダウンサンプリングの高速かつ効率的な方法であるSoftPoolを提案します。 SoftPoolは、アクティベーションマップの縮小でより多くの情報を保持できることを示します。
  論文  参考訳（メタデータ） (2021-01-02T12:09:49Z)
• Performance Aware Convolutional Neural Network Channel Pruning for Embedded GPUs [6.035819238203187]
  コンボリューションチャネルの数を減少させ,初期サイズの12%を刈り取ることで,性能を損なう場合がある。 また,cuDNNで3倍,Arm Compute LibraryとTVMで10倍以上の性能向上を実現した。
  論文  参考訳（メタデータ） (2020-02-20T12:07:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。