論文の概要: BitTrain: Sparse Bitmap Compression for Memory-Efficient Training on the Edge

• arxiv url: http://arxiv.org/abs/2110.15362v1
• Date: Fri, 29 Oct 2021 16:30:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-01 15:06:28.483687
• Title: BitTrain: Sparse Bitmap Compression for Memory-Efficient Training on the Edge
• Title（参考訳）: BitTrain: エッジ上でのメモリ効率向上トレーニングのための疎ビットマップ圧縮
• Authors: Abdelrahman Hosny, Marina Neseem, Sherief Reda
• Abstract要約: Edgeのトレーニングにより、メモリ制限されたエッジデバイスにデプロイした後に、ニューラルネットワークが新たなデータから継続的に学習できるようになる。 既存のインクリメンタルなトレーニング手法は、モデル全体をトレーニングすることで、精度を犠牲にし、最後の数層を微調整する。 BitTrainでは、アクティベーションの空間性を利用して、トレーニング中のメモリフットプリントを削減する新しいビットマップ圧縮手法を提案する。
• 参考スコア（独自算出の注目度）: 2.2191297646252646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training on the Edge enables neural networks to learn continuously from new data after deployment on memory-constrained edge devices. Previous work is mostly concerned with reducing the number of model parameters which is only beneficial for inference. However, memory footprint from activations is the main bottleneck for training on the edge. Existing incremental training methods fine-tune the last few layers sacrificing accuracy gains from re-training the whole model. In this work, we investigate the memory footprint of training deep learning models, and use our observations to propose BitTrain. In BitTrain, we exploit activation sparsity and propose a novel bitmap compression technique that reduces the memory footprint during training. We save the activations in our proposed bitmap compression format during the forward pass of the training, and restore them during the backward pass for the optimizer computations. The proposed method can be integrated seamlessly in the computation graph of modern deep learning frameworks. Our implementation is safe by construction, and has no negative impact on the accuracy of model training. Experimental results show up to 34% reduction in the memory footprint at a sparsity level of 50%. Further pruning during training results in more than 70% sparsity, which can lead to up to 56% reduction in memory footprint. BitTrain advances the efforts towards bringing more machine learning capabilities to edge devices. Our source code is available at https://github.com/scale-lab/BitTrain.
• Abstract（参考訳）: Edgeのトレーニングにより、メモリ制限されたエッジデバイスにデプロイした後に、ニューラルネットワークが新たなデータから継続的に学習できるようになる。 これまでの作業は主に、推論にのみ有用なモデルパラメータの数を減らすことに関するものだった。 しかし、アクティベーションからのメモリフットプリントは、エッジでのトレーニングの主要なボトルネックである。 既存のインクリメンタルなトレーニング手法は、モデル全体をトレーニングすることで、精度を犠牲にする最後の数層を微調整する。 本研究では,ディープラーニングモデルの学習におけるメモリフットプリントを調査し,観測結果を用いてBitTrainを提案する。 bittrainでは、アクティベーションスパーシティを活用し、トレーニング中のメモリフットプリントを削減する新しいビットマップ圧縮手法を提案する。 トレーニングの前方通過時に提案したビットマップ圧縮フォーマットのアクティベーションを保存し、オプティマイザ計算のために後方通過時にそれを復元する。 提案手法は,最新のディープラーニングフレームワークの計算グラフにシームレスに統合することができる。 我々の実装は構築によって安全であり、モデルトレーニングの精度に悪影響を及ぼさない。 実験の結果、50%の間隔でメモリフットプリントが最大で34%削減された。 トレーニング中のさらなるプルーニングにより、70%以上のスパシティが発生し、最大56%のメモリフットプリントが削減される。 bittrainは、エッジデバイスにマシンラーニング機能を追加する取り組みを進めている。 ソースコードはhttps://github.com/scale-lab/bittrainで入手できます。

関連論文リスト

• NeuZip: Memory-Efficient Training and Inference with Dynamic Compression of Neural Networks [30.224822087562163]
  NeuZipはニューラルネットワークにおける浮動小数点数のエントロピーに基づく新しい重み圧縮方式である。 Llama-3 8Bモデルのメモリフットプリントを31GBから16GB以下に大幅に削減した。 推定では, ほぼロスレス性能を維持しながら, メモリ使用量を半減することができる。
  論文  参考訳（メタデータ） (2024-10-28T01:12:20Z)
• Block Selective Reprogramming for On-device Training of Vision Transformers [12.118303034660531]
  本稿では,事前学習したモデルのブロック全体のごく一部のみを微調整するブロック選択型再プログラミング(BSR)を提案する。 既存の代替手法と比較して、トレーニングメモリを最大1.4倍、計算コストを最大2倍に削減する。
  論文  参考訳（メタデータ） (2024-03-25T08:41:01Z)
• Time-, Memory- and Parameter-Efficient Visual Adaptation [75.28557015773217]
  バックボーンを介して勾配をバックプロパゲートしない適応法を提案する。 凍結した、事前訓練されたバックボーンの機能を利用する軽量ネットワークを並列に設計することで、これを実現する。
  論文  参考訳（メタデータ） (2024-02-05T10:55:47Z)
• DIVISION: Memory Efficient Training via Dual Activation Precision [60.153754740511864]
  最先端の研究は、量子化ビット幅の探索とトレーニングを組み合わせることで、手順を複雑にし、透明性を損なう。 そこで本研究では,DNNトレーニングを簡易かつ効果的に圧縮する手法を提案する。 実験結果によると、DIVISIONは10倍以上のアクティベーションマップの圧縮や、モデルの精度を損なうことなく、競争訓練のスループットなど、最先端の手法よりも総合的な性能を示している。
  論文  参考訳（メタデータ） (2022-08-05T03:15:28Z)
• On-Device Training Under 256KB Memory [62.95579393237751]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)
• Dimensionality Reduced Training by Pruning and Freezing Parts of a Deep Neural Network, a Survey [69.3939291118954]
  最先端のディープラーニングモデルには、何十億にも達するパラメータカウントがある。そのようなモデルのトレーニング、保存、転送は、エネルギーと時間を要するため、コストがかかる。 モデル圧縮は、ストレージと転送コストを低減し、フォワードおよび/または後方パスでの計算数を減少させることで、トレーニングをより効率的にすることができる。 この研究は、トレーニング全体を通してディープラーニングモデルでトレーニングされた重量を減らす方法に関する調査である。
  論文  参考訳（メタデータ） (2022-05-17T05:37:08Z)
• Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
  本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。 Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。 ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
  論文  参考訳（メタデータ） (2021-11-22T11:23:01Z)
• MEST: Accurate and Fast Memory-Economic Sparse Training Framework on the Edge [72.16021611888165]
  本稿では,エッジデバイス上での高精度かつ高速な実行を目的とした,メモリ・エコノミクス・スパース・トレーニング(MEST)フレームワークを提案する。 提案されているMESTフレームワークは、Elastic Mutation (EM)とSoft Memory Bound (&S)による拡張で構成されている。 以上の結果から,スペーサマスクの動的探索においても,忘れられない例をその場で特定できることが示唆された。
  論文  参考訳（メタデータ） (2021-10-26T21:15:17Z)
• Improving compute efficacy frontiers with SliceOut [31.864949424541344]
  SliceOut - 最終テスト精度に影響を与えることなく、ディープラーニングモデルを高速にトレーニングするためのドロップアウトインスパイアされたスキームだ。 テスト時に、SliceOutをオフにすると、テストの正確性を保持する一連のアーキテクチャに暗黙のアンサンブルが実行される。 これにより、大規模な計算ワークロード全体の処理が高速化され、結果として生じるエネルギー消費とCO2エミッションが大幅に削減される。
  論文  参考訳（メタデータ） (2020-07-21T15:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。