論文の概要: Adaptive Precision Training for Resource Constrained Devices

• arxiv url: http://arxiv.org/abs/2012.12775v1
• Date: Wed, 23 Dec 2020 16:28:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 21:31:03.461296
• Title: Adaptive Precision Training for Resource Constrained Devices
• Title（参考訳）: 資源制約装置の適応的精度訓練
• Authors: Tian Huang, Tao Luo and Joey Tianyi Zhou
• Abstract要約: エッジデバイス上でのディープニューラルネットワーク(DNN)のトレーニングは、エネルギーとメモリの両方に制約があるため、難しい。 学習エネルギーコストとメモリ使用量の両方を同時に節約するための適応的精密トレーニングを提案する。 実験の結果、aptはトレーニングエネルギーとメモリ使用量を50%以上節約でき、精度の低下は少ない。
• 参考スコア（独自算出の注目度）: 37.00909585881697
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learn in-situ is a growing trend for Edge AI. Training deep neural network (DNN) on edge devices is challenging because both energy and memory are constrained. Low precision training helps to reduce the energy cost of a single training iteration, but that does not necessarily translate to energy savings for the whole training process, because low precision could slows down the convergence rate. One evidence is that most works for low precision training keep an fp32 copy of the model during training, which in turn imposes memory requirements on edge devices. In this work we propose Adaptive Precision Training. It is able to save both total training energy cost and memory usage at the same time. We use model of the same precision for both forward and backward pass in order to reduce memory usage for training. Through evaluating the progress of training, APT allocates layer-wise precision dynamically so that the model learns quicker for longer time. APT provides an application specific hyper-parameter for users to play trade-off between training energy cost, memory usage and accuracy. Experiment shows that APT achieves more than 50% saving on training energy and memory usage with limited accuracy loss. 20% more savings of training energy and memory usage can be achieved in return for a 1% sacrifice in accuracy loss.
• Abstract（参考訳）: Edge AIのトレンドは、その場で学ぶことだ。 エッジデバイス上でのディープニューラルネットワーク(DNN)のトレーニングは、エネルギーとメモリの両方に制約があるため、難しい。 低い精度のトレーニングは、単一のトレーニングイテレーションのエネルギーコストを削減するのに役立つが、低精度のトレーニングは収束率を低下させるため、トレーニングプロセス全体のエネルギー節約に必ずしも寄与しない。 ひとつの証拠は、精度の低いトレーニングでは、トレーニング中にfp32コピーを保持し、エッジデバイスにメモリ要件を課すことである。 本研究は適応的精密訓練を提案する。 トレーニング全体のエネルギーコストとメモリ使用量の両方を同時に節約することができる。 トレーニングにおけるメモリ使用量を削減するため,前向きパスと後向きパスの両方で同じ精度のモデルを用いる。 トレーニングの進捗を評価することで、APTはレイヤーワイズ精度を動的に割り当て、モデルがより早くより長い時間学習できるようにします。 APTは、トレーニングエネルギーコスト、メモリ使用量、精度のトレードオフをユーザが行うためのアプリケーション固有のハイパーパラメータを提供する。 実験の結果、aptはトレーニングエネルギーとメモリ使用量を50%以上節約でき、精度の低下は少ない。 トレーニングエネルギーとメモリ使用量の20%削減は、精度損失の1%を犠牲にする見返りに達成できる。

関連論文リスト

• ProTrain: Efficient LLM Training via Memory-Aware Techniques [18.30799115938978]
  本稿では,メモリ,計算,IOの調整によってメモリ使用量と性能のバランスをとる新しいトレーニングシステムであるProTrainを提案する。 ProTrainは、SOTAのトレーニングシステムと比較して、トレーニングのスループットを1.43$times$から2.71$timesに改善する。
  論文  参考訳（メタデータ） (2024-06-12T15:40:06Z)
• Task-oriented Memory-efficient Pruning-Adapter [3.0751447761822903]
  本稿では,トレーニングとメモリの高メモリ効率を実現するタスク指向のPruning-Adapter法を提案する。 GLUEタスクの精度は大幅に低下せず、同時にトレーニングと推論の効率が向上した。
  論文  参考訳（メタデータ） (2023-03-26T12:18:00Z)
• DIVISION: Memory Efficient Training via Dual Activation Precision [60.153754740511864]
  最先端の研究は、量子化ビット幅の探索とトレーニングを組み合わせることで、手順を複雑にし、透明性を損なう。 そこで本研究では,DNNトレーニングを簡易かつ効果的に圧縮する手法を提案する。 実験結果によると、DIVISIONは10倍以上のアクティベーションマップの圧縮や、モデルの精度を損なうことなく、競争訓練のスループットなど、最先端の手法よりも総合的な性能を示している。
  論文  参考訳（メタデータ） (2022-08-05T03:15:28Z)
• On-Device Training Under 256KB Memory [62.95579393237751]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)
• MEST: Accurate and Fast Memory-Economic Sparse Training Framework on the Edge [72.16021611888165]
  本稿では,エッジデバイス上での高精度かつ高速な実行を目的とした,メモリ・エコノミクス・スパース・トレーニング(MEST)フレームワークを提案する。 提案されているMESTフレームワークは、Elastic Mutation (EM)とSoft Memory Bound (&S)による拡張で構成されている。 以上の結果から,スペーサマスクの動的探索においても,忘れられない例をその場で特定できることが示唆された。
  論文  参考訳（メタデータ） (2021-10-26T21:15:17Z)
• RCT: Resource Constrained Training for Edge AI [35.11160947555767]
  既存のコンパクトモデルのトレーニング方法は、メモリとエネルギーの予算が豊富な強力なサーバ上で動くように設計されている。 これらの問題を解決するため、RCT(Resource Constrained Training)を提案します。 RCTは、トレーニング中、量子化されたモデルのみを調整し、トレーニング中のモデルパラメータのメモリ要求を低減します。
  論文  参考訳（メタデータ） (2021-03-26T14:33:31Z)
• Enabling Binary Neural Network Training on the Edge [7.32770338248516]
  既存のバイナリニューラルネットワークトレーニング手法では、すべてのレイヤに対して高精度なアクティベーションを同時に保存する必要がある。 本稿では,メモリフットプリントの大幅な削減を図った,低コストなバイナリニューラルネットワークトレーニング戦略を提案する。 また、2ナライズされたResNet-18のin-scratch ImageNetトレーニングも実施し、3.78$times$メモリ削減を実現した。
  論文  参考訳（メタデータ） (2021-02-08T15:06:41Z)
• SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training [82.35376405568975]
  ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。 SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
  論文  参考訳（メタデータ） (2021-01-04T18:54:07Z)
• FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [81.85361544720885]
  アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
  論文  参考訳（メタデータ） (2020-12-24T05:24:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。