論文の概要: ElasticTrainer: Speeding Up On-Device Training with Runtime Elastic Tensor Selection

• arxiv url: http://arxiv.org/abs/2312.14227v1
• Date: Thu, 21 Dec 2023 17:08:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-25 17:15:04.222242
• Title: ElasticTrainer: Speeding Up On-Device Training with Runtime Elastic Tensor Selection
• Title（参考訳）: ElasticTrainer: 実行時のElastic Tensor選択によるオンデバイストレーニングの高速化
• Authors: Kai Huang, Boyuan Yang, Wei Gao
• Abstract要約: ElasticTrainerは、必要なトレーニングスピードアップを達成するために、このような弾性を強制する新しいテクニックである。 実験の結果、ElasticTrainerは壁面時間で最大3.5倍のトレーニングスピードアップを達成することがわかった。
• 参考スコア（独自算出の注目度）: 10.82017289243097
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: On-device training is essential for neural networks (NNs) to continuously adapt to new online data, but can be time-consuming due to the device's limited computing power. To speed up on-device training, existing schemes select trainable NN portion offline or conduct unrecoverable selection at runtime, but the evolution of trainable NN portion is constrained and cannot adapt to the current need for training. Instead, runtime adaptation of on-device training should be fully elastic, i.e., every NN substructure can be freely removed from or added to the trainable NN portion at any time in training. In this paper, we present ElasticTrainer, a new technique that enforces such elasticity to achieve the required training speedup with the minimum NN accuracy loss. Experiment results show that ElasticTrainer achieves up to 3.5x more training speedup in wall-clock time and reduces energy consumption by 2x-3x more compared to the existing schemes, without noticeable accuracy loss.
• Abstract（参考訳）: デバイス上のトレーニングは、ニューラルネットワーク(nns)が新しいオンラインデータに継続的に適応するためには不可欠であるが、デバイスのコンピューティング能力が限られているため、時間がかかる可能性がある。 デバイス上でのトレーニングを高速化するために、既存のスキームはトレーニング可能なNN部分をオフラインにするか、実行時に回復不可能な選択を行う。 代わりに、オンデバイストレーニングのランタイム適応は完全に弾力性があり、トレーニング中いつでもトレーニング可能なNN部分からすべてのNNサブ構造を自由に取り除いたり、追加したりできる。 本稿では, NNの精度損失を最小限に抑えながら, 必要なトレーニングスピードアップを実現するために, 弾力性を実現する新しい手法であるElasticTrainerを提案する。 実験結果から,ElasticTrainerは壁面時間で最大3.5倍のトレーニング速度を達成でき,既存のスキームに比べてエネルギー消費を2倍-3倍削減できることがわかった。

関連論文リスト

• Accelerating Training with Neuron Interaction and Nowcasting Networks [34.14695001650589]
  学習可能な更新ルールは、トレーニングや使用に費用がかかり不安定になる可能性がある。 We propose NiNo to accelerate training based on weight nowcaster network (WNNs)。
  論文  参考訳（メタデータ） (2024-09-06T17:55:49Z)
• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• slimTrain -- A Stochastic Approximation Method for Training Separable Deep Neural Networks [2.4373900721120285]
  DeepTrain Network (DNN)は、多くのアプリケーションで高次元神経機能近似器としての成功を示している。 選択した超次元データセットに対する感度を低減したDNNのモデスト最適化手法であるslimTrainを提案する。
  論文  参考訳（メタデータ） (2021-09-28T19:31:57Z)
• Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
  大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。 エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。 対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
  論文  参考訳（メタデータ） (2021-06-26T00:32:17Z)
• FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [81.85361544720885]
  アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
  論文  参考訳（メタデータ） (2020-12-24T05:24:10Z)
• Dynamic Hard Pruning of Neural Networks at the Edge of the Internet [11.605253906375424]
  動的ハードプルーニング(DynHP)技術は、トレーニング中にネットワークを段階的にプルーニングする。 DynHPは、最終ニューラルネットワークの調整可能なサイズ削減と、トレーニング中のNNメモリ占有率の削減を可能にする。 凍結メモリは、ハードプルーニング戦略による精度劣化を相殺するために、エンファンダイナミックバッチサイズアプローチによって再利用される。
  論文  参考訳（メタデータ） (2020-11-17T10:23:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。