論文の概要: TinyProp -- Adaptive Sparse Backpropagation for Efficient TinyML On-device Learning

• arxiv url: http://arxiv.org/abs/2308.09201v1
• Date: Thu, 17 Aug 2023 22:32:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 15:15:36.387120
• Title: TinyProp -- Adaptive Sparse Backpropagation for Efficient TinyML On-device Learning
• Title（参考訳）: TinyProp -- 効率的なTinyMLオンデバイス学習のための適応スパースバックプロパゲーション
• Authors: Marcus R\"ub, Daniel Maier, Daniel Mueller-Gritschneder, Axel Sikora
• Abstract要約: バックプロパゲーションを用いたディープニューラルネットワークのトレーニングは、非常にメモリと計算集約性が高い。 これにより、低消費電力マイクロコントローラユニット(MCU)のような小さな組み込みデバイス上でデバイス上での学習や微調整ニューラルネットワークの実行が困難になる。 デバイス上でのトレーニング中にバックプロパゲーション比を動的に適応する最初のスパースバックプロパゲーション法であるTinyPropを提案する。
• 参考スコア（独自算出の注目度）: 0.4747685035960513
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Training deep neural networks using backpropagation is very memory and computationally intensive. This makes it difficult to run on-device learning or fine-tune neural networks on tiny, embedded devices such as low-power micro-controller units (MCUs). Sparse backpropagation algorithms try to reduce the computational load of on-device learning by training only a subset of the weights and biases. Existing approaches use a static number of weights to train. A poor choice of this so-called backpropagation ratio limits either the computational gain or can lead to severe accuracy losses. In this paper we present TinyProp, the first sparse backpropagation method that dynamically adapts the back-propagation ratio during on-device training for each training step. TinyProp induces a small calculation overhead to sort the elements of the gradient, which does not significantly impact the computational gains. TinyProp works particularly well on fine-tuning trained networks on MCUs, which is a typical use case for embedded applications. For typical datasets from three datasets MNIST, DCASE2020 and CIFAR10, we are 5 times faster compared to non-sparse training with an accuracy loss of on average 1%. On average, TinyProp is 2.9 times faster than existing, static sparse backpropagation algorithms and the accuracy loss is reduced on average by 6 % compared to a typical static setting of the back-propagation ratio.
• Abstract（参考訳）: バックプロパゲーションを用いたディープニューラルネットワークのトレーニングは非常にメモリと計算集約性が高い。 これにより、低消費電力マイクロコントローラユニット(MCU)のような小さな組み込みデバイス上でデバイス上での学習や微調整ニューラルネットワークの実行が困難になる。 スパースバックプロパゲーションアルゴリズムは、重みとバイアスのサブセットのみをトレーニングすることで、オンデバイス学習の計算負荷を削減する。 既存のアプローチでは、トレーニングに静的な数の重みを使用する。 このいわゆるバックプロパゲーション比の貧弱な選択は、計算利得を制限するか、あるいは深刻な精度の損失につながる可能性がある。 本稿では,トレーニングステップ毎にデバイス上トレーニング中のバックプロパゲーション比を動的に適応する,最初のスパースバックプロパゲーション法であるtinypropを提案する。 tinypropは、勾配の要素をソートするために小さな計算オーバーヘッドを誘導するが、計算の利益に大きな影響を与えない。 TinyPropは特に、組み込みアプリケーションの典型的なユースケースであるMCU上の微調整トレーニングネットワークでうまく機能する。 MNIST、DCASE2020、CIFAR10の3つのデータセットの典型的なデータセットでは、平均1%の精度での非スパーストレーニングに比べて5倍高速である。 TinyPropは、既存の静的スパースバックプロパゲーションアルゴリズムの2.9倍の速度で、バックプロパゲーション比の典型的な静的設定と比較して、平均で6パーセントの精度損失が減少する。

関連論文リスト

• Efficient Neural Network Training via Subset Pretraining [5.352839075466439]
  ニューラルネットワークのトレーニングでは、バッチ上で計算された部分勾配を使用するのが一般的である。 トレーニングセットの損失最小限は、そのサブセットのミニマによって適切に近似されることが期待できる。 実験の結果 従来の訓練に匹敵する結果に 達できることが確認されました。
  論文  参考訳（メタデータ） (2024-10-21T21:31:12Z)
• Advancing On-Device Neural Network Training with TinyPropv2: Dynamic, Sparse, and Efficient Backpropagation [0.4747685035960513]
  この研究は、ディープニューラルネットワークにおけるデバイス上での学習を最適化する革新的なアルゴリズムであるTinyPropv2を紹介する。 TinyPropv2はスパースバックプロパゲーションをダイナミックに調整することで洗練する。 TinyPropv2は完全なトレーニング手法でほぼ平準化を実現しており、ほとんどのケースでは平均的な精度低下は1%程度である。
  論文  参考訳（メタデータ） (2024-09-11T08:56:13Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
  本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。 局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。 特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
  論文  参考訳（メタデータ） (2023-09-29T13:09:40Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• On-Device Training Under 256KB Memory [62.95579393237751]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)
• Predicting Training Time Without Training [120.92623395389255]
  我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。 我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。 トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
  論文  参考訳（メタデータ） (2020-08-28T04:29:54Z)
• Enabling On-Device CNN Training by Self-Supervised Instance Filtering and Error Map Pruning [17.272561332310303]
  この研究は、トレーニング時の計算コストを削減し、デバイス上での畳み込みニューラルネットワーク(CNN)のトレーニングを可能にすることを目的としている。 CNNモデルは、通常高性能コンピュータ上で訓練され、訓練されたモデルのみがエッジデバイスにデプロイされる。
  論文  参考訳（メタデータ） (2020-07-07T05:52:37Z)
• Dithered backprop: A sparse and quantized backpropagation algorithm for more efficient deep neural network training [18.27946970159625]
  ディザド・バックプロップと名付けたバックプロップの計算コストを削減する手法を提案する。 本手法は,8ビットまでのトレーニングのビット精度を低下させる,最先端のトレーニング手法と完全互換であることを示す。
  論文  参考訳（メタデータ） (2020-04-09T17:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。