論文の概要: Advancing On-Device Neural Network Training with TinyPropv2: Dynamic, Sparse, and Efficient Backpropagation
- arxiv url: http://arxiv.org/abs/2409.07109v1
- Date: Wed, 11 Sep 2024 08:56:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 15:14:01.423340
- Title: Advancing On-Device Neural Network Training with TinyPropv2: Dynamic, Sparse, and Efficient Backpropagation
- Title（参考訳）: TinyPropv2によるオンデバイスニューラルネットワークトレーニングの強化:動的,スパース,効率的なバックプロパゲーション
- Authors: Marcus Rüb, Axel Sikora, Daniel Mueller-Gritschneder,
- Abstract要約: この研究は、ディープニューラルネットワークにおけるデバイス上での学習を最適化する革新的なアルゴリズムであるTinyPropv2を紹介する。
TinyPropv2はスパースバックプロパゲーションをダイナミックに調整することで洗練する。
TinyPropv2は完全なトレーニング手法でほぼ平準化を実現しており、ほとんどのケースでは平均的な精度低下は1%程度である。
- 参考スコア（独自算出の注目度）: 0.4747685035960513
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study introduces TinyPropv2, an innovative algorithm optimized for on-device learning in deep neural networks, specifically designed for low-power microcontroller units. TinyPropv2 refines sparse backpropagation by dynamically adjusting the level of sparsity, including the ability to selectively skip training steps. This feature significantly lowers computational effort without substantially compromising accuracy. Our comprehensive evaluation across diverse datasets CIFAR 10, CIFAR100, Flower, Food, Speech Command, MNIST, HAR, and DCASE2020 reveals that TinyPropv2 achieves near-parity with full training methods, with an average accuracy drop of only around 1 percent in most cases. For instance, against full training, TinyPropv2's accuracy drop is minimal, for example, only 0.82 percent on CIFAR 10 and 1.07 percent on CIFAR100. In terms of computational effort, TinyPropv2 shows a marked reduction, requiring as little as 10 percent of the computational effort needed for full training in some scenarios, and consistently outperforms other sparse training methodologies. These findings underscore TinyPropv2's capacity to efficiently manage computational resources while maintaining high accuracy, positioning it as an advantageous solution for advanced embedded device applications in the IoT ecosystem.
- Abstract（参考訳）: この研究は、ディープニューラルネットワークのデバイス上での学習に最適化された革新的なアルゴリズムであるTinyPropv2を紹介した。
TinyPropv2は、トレーニングステップを選択的にスキップする機能を含む、スパースバックプロパゲーションを動的に調整することで洗練する。
この機能は、精度を著しく損なうことなく、計算労力を大幅に削減する。
CIFAR 10, CIFAR100, Flower, Food, Speech Command, MNIST, HAR, DCASE 2020 のさまざまなデータセットを総合的に評価した結果, TinyPropv2 が完全なトレーニング手法でほぼ不完全であり,ほとんどのケースでは平均精度が1%程度低下していることがわかった。
例えば、完全なトレーニングに対して、TinyPropv2の精度低下は最小限であり、例えば、CIFAR 10では0.82パーセント、CIFAR100では1.07%である。
計算労力の面では、TinyPropv2は顕著な削減を示し、いくつかのシナリオでの完全なトレーニングに必要な計算労力の10%しか必要とせず、他のスパーストレーニング手法を一貫して上回っている。
これらの発見は、高い精度を維持しながら計算リソースを効率的に管理するTinyPropv2の能力を強調し、IoTエコシステムにおける高度な組み込みデバイスアプリケーションのための有利なソリューションとして位置付けている。
関連論文リスト
- Just How Flexible are Neural Networks in Practice? [89.80474583606242]
ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。
しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
論文 参考訳（メタデータ） (2024-06-17T12:24:45Z) - Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。
局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。
特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
論文 参考訳（メタデータ） (2023-09-29T13:09:40Z) - TinyProp -- Adaptive Sparse Backpropagation for Efficient TinyML
On-device Learning [0.4747685035960513]
バックプロパゲーションを用いたディープニューラルネットワークのトレーニングは、非常にメモリと計算集約性が高い。
これにより、低消費電力マイクロコントローラユニット(MCU)のような小さな組み込みデバイス上でデバイス上での学習や微調整ニューラルネットワークの実行が困難になる。
デバイス上でのトレーニング中にバックプロパゲーション比を動的に適応する最初のスパースバックプロパゲーション法であるTinyPropを提案する。
論文 参考訳（メタデータ） (2023-08-17T22:32:32Z) - AUTOSPARSE: Towards Automated Sparse Training of Deep Neural Networks [2.6742343015805083]
本稿では,ニューラルネットワーク内に存在する空間の均一分布を探索するグラディエント・アナリング(GA)を提案する。
GAは、余剰を誘導する正規化を必要とせずに、余剰と正確性の間のエレガントなトレードオフを提供する。
GAと最新の学習可能なプルーニング手法を統合し、AutoSparseと呼ばれる自動スパーストレーニングアルゴリズムを作成する。
論文 参考訳（メタデータ） (2023-04-14T06:19:07Z) - Dynamic Sparse Training via Balancing the Exploration-Exploitation
Trade-off [19.230329532065635]
スパーストレーニングは、モデルサイズを減らすことで、トレーニングコストを大幅に削減する可能性がある。
既存のスパーストレーニング方法は、主にランダムベースまたはグリーディベースのドロップ・アンド・グロー戦略を使用する。
本研究では,動的スパース学習をスパース接続探索問題として考察する。
実験の結果,提案手法により得られたスパースモデル(最大98%のスパース)は,SOTAスパース訓練法より優れていた。
論文 参考訳（メタデータ） (2022-11-30T01:22:25Z) - On-Device Training Under 256KB Memory [62.95579393237751]
本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。
私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
論文 参考訳（メタデータ） (2022-06-30T17:59:08Z) - Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than
In-Context Learning [81.3514358542452]
ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。
パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。
本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
論文 参考訳（メタデータ） (2022-05-11T17:10:41Z) - Federated Dynamic Sparse Training: Computing Less, Communicating Less,
Yet Learning Better [88.28293442298015]
Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。
我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。
FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
論文 参考訳（メタデータ） (2021-12-18T02:26:38Z) - Structured Directional Pruning via Perturbation Orthogonal Projection [13.704348351073147]
より合理的なアプローチは、NISTによって発見された平坦な最小の谷に沿ってスパース最小化器を見つけることである。
平坦な最小の谷に摂動を投射する構造的指向性プルーニングを提案する。
実験の結果,VGG16では93.97%,CIFAR-10タスクでは再トレーニングを行なわず,最先端のプルーニング精度が得られた。
論文 参考訳（メタデータ） (2021-07-12T11:35:47Z) - Enabling On-Device CNN Training by Self-Supervised Instance Filtering
and Error Map Pruning [17.272561332310303]
この研究は、トレーニング時の計算コストを削減し、デバイス上での畳み込みニューラルネットワーク(CNN)のトレーニングを可能にすることを目的としている。
CNNモデルは、通常高性能コンピュータ上で訓練され、訓練されたモデルのみがエッジデバイスにデプロイされる。
論文 参考訳（メタデータ） (2020-07-07T05:52:37Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳（メタデータ） (2020-06-03T05:20:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。