論文の概要: On-Device Training of Fully Quantized Deep Neural Networks on Cortex-M Microcontrollers

• arxiv url: http://arxiv.org/abs/2407.10734v2
• Date: Wed, 28 Aug 2024 15:36:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-29 20:28:56.909756
• Title: On-Device Training of Fully Quantized Deep Neural Networks on Cortex-M Microcontrollers
• Title（参考訳）: Cortex-Mマイクロコントローラを用いた完全量子化深部ニューラルネットワークのオンデバイストレーニング
• Authors: Mark Deutel, Frank Hannig, Christopher Mutschler, Jürgen Teich,
• Abstract要約: 本稿では,完全量子化トレーニング(FQT)と動的部分勾配更新を用いて,MCU上でDNNの効率的なトレーニングを可能にする手法を提案する。 マルチビジョンと時系列データセットに対するアプローチの実現可能性を示し、トレーニング精度、メモリオーバーヘッド、エネルギ、実際のハードウェアでのレイテンシのトレードオフに関する洞察を提供する。
• 参考スコア（独自算出の注目度）: 4.370731001036268
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-device training of DNNs allows models to adapt and fine-tune to newly collected data or changing domains while deployed on microcontroller units (MCUs). However, DNN training is a resource-intensive task, making the implementation and execution of DNN training algorithms on MCUs challenging due to low processor speeds, constrained throughput, limited floating-point support, and memory constraints. In this work, we explore on-device training of DNNs for Cortex-M MCUs. We present a method that enables efficient training of DNNs completely in place on the MCU using fully quantized training (FQT) and dynamic partial gradient updates. We demonstrate the feasibility of our approach on multiple vision and time-series datasets and provide insights into the tradeoff between training accuracy, memory overhead, energy, and latency on real hardware.
• Abstract（参考訳）: DNNのオンデバイストレーニングでは、モデルがマイクロコントローラユニット(MCU)にデプロイされている間、新たに収集されたデータやドメインの変更に適応し、微調整することができる。 しかし、DNNトレーニングはリソース集約的なタスクであり、プロセッサ速度の低下、スループットの制限、浮動小数点数のサポートの制限、メモリ制約のため、MCU上でのDNNトレーニングアルゴリズムの実装と実行が困難になる。 本研究では,Cortex-M MCUにおけるDNNのオンデバイストレーニングについて検討する。 本稿では,完全量子化トレーニング(FQT)と動的部分勾配更新を用いて,MCU上でDNNの効率的なトレーニングを可能にする手法を提案する。 マルチビジョンと時系列データセットに対するアプローチの実現可能性を示し、トレーニング精度、メモリオーバーヘッド、エネルギ、実際のハードウェアでのレイテンシのトレードオフに関する洞察を提供する。

関連論文リスト

• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Accelerator-Aware Training for Transducer-Based Speech Recognition [16.959329474794092]
  本研究では,NNA演算子をトレーニング期間中に再現し,バックプロパゲーションにおけるNNAの低精度推論による劣化を考慮した。 提案手法は,NNA操作を効率的にエミュレートし,量子化エラーが発生しやすいデータをCPUに転送する必要性を先導する。 WERの10%の相対劣化を抑えながら、270K時間の英語データをトレーニングし、エンジン遅延を5-7%改善した。
  論文  参考訳（メタデータ） (2023-05-12T21:49:51Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Designing and Training of Lightweight Neural Networks on Edge Devices using Early Halting in Knowledge Distillation [16.74710649245842]
  本稿では,エッジデバイス上での軽量ディープニューラルネットワーク(DNN)の設計と訓練のための新しいアプローチを提案する。 このアプローチでは、利用可能なストレージ、処理速度、許容可能な最大処理時間を考慮する。 本稿では,ネットワーク資源を保存できる新しい早期停止手法を提案する。
  論文  参考訳（メタデータ） (2022-09-30T16:18:24Z)
• BFTrainer: Low-Cost Training of Neural Networks on Unfillable Supercomputer Nodes [0.8201100713224002]
  FCFSベースのスケジューリングポリシーは、多くの一時的なアイドルノードをもたらす。 我々は、これらの無駄なリソース、すなわちディープニューラルネットワーク(DNN)トレーニングに対して、新しい用途を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-06-22T22:53:19Z)
• Enabling Incremental Training with Forward Pass for Edge Devices [0.0]
  進化戦略(ES)を用いてネットワークを部分的に再トレーニングし,エラー発生後に変更に適応し,回復できるようにする手法を提案する。 この技術は、バックプロパゲーションを必要とせず、最小限のリソースオーバーヘッドで推論専用ハードウェアのトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-03-25T17:43:04Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。