Fugu-MT 論文翻訳(概要): Designing and Training of Lightweight Neural Networks on Edge Devices using Early Halting in Knowledge Distillation

論文の概要: Designing and Training of Lightweight Neural Networks on Edge Devices using Early Halting in Knowledge Distillation

arxiv url: http://arxiv.org/abs/2209.15560v1
Date: Fri, 30 Sep 2022 16:18:24 GMT
ステータス: 処理完了
システム内更新日: 2022-10-03 14:13:08.327724
Title: Designing and Training of Lightweight Neural Networks on Edge Devices using Early Halting in Knowledge Distillation
Title（参考訳）: 知識蒸留における早期ハルティングを用いたエッジデバイス上の軽量ニューラルネットワークの設計と訓練
Authors: Rahul Mishra, Hari Prabhat Gupta
Abstract要約: 本稿では,エッジデバイス上での軽量ディープニューラルネットワーク(DNN)の設計と訓練のための新しいアプローチを提案する。このアプローチでは、利用可能なストレージ、処理速度、許容可能な最大処理時間を考慮する。本稿では,ネットワーク資源を保存できる新しい早期停止手法を提案する。
参考スコア（独自算出の注目度）: 16.74710649245842
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Automated feature extraction capability and significant performance of Deep Neural Networks (DNN) make them suitable for Internet of Things (IoT) applications. However, deploying DNN on edge devices becomes prohibitive due to the colossal computation, energy, and storage requirements. This paper presents a novel approach for designing and training lightweight DNN using large-size DNN. The approach considers the available storage, processing speed, and maximum allowable processing time to execute the task on edge devices. We present a knowledge distillation based training procedure to train the lightweight DNN to achieve adequate accuracy. During the training of lightweight DNN, we introduce a novel early halting technique, which preserves network resources; thus, speedups the training procedure. Finally, we present the empirically and real-world evaluations to verify the effectiveness of the proposed approach under different constraints using various edge devices.
Abstract（参考訳）: 機能抽出の自動化とDeep Neural Networks(DNN)の大幅なパフォーマンスにより、IoT(Internet of Things)アプリケーションに適している。しかしながら,エッジデバイスへのdnnのデプロイは,計算量やエネルギー,ストレージ要件などによって禁止される。本稿では,大規模DNNを用いた軽量DNNの設計・訓練手法を提案する。このアプローチでは、エッジデバイス上でタスクを実行するために利用可能なストレージ、処理速度、最大処理時間を考慮する。本稿では,軽量dnnを訓練し,適切な精度を達成するための知識蒸留に基づく訓練手順を提案する。軽量DNNのトレーニング中に,ネットワークリソースを保存し,トレーニング手順を高速化する新しい早期停止技術を導入する。最後に, 様々なエッジデバイスを用いて, 異なる制約下で提案手法の有効性を検証するため, 経験的および実世界評価を行った。

関連論文リスト

On-Device Training of Fully Quantized Deep Neural Networks on Cortex-M Microcontrollers [4.370731001036268]
本稿では,完全量子化トレーニング(FQT)と動的部分勾配更新を用いて,MCU上でDNNの効率的なトレーニングを可能にする手法を提案する。マルチビジョンと時系列データセットに対するアプローチの実現可能性を示し、トレーニング精度、メモリオーバーヘッド、エネルギ、実際のハードウェアでのレイテンシのトレードオフに関する洞察を提供する。
論文参考訳（メタデータ） (2024-07-15T14:01:34Z)
DNN Partitioning, Task Offloading, and Resource Allocation in Dynamic Vehicular Networks: A Lyapunov-Guided Diffusion-Based Reinforcement Learning Approach [49.56404236394601]
本稿では,Vehicular Edge Computingにおける共同DNNパーティショニング,タスクオフロード,リソース割り当ての問題を定式化する。我々の目標は、時間とともにシステムの安定性を保証しながら、DNNベースのタスク完了時間を最小化することである。拡散モデルの革新的利用を取り入れたマルチエージェント拡散に基づく深層強化学習(MAD2RL)アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-06-11T06:31:03Z)
Hardware-Aware DNN Compression via Diverse Pruning and Mixed-Precision Quantization [1.0235078178220354]
本稿では, プルーニングと量子化を併用してハードウェアに配慮したディープニューラルネットワーク(DNN)の自動圧縮フレームワークを提案する。われわれのフレームワークはデータセットの平均エネルギー消費量を39%減らし、平均精度損失を1.7%減らし、最先端のアプローチを著しく上回っている。
論文参考訳（メタデータ） (2023-12-23T18:50:13Z)
On the fly Deep Neural Network Optimization Control for Low-Power Computer Vision [0.0]
最先端のコンピュータビジョン技術は、リソース制約のあるエッジデバイスにデプロイするには電力不足の大規模なディープニューラルネットワーク(DNN)に依存している。本稿では,DNNが再学習を必要とせずに,実行時の精度とエネルギー消費に適応できる新しい手法を提案する。
論文参考訳（メタデータ） (2023-09-04T21:26:26Z)
Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文参考訳（メタデータ） (2022-11-19T15:44:08Z)
Energy-Efficient Deployment of Machine Learning Workloads on Neuromorphic Hardware [0.11744028458220425]
ディープラーニングハードウェアアクセラレータがいくつかリリースされ、ディープニューラルネットワーク(DNN)が消費する電力と面積の削減に特化している。個別の時系列データで動作するスパイクニューラルネットワーク(SNN)は、特殊なニューロモルフィックイベントベース/非同期ハードウェアにデプロイすると、大幅な電力削減を実現することが示されている。本研究では,事前学習したDNNをSNNに変換するための一般的なガイドを提供するとともに,ニューロモルフィックハードウェア上でのSNNの展開を改善するためのテクニックも提示する。
論文参考訳（メタデータ） (2022-10-10T20:27:19Z)
Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
論文参考訳（メタデータ） (2022-10-10T10:05:00Z)
Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文参考訳（メタデータ） (2022-10-09T07:47:56Z)
FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [81.85361544720885]
アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
論文参考訳（メタデータ） (2020-12-24T05:24:10Z)
TaxoNN: A Light-Weight Accelerator for Deep Neural Network Training [2.5025363034899732]
本稿では,SGDアルゴリズムを単純な計算要素に分割することで,ベースラインDNNアクセラレータ(推論のみ)にトレーニング能力を付加する手法を提案する。 DNNトレーニングのための軽量加速器であるTaxoNNを提案する。実験の結果,TaxoNNは実精度よりも平均0.97%,誤分類率が高いことがわかった。
論文参考訳（メタデータ） (2020-10-11T09:04:19Z)
Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。