論文の概要: TaxoNN: A Light-Weight Accelerator for Deep Neural Network Training

• arxiv url: http://arxiv.org/abs/2010.05197v1
• Date: Sun, 11 Oct 2020 09:04:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 12:47:41.959091
• Title: TaxoNN: A Light-Weight Accelerator for Deep Neural Network Training
• Title（参考訳）: TaxoNN: ディープニューラルネットワークトレーニングのための軽量加速器
• Authors: Reza Hojabr, Kamyar Givaki, Kossar Pourahmadi, Parsa Nooralinejad, Ahmad Khonsari, Dara Rahmati, M. Hassan Najafi
• Abstract要約: 本稿では,SGDアルゴリズムを単純な計算要素に分割することで,ベースラインDNNアクセラレータ(推論のみ)にトレーニング能力を付加する手法を提案する。 DNNトレーニングのための軽量加速器であるTaxoNNを提案する。 実験の結果,TaxoNNは実精度よりも平均0.97%,誤分類率が高いことがわかった。
• 参考スコア（独自算出の注目度）: 2.5025363034899732
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Emerging intelligent embedded devices rely on Deep Neural Networks (DNNs) to be able to interact with the real-world environment. This interaction comes with the ability to retrain DNNs, since environmental conditions change continuously in time. Stochastic Gradient Descent (SGD) is a widely used algorithm to train DNNs by optimizing the parameters over the training data iteratively. In this work, first we present a novel approach to add the training ability to a baseline DNN accelerator (inference only) by splitting the SGD algorithm into simple computational elements. Then, based on this heuristic approach we propose TaxoNN, a light-weight accelerator for DNN training. TaxoNN can easily tune the DNN weights by reusing the hardware resources used in the inference process using a time-multiplexing approach and low-bitwidth units. Our experimental results show that TaxoNN delivers, on average, 0.97% higher misclassification rate compared to a full-precision implementation. Moreover, TaxoNN provides 2.1$\times$ power saving and 1.65$\times$ area reduction over the state-of-the-art DNN training accelerator.
• Abstract（参考訳）: インテリジェントな組み込みデバイスは、現実世界環境との対話を可能にするために、Deep Neural Networks(DNN)に依存している。 この相互作用には、環境条件が継続的に変化するため、DNNを再訓練する能力が伴う。 Stochastic Gradient Descent (SGD)は、トレーニングデータを反復的にパラメータに最適化することでDNNを訓練するアルゴリズムである。 本稿ではまず,SGDアルゴリズムを単純な計算要素に分割することで,ベースラインDNNアクセラレータ(推論のみ)にトレーニング能力を付加する手法を提案する。 そして、このヒューリスティックなアプローチに基づいて、DNNトレーニングのための軽量加速器であるTaxoNNを提案する。 TaxoNNは、時間多重化アプローチと低ビット幅ユニットを使用して、推論プロセスで使用されるハードウェアリソースを再利用することで、DNNの重みを容易に調整できる。 実験の結果,TaxoNNは実精度よりも平均0.97%,誤分類率が高いことがわかった。 さらに、TaxoNNは2.1$\times$省電力と1.65$\times$地域削減を提供する。

関連論文リスト

• Quantum-Inspired Tensor Neural Networks for Option Pricing [4.3942901219301564]
  近年の深層学習の進歩により,高次元の問題を解くことで,次元性の呪い(COD)に対処することが可能になった。 このようなCODに対処するアプローチのサブセットは、高次元PDEの解決に繋がった。 この結果、数学的な金融から産業用途の制御まで、様々な現実世界の問題を解決するための扉が開けた。
  論文  参考訳（メタデータ） (2022-12-28T19:39:55Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Rethinking Pretraining as a Bridge from ANNs to SNNs [13.984523794353477]
  スパイキングニューラルネットワーク(SNN)は、特有の特徴を持つ脳にインスパイアされた典型的なモデルとして知られている。 高い精度のモデルを得る方法は、常にSNNの分野における主要な課題である。
  論文  参考訳（メタデータ） (2022-03-02T14:59:57Z)
• Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking Neural Networks? [3.2108350580418166]
  スパイクニューラルネットワーク(SNN)は、時間とともに分散されたバイナリスパイクを介して動作する。 SNNのためのSOTAトレーニング戦略は、非スパイキングディープニューラルネットワーク(DNN)からの変換を伴う そこで本研究では,DNNと変換SNNの誤差を最小限に抑えながら,これらの分布を正確にキャプチャする新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-22T18:47:45Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• Shift-BNN: Highly-Efficient Probabilistic Bayesian Neural Network Training via Memory-Friendly Pattern Retrieving [5.043640793217879]
  私たちは、低コストでスケーラブルなShift-BNNと呼ばれる、最初の高効率なBNNトレーニングアクセラレータを設計し、プロトタイプを作りました。 Shift-BNNはエネルギー効率が平均4.9倍(最大10.8倍)向上し、1.6倍(最大2.8倍)のスピードアップを実現している。
  論文  参考訳（メタデータ） (2021-10-07T15:20:53Z)
• slimTrain -- A Stochastic Approximation Method for Training Separable Deep Neural Networks [2.4373900721120285]
  DeepTrain Network (DNN)は、多くのアプリケーションで高次元神経機能近似器としての成功を示している。 選択した超次元データセットに対する感度を低減したDNNのモデスト最適化手法であるslimTrainを提案する。
  論文  参考訳（メタデータ） (2021-09-28T19:31:57Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。