論文の概要: Hardware-aware training for large-scale and diverse deep learning
inference workloads using in-memory computing-based accelerators
- arxiv url: http://arxiv.org/abs/2302.08469v1
- Date: Thu, 16 Feb 2023 18:25:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-17 13:03:00.459489
- Title: Hardware-aware training for large-scale and diverse deep learning
inference workloads using in-memory computing-based accelerators
- Title（参考訳）: インメモリコンピューティングベースのアクセラレータを用いた大規模多種多様なディープラーニング推論ワークロードのためのハードウェアアウェアトレーニング
- Authors: Malte J. Rasch, Charles Mackin, Manuel Le Gallo, An Chen, Andrea
Fasoli, Frederic Odermatt, Ning Li, S. R. Nandakumar, Pritish Narayanan,
Hsinyu Tsai, Geoffrey W. Burr, Abu Sebastian, Vijay Narayanan
- Abstract要約: 大規模なディープニューラルネットワークの多くは、AIMC上での等精度を示すために、再訓練が成功できることが示されている。
以上の結果から,重みではなく入力や出力にノイズを加えるAIMCの非理想性が,DNNの精度に最も影響を与えることが示唆された。
- 参考スコア（独自算出の注目度）: 7.152059921639833
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Analog in-memory computing (AIMC) -- a promising approach for
energy-efficient acceleration of deep learning workloads -- computes
matrix-vector multiplications (MVMs) but only approximately, due to
nonidealities that often are non-deterministic or nonlinear. This can adversely
impact the achievable deep neural network (DNN) inference accuracy as compared
to a conventional floating point (FP) implementation. While retraining has
previously been suggested to improve robustness, prior work has explored only a
few DNN topologies, using disparate and overly simplified AIMC hardware models.
Here, we use hardware-aware (HWA) training to systematically examine the
accuracy of AIMC for multiple common artificial intelligence (AI) workloads
across multiple DNN topologies, and investigate sensitivity and robustness to a
broad set of nonidealities. By introducing a new and highly realistic AIMC
crossbar-model, we improve significantly on earlier retraining approaches. We
show that many large-scale DNNs of various topologies, including convolutional
neural networks (CNNs), recurrent neural networks (RNNs), and transformers, can
in fact be successfully retrained to show iso-accuracy on AIMC. Our results
further suggest that AIMC nonidealities that add noise to the inputs or
outputs, not the weights, have the largest impact on DNN accuracy, and that
RNNs are particularly robust to all nonidealities.
- Abstract（参考訳）: analog in-memory computing (aimc) -- ディープラーニングのワークロードをエネルギー効率良く加速するための有望なアプローチ -- は行列ベクトル乗算(mvm)を計算するが、非決定性や非線形性がしばしば発生する非理想性のため、ほとんど計算しない。
これは、従来の浮動小数点(FP)実装と比較して、達成可能なディープニューラルネットワーク(DNN)推論精度に悪影響を及ぼす可能性がある。
トレーニングは以前、ロバスト性を改善するために提案されたが、以前の研究は、異なる、過度に単純化されたaimcハードウェアモデルを使用して、いくつかのdnnトポロジーのみを調査した。
本稿では、ハードウェア・アウェア(HWA)トレーニングを用いて、複数のDNNトポロジにまたがる複数の共通人工知能(AI)ワークロードのAIMCの精度を体系的に検証し、幅広い非理想性に対する感度と堅牢性を調査する。
新たな,高度に現実的なAIMCクロスバーモデルを導入することで,事前のトレーニングアプローチを大幅に改善する。
畳み込みニューラルネットワーク(CNN)、リカレントニューラルネットワーク(RNN)、トランスフォーマーなど、さまざまなトポロジの大規模DNNが、実際にはAIMC上でアイソ精度を示すために再トレーニング可能であることを示す。
さらに,重みではなく入力や出力にノイズを加えるAIMC非イデオロギーがDNNの精度に最も影響し,RNNは特にすべての非イデオロギーに対して堅牢であることが示唆された。
関連論文リスト
- An Automata-Theoretic Approach to Synthesizing Binarized Neural Networks [13.271286153792058]
量子ニューラルネットワーク(QNN)が開発され、二項化ニューラルネットワーク(BNN)は特殊なケースとしてバイナリ値に制限されている。
本稿では,指定された特性を満たすBNNの自動合成手法を提案する。
論文 参考訳（メタデータ） (2023-07-29T06:27:28Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge
Computing: A Contextual-Bandit Approach [81.5261621619557]
階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。
まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。
そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
論文 参考訳（メタデータ） (2021-08-09T08:45:47Z) - Online Training of Spiking Recurrent Neural Networks with Phase-Change
Memory Synapses [1.9809266426888898]
専用のニューロモルフィックハードウェア上でのスパイクニューラルネットワーク(RNN)のトレーニングは、依然としてオープンな課題である。
本稿では,PCMデバイスモデルに基づく差分構造アレイのシミュレーションフレームワークを提案する。
我々は,最近提案されたe-prop学習規則を用いて,提案したシミュレーションフレームワークに重みをエミュレートしたスパイクRNNを訓練する。
論文 参考訳（メタデータ） (2021-08-04T01:24:17Z) - Low-Precision Training in Logarithmic Number System using Multiplicative
Weight Update [49.948082497688404]
大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。
エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。
対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
論文 参考訳（メタデータ） (2021-06-26T00:32:17Z) - NL-CNN: A Resources-Constrained Deep Learning Model based on Nonlinear
Convolution [0.0]
NL-CNNと略される新しい畳み込みニューラルネットワークモデルが提案され、非線型畳み込みは畳み込み+非線形性層のカスケードでエミュレートされる。
いくつかの広く知られているデータセットのパフォーマンス評価が提供され、いくつかの関連する特徴を示している。
論文 参考訳（メタデータ） (2021-01-30T13:38:42Z) - A Meta-Learning Approach to the Optimal Power Flow Problem Under
Topology Reconfigurations [69.73803123972297]
メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。
開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
論文 参考訳（メタデータ） (2020-12-21T17:39:51Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - TxSim:Modeling Training of Deep Neural Networks on Resistive Crossbar
Systems [3.1887081453726136]
クロスバーベースの計算は、様々なデバイスと回路レベルの非理想性のために大きな課題に直面している。
我々は、クロスバーベースハードウェア上でDNNトレーニングを機能的に評価する高速でカスタマイズ可能なモデリングフレームワークであるTxSimを提案する。
論文 参考訳（メタデータ） (2020-02-25T19:29:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。