論文の概要: Training of mixed-signal optical convolutional neural network with
reduced quantization level
- arxiv url: http://arxiv.org/abs/2008.09206v1
- Date: Thu, 20 Aug 2020 20:46:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 02:58:00.996542
- Title: Training of mixed-signal optical convolutional neural network with
reduced quantization level
- Title（参考訳）: 量子化レベルを低減した混合信号光畳み込みニューラルネットワークの訓練
- Authors: Joseph Ulseth, Zheyuan Zhu, Guifang Li, Shuo Pang
- Abstract要約: アナログ行列乗算加速器を用いた混合信号人工ニューラルネットワーク(ANN)は、高速化と電力効率の向上を実現することができる。
本稿では、アナログ信号の2種類の誤り、ランダムノイズ、決定論的誤り(歪み)を含む混合信号ANNの訓練方法について報告する。
その結果,提案手法で訓練した混合信号ANNは,理想量子化ステップの最大50%のノイズレベルで等価な分類精度が得られることがわかった。
- 参考スコア（独自算出の注目度）: 1.3381749415517021
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mixed-signal artificial neural networks (ANNs) that employ analog
matrix-multiplication accelerators can achieve higher speed and improved power
efficiency. Though analog computing is known to be susceptible to noise and
device imperfections, various analog computing paradigms have been considered
as promising solutions to address the growing computing demand in machine
learning applications, thanks to the robustness of ANNs. This robustness has
been explored in low-precision, fixed-point ANN models, which have proven
successful on compressing ANN model size on digital computers. However, these
promising results and network training algorithms cannot be easily migrated to
analog accelerators. The reason is that digital computers typically carry
intermediate results with higher bit width, though the inputs and weights of
each ANN layers are of low bit width; while the analog intermediate results
have low precision, analogous to digital signals with a reduced quantization
level. Here we report a training method for mixed-signal ANN with two types of
errors in its analog signals, random noise, and deterministic errors
(distortions). The results showed that mixed-signal ANNs trained with our
proposed method can achieve an equivalent classification accuracy with noise
level up to 50% of the ideal quantization step size. We have demonstrated this
training method on a mixed-signal optical convolutional neural network based on
diffractive optics.
- Abstract（参考訳）: アナログ行列乗算加速器を用いた混合信号人工ニューラルネットワーク(ANN)は、高速化と電力効率の向上を実現する。
アナログコンピューティングはノイズやデバイス不完全性の影響を受けやすいことが知られているが、様々なアナログコンピューティングパラダイムは、ANNの堅牢性のおかげで、機械学習アプリケーションにおけるコンピューティング需要の増加に対処するための有望なソリューションとみなされてきた。
このロバスト性は、デジタルコンピュータ上でのANNモデルの圧縮に成功している低精度の固定点ANNモデルで研究されている。
しかし、これらの有望な結果とネットワークトレーニングアルゴリズムは、アナログアクセラレータに容易に移行できない。
理由は、デジタルコンピュータは、各an層の入力と重みは低ビット幅であるが、通常、ビット幅の高い中間結果を持ち、アナログ中間結果は、量子化レベルが小さいデジタル信号に類似した精度が低いためである。
本稿では、アナログ信号に2種類の誤り、ランダムノイズ、決定論的誤り(歪み)を有する混合信号ANNの訓練方法について報告する。
その結果,提案手法で訓練した混合信号ANNは,理想量子化ステップの最大50%のノイズレベルで等価な分類精度が得られることがわかった。
回折光学に基づく混合信号型光畳み込みニューラルネットワークにおいて,この学習手法を実証した。
関連論文リスト
- Neuromorphic Wireless Split Computing with Multi-Level Spikes [69.73249913506042]
ニューロモルフィックコンピューティングでは、スパイクニューラルネットワーク(SNN)が推論タスクを実行し、シーケンシャルデータを含むワークロードの大幅な効率向上を提供する。
ハードウェアとソフトウェアの最近の進歩は、スパイクニューロン間で交換された各スパイクに数ビットのペイロードを埋め込むことにより、推論精度をさらに高めることを示した。
本稿では,マルチレベルSNNを用いた無線ニューロモルフィック分割計算アーキテクチャについて検討する。
論文 参考訳（メタデータ） (2024-11-07T14:08:35Z) - Quantization of Deep Neural Networks to facilitate self-correction of
weights on Phase Change Memory-based analog hardware [0.0]
乗法重みの集合を近似するアルゴリズムを開発する。
これらの重みは、性能の損失を最小限に抑えながら、元のネットワークの重みを表現することを目的としている。
その結果、オンチップパルス発生器と組み合わせると、私たちの自己補正ニューラルネットワークはアナログ認識アルゴリズムで訓練されたものと同等に機能することがわかった。
論文 参考訳（メタデータ） (2023-09-30T10:47:25Z) - Gradient-descent hardware-aware training and deployment for mixed-signal
Neuromorphic processors [2.812395851874055]
混合信号ニューロモルフィックプロセッサはエッジ推論ワークロードに対して極めて低消費電力な演算を提供する。
我々は、混合信号型ニューロモルフィックプロセッサDYNAP-SE2へのスパイキングニューラルネットワーク(SNN)の訓練と展開のための新しい手法を実証する。
論文 参考訳（メタデータ） (2023-03-14T08:56:54Z) - CorrectNet: Robustness Enhancement of Analog In-Memory Computing for
Neural Networks by Error Suppression and Compensation [4.570841222958966]
本稿では,ニューラルネットワークの変動と雑音下での堅牢性を高める枠組みを提案する。
ニューラルネットワークの予測精度は、変動とノイズの下で1.69%以下から回復可能であることを示す。
論文 参考訳（メタデータ） (2022-11-27T19:13:33Z) - Signal Detection in MIMO Systems with Hardware Imperfections: Message
Passing on Neural Networks [101.59367762974371]
本稿では,Multi-Input-multiple-output (MIMO)通信システムにおける信号検出について検討する。
パイロット信号が限られているディープニューラルネットワーク(DNN)のトレーニングは困難であり、実用化を妨げている。
我々は、ユニタリ近似メッセージパッシング(UAMP)アルゴリズムを利用して、効率的なメッセージパッシングに基づくベイズ信号検出器を設計する。
論文 参考訳（メタデータ） (2022-10-08T04:32:58Z) - Mixed Precision Low-bit Quantization of Neural Network Language Models
for Speech Recognition [67.95996816744251]
長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。
現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。
本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
論文 参考訳（メタデータ） (2021-11-29T12:24:02Z) - Low-bit Quantization of Recurrent Neural Network Language Models Using
Alternating Direction Methods of Multipliers [67.688697838109]
本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。
2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
論文 参考訳（メタデータ） (2021-11-29T09:30:06Z) - SignalNet: A Low Resolution Sinusoid Decomposition and Estimation
Network [79.04274563889548]
本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。
基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。
シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
論文 参考訳（メタデータ） (2021-06-10T04:21:20Z) - Supervised training of spiking neural networks for robust deployment on
mixed-signal neuromorphic processors [2.6949002029513167]
混合信号アナログ/デジタル電子回路はスパイキングニューロンやシナプスを非常に高いエネルギー効率でエミュレートすることができる。
ミスマッチは、同一構成ニューロンとシナプスの効果的なパラメータの違いとして表現される。
ミスマッチに対する堅牢性や,その他の一般的なノイズ源を最大化することで,この課題に対処する,教師付き学習アプローチを提案する。
論文 参考訳（メタデータ） (2021-02-12T09:20:49Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Inference with Artificial Neural Networks on Analog Neuromorphic
Hardware [0.0]
BrainScaleS-2 ASICは混合信号ニューロンとシナプス回路から構成される。
システムは、人工ニューラルネットワークのベクトル行列乗算と累積モードでも動作する。
論文 参考訳（メタデータ） (2020-06-23T17:25:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。