論文の概要: Noisy Machines: Understanding Noisy Neural Networks and Enhancing
Robustness to Analog Hardware Errors Using Distillation
- arxiv url: http://arxiv.org/abs/2001.04974v1
- Date: Tue, 14 Jan 2020 18:59:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-11 11:48:08.653386
- Title: Noisy Machines: Understanding Noisy Neural Networks and Enhancing
Robustness to Analog Hardware Errors Using Distillation
- Title（参考訳）: ノイズマシン: ノイズのあるニューラルネットワークを理解し、蒸留によるハードウェアエラーのアナログ化
- Authors: Chuteng Zhou, Prad Kadambi, Matthew Mattina, Paul N. Whatmough
- Abstract要約: ノイズの多いニューラルネットワークが、入力と出力の相互情報を失うことによって、学習能力を減らしたことを示す。
そこで本研究では,学習中に知識蒸留とノイズ注入を併用して,より高ノイズロバストなネットワークを実現することを提案する。
提案手法は,従来の最良試行の2倍の耐雑音性を有するモデルを実現する。
- 参考スコア（独自算出の注目度）: 12.30062870698165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The success of deep learning has brought forth a wave of interest in computer
hardware design to better meet the high demands of neural network inference. In
particular, analog computing hardware has been heavily motivated specifically
for accelerating neural networks, based on either electronic, optical or
photonic devices, which may well achieve lower power consumption than
conventional digital electronics. However, these proposed analog accelerators
suffer from the intrinsic noise generated by their physical components, which
makes it challenging to achieve high accuracy on deep neural networks. Hence,
for successful deployment on analog accelerators, it is essential to be able to
train deep neural networks to be robust to random continuous noise in the
network weights, which is a somewhat new challenge in machine learning. In this
paper, we advance the understanding of noisy neural networks. We outline how a
noisy neural network has reduced learning capacity as a result of loss of
mutual information between its input and output. To combat this, we propose
using knowledge distillation combined with noise injection during training to
achieve more noise robust networks, which is demonstrated experimentally across
different networks and datasets, including ImageNet. Our method achieves models
with as much as two times greater noise tolerance compared with the previous
best attempts, which is a significant step towards making analog hardware
practical for deep learning.
- Abstract（参考訳）: ディープラーニングの成功は、ニューラルネットワーク推論の高要求を満たすために、コンピュータハードウェア設計への関心の波となった。
特にアナログコンピューティングハードウェアは、電子デバイス、光学デバイス、フォトニックデバイスのいずれかをベースにしたニューラルネットワークの高速化に特に動機付けられており、従来のデジタル電子回路よりも低い消費電力を実現している。
しかし、これらのアナログ加速器は、物理成分が生み出す固有ノイズに悩まされており、ディープニューラルネットワークの高精度化が困難である。
したがって、アナログアクセラレーターへのデプロイメントを成功させるためには、ニューラルネットワークをトレーニングしてネットワーク重みのランダムな連続ノイズに対して堅牢にすることができることが不可欠である。
本稿では,雑音を伴うニューラルネットワークの理解を深める。
本稿では,入力と出力の相互情報を失う結果,ノイズの多いニューラルネットワークが学習能力を削減した方法について概説する。
そこで本研究では,訓練中に知識蒸留とノイズ注入を組み合わせることで,よりノイズの多いネットワークを実現することを提案し,ImageNetを含むさまざまなネットワークやデータセットで実験的に実証する。
提案手法は,従来と比べ最大2倍の耐雑音性を持つモデルを実現し,アナログハードウェアを深層学習に活用するための重要なステップである。
関連論文リスト
- Impact of white noise in artificial neural networks trained for classification: performance and noise mitigation strategies [0.0]
ニューロンレベルでの加法的および乗法的なガウスホワイトノイズがネットワークの精度に与える影響を考察する。
我々はいくつかのノイズ低減手法を分類タスクの基本設定に適用する。
論文 参考訳（メタデータ） (2024-11-07T01:21:12Z) - Stochastic resonance neurons in artificial neural networks [0.0]
アーキテクチャの固有部分として共鳴を用いた新しいタイプのニューラルネットワークを提案する。
このようなニューラルネットワークは、ノイズの影響に対してより堅牢であることを示す。
論文 参考訳（メタデータ） (2022-05-06T18:42:36Z) - Building Compact and Robust Deep Neural Networks with Toeplitz Matrices [93.05076144491146]
この論文は、コンパクトで、訓練が容易で、信頼性があり、敵の例に対して堅牢なニューラルネットワークを訓練する問題に焦点を当てている。
Toeplitzファミリーの構造化行列の特性を利用して、コンパクトでセキュアなニューラルネットワークを構築する。
論文 参考訳（メタデータ） (2021-09-02T13:58:12Z) - SignalNet: A Low Resolution Sinusoid Decomposition and Estimation
Network [79.04274563889548]
本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。
基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。
シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
論文 参考訳（メタデータ） (2021-06-10T04:21:20Z) - Understanding and mitigating noise in trained deep neural networks [0.0]
学習された完全連結層における雑音性非線形ニューロンからなるディープニューラルネットワークにおける雑音の伝搬について検討した。
ノイズ蓄積は一般に束縛されており、追加のネットワーク層を追加しても信号の雑音比が限界を超えないことがわかった。
我々は、ノイズ耐性を持つ新しいニューラルネットワークハードウェアを設計できる基準を特定した。
論文 参考訳（メタデータ） (2021-03-12T17:16:26Z) - Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。
これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。
以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
論文 参考訳（メタデータ） (2021-02-22T17:33:51Z) - Reservoir Memory Machines as Neural Computers [70.5993855765376]
微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。
我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
論文 参考訳（メタデータ） (2020-09-14T12:01:30Z) - Robust Processing-In-Memory Neural Networks via Noise-Aware
Normalization [26.270754571140735]
PIM加速器は、しばしば物理的成分の固有のノイズに悩まされる。
雑音設定に対してロバストなニューラルネットワーク性能を実現するためのノイズ非依存手法を提案する。
論文 参考訳（メタデータ） (2020-07-07T06:51:28Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Spiking Neural Networks Hardware Implementations and Challenges: a
Survey [53.429871539789445]
スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。
スパイキングニューラルネットワークのハードウェア実装の現状について述べる。
本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
論文 参考訳（メタデータ） (2020-05-04T13:24:00Z) - Boolean learning under noise-perturbations in hardware neural networks [0.0]
ノイズは収束中にシステムの経路を強く変更し,最終的な読み出し重量行列を驚くほど完全にデコレーションすることがわかった。
これは、相互作用するプレイヤーとしてのアーキテクチャ、ノイズ、学習アルゴリズムを理解することの重要性を強調している。
論文 参考訳（メタデータ） (2020-03-27T10:36:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。