論文の概要: Understanding and mitigating noise in trained deep neural networks
- arxiv url: http://arxiv.org/abs/2103.07413v3
- Date: Thu, 16 Dec 2021 15:02:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-08 08:31:01.388348
- Title: Understanding and mitigating noise in trained deep neural networks
- Title（参考訳）: 訓練された深層ニューラルネットワークにおける雑音の理解と緩和
- Authors: Nadezhda Semenova, Laurent Larger, and Daniel Brunner
- Abstract要約: 学習された完全連結層における雑音性非線形ニューロンからなるディープニューラルネットワークにおける雑音の伝搬について検討した。
ノイズ蓄積は一般に束縛されており、追加のネットワーク層を追加しても信号の雑音比が限界を超えないことがわかった。
我々は、ノイズ耐性を持つ新しいニューラルネットワークハードウェアを設計できる基準を特定した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks unlocked a vast range of new applications by solving
tasks of which many were previously deemed as reserved to higher human
intelligence. One of the developments enabling this success was a boost in
computing power provided by special purpose hardware, such as graphic or tensor
processing units. However, these do not leverage fundamental features of neural
networks like parallelism and analog state variables. Instead, they emulate
neural networks relying on binary computing, which results in unsustainable
energy consumption and comparatively low speed. Fully parallel and analogue
hardware promises to overcome these challenges, yet the impact of analogue
neuron noise and its propagation, i.e. accumulation, threatens rendering such
approaches inept. Here, we determine for the first time the propagation of
noise in deep neural networks comprising noisy nonlinear neurons in trained
fully connected layers. We study additive and multiplicative as well as
correlated and uncorrelated noise, and develop analytical methods that predict
the noise level in any layer of symmetric deep neural networks or deep neural
networks trained with back propagation. We find that noise accumulation is
generally bound, and adding additional network layers does not worsen the
signal to noise ratio beyond a limit. Most importantly, noise accumulation can
be suppressed entirely when neuron activation functions have a slope smaller
than unity. We therefore developed the framework for noise in fully connected
deep neural networks implemented in analog systems, and identify criteria
allowing engineers to design noise-resilient novel neural network hardware.
- Abstract（参考訳）: ディープ・ニューラル・ネットワークは、かつては高い人間の知能に割り当てられていたタスクを解くことで、幅広い新しい応用を解き放った。
この成功を可能にする開発の一つは、グラフィックやテンソル処理ユニットなどの専用ハードウェアが提供する計算能力の強化であった。
しかし、これらは並列性やアナログ状態変数のようなニューラルネットワークの基本機能を利用しない。
代わりに、バイナリコンピューティングに依存するニューラルネットワークをエミュレートし、持続不可能なエネルギー消費と比較的低い速度をもたらす。
完全な並列およびアナログハードウェアはこれらの課題を克服することを約束するが、アナログニューロンノイズとその伝播、すなわち蓄積の影響は、そのようなアプローチを不適意にレンダリングすることを脅かす。
そこで本研究では,完全連結層内の雑音非線形ニューロンからなる深層ニューラルネットワークにおける雑音伝搬を初めて決定する。
本研究は, 付加的, 乗算的, 相関的および非相関的なノイズについて検討し, バック伝搬を訓練した対称ディープニューラルネットワークやディープニューラルネットワークの任意の層におけるノイズレベルを予測する解析手法を開発した。
ノイズ蓄積は一般に束縛されており、追加のネットワーク層を追加しても信号の雑音比が限界を超えないことがわかった。
最も重要なことは、ニューロン活性化関数が単体よりも傾斜が小さい場合、ノイズの蓄積を完全に抑制することができることである。
そこで我々は,アナログシステムで実装された完全接続型深層ニューラルネットワークにおけるノイズの枠組みを開発し,ノイズに耐性のあるニューラルネットハードウェアを設計可能な基準を特定した。
関連論文リスト
- Impact of white noise in artificial neural networks trained for classification: performance and noise mitigation strategies [0.0]
ニューロンレベルでの加法的および乗法的なガウスホワイトノイズがネットワークの精度に与える影響を考察する。
我々はいくつかのノイズ低減手法を分類タスクの基本設定に適用する。
論文 参考訳（メタデータ） (2024-11-07T01:21:12Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。
緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文 参考訳（メタデータ） (2023-03-07T18:59:38Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Stochastic resonance neurons in artificial neural networks [0.0]
アーキテクチャの固有部分として共鳴を用いた新しいタイプのニューラルネットワークを提案する。
このようなニューラルネットワークは、ノイズの影響に対してより堅牢であることを示す。
論文 参考訳（メタデータ） (2022-05-06T18:42:36Z) - Noise mitigation strategies in physical feedforward neural networks [0.0]
物理ニューラルネットワークは、次世代人工知能ハードウェアの候補候補として期待されている。
我々は、接続トポロジ、ゴーストニューロン、およびノイズ緩和戦略としてプールを導入する。
本研究は,MNIST手書き桁を分類する完全トレーニングニューラルネットワークに基づく組み合わせ手法の有効性を実証する。
論文 参考訳（メタデータ） (2022-04-20T13:51:46Z) - Artificial Neural Networks generated by Low Discrepancy Sequences [59.51653996175648]
我々は、高密度ネットワークグラフ上のランダムウォーキングとして、人工ニューラルネットワークを生成する。
このようなネットワークはスクラッチからスパースを訓練することができ、高密度ネットワークをトレーニングし、その後圧縮する高価な手順を避けることができる。
我々は,低差分シーケンスで生成された人工ニューラルネットワークが,より低い計算複雑性で,密度の高いニューラルネットワークの到達範囲内で精度を達成できることを実証した。
論文 参考訳（メタデータ） (2021-03-05T08:45:43Z) - Artificial Neural Variability for Deep Learning: On Overfitting, Noise
Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。
ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。
過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文 参考訳（メタデータ） (2020-11-12T06:06:33Z) - Boolean learning under noise-perturbations in hardware neural networks [0.0]
ノイズは収束中にシステムの経路を強く変更し,最終的な読み出し重量行列を驚くほど完全にデコレーションすることがわかった。
これは、相互作用するプレイヤーとしてのアーキテクチャ、ノイズ、学習アルゴリズムを理解することの重要性を強調している。
論文 参考訳（メタデータ） (2020-03-27T10:36:03Z) - A Generalized Neural Tangent Kernel Analysis for Two-layer Neural
Networks [87.23360438947114]
重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。
これは、トレーニング損失が一定の精度まで線形に収束することを意味する。
また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
論文 参考訳（メタデータ） (2020-02-10T18:56:15Z) - Noisy Machines: Understanding Noisy Neural Networks and Enhancing
Robustness to Analog Hardware Errors Using Distillation [12.30062870698165]
ノイズの多いニューラルネットワークが、入力と出力の相互情報を失うことによって、学習能力を減らしたことを示す。
そこで本研究では,学習中に知識蒸留とノイズ注入を併用して,より高ノイズロバストなネットワークを実現することを提案する。
提案手法は,従来の最良試行の2倍の耐雑音性を有するモデルを実現する。
論文 参考訳（メタデータ） (2020-01-14T18:59:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。