論文の概要: Internal noise in hardware deep and recurrent neural networks helps with learning
- arxiv url: http://arxiv.org/abs/2504.13778v1
- Date: Fri, 18 Apr 2025 16:26:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-28 14:54:24.742939
- Title: Internal noise in hardware deep and recurrent neural networks helps with learning
- Title（参考訳）: ハードウェアディープ・リカレントニューラルネットワークの内部ノイズは学習に役立つ
- Authors: Ivan Kolesnikov, Nadezhda Semenova,
- Abstract要約: ニューラルネットワークのトレーニング中の内部ノイズは、リカレントおよびディープニューラルネットワークの最終性能に影響を与える。
ほとんどの場合、ディープ状態とエコー状態のネットワークは、トレーニング中の内部ノイズの恩恵を受ける。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, the field of hardware neural networks has been actively developing, where neurons and their connections are not simulated on a computer but are implemented at the physical level, transforming the neural network into a tangible device. In this paper, we investigate how internal noise during the training of neural networks affects the final performance of recurrent and deep neural networks. We consider feedforward networks (FNN) and echo state networks (ESN) as examples. The types of noise examined originated from a real optical implementation of a neural network. However, these types were subsequently generalized to enhance the applicability of our findings on a broader scale. The noise types considered include additive and multiplicative noise, which depend on how noise influences each individual neuron, and correlated and uncorrelated noise, which pertains to the impact of noise on groups of neurons (such as the hidden layer of FNNs or the reservoir of ESNs). In this paper, we demonstrate that, in most cases, both deep and echo state networks benefit from internal noise during training, as it enhances their resilience to noise. Consequently, the testing performance at the same noise intensities is significantly higher for networks trained with noise than for those trained without it. Notably, only multiplicative correlated noise during training has minimal has almost no impact on both deep and recurrent networks.
- Abstract（参考訳）: 近年、ハードウェアニューラルネットワークの分野は活発に発展しており、ニューロンとその接続はコンピュータ上でシミュレートされるのではなく、物理的レベルで実装され、ニューラルネットワークを有形デバイスに変換する。
本稿では,ニューラルネットワークのトレーニングにおける内部ノイズが,繰り返しおよび深部ニューラルネットワークの最終的な性能に与える影響について検討する。
フィードフォワードネットワーク(FNN)とエコー状態ネットワーク(ESN)を例に挙げる。
調査されたノイズの種類は、ニューラルネットワークの実際の光学的実装に由来する。
しかし,これらのタイプは,より広い範囲で研究結果の適用性を高めるために一般化された。
検討されたノイズタイプには、個々のニューロンにノイズがどのように影響するかに依存する加法的および乗法的ノイズと、ニューロン群(FNNの隠蔽層やESNの貯留層など)へのノイズの影響に関連する相関性および非相関性ノイズが含まれる。
本稿では,ほとんどの場合,ディープ状態とエコー状態のネットワークはトレーニング中の内部ノイズの恩恵を受けており,ノイズに対する耐性が向上することを示す。
その結果、同一ノイズ強度での試験性能は、ノイズで訓練されたネットワークでは、ノイズで訓練されたネットワークよりも著しく高い。
特に、トレーニング中の乗法的相関ノイズのみが、ディープ・リカレント・ネットワークとリカレント・ネットワークの両方にほとんど影響を与えない。
関連論文リスト
- Delay Neural Networks (DeNN) for exploiting temporal information in event-based datasets [49.1574468325115]
遅延ニューラルネットワーク(DeNN)は、前方と後方の両方でスパイクの正確な時間的情報を明示的に使用するように設計されている。
特に時間情報が重要であるデータセットでは、優れたパフォーマンスが得られます。
論文 参考訳（メタデータ） (2025-01-10T14:58:15Z) - A spiking photonic neural network of 40.000 neurons, trained with rank-order coding for leveraging sparsity [0.0]
市販部品を用いた4万個のニューロンからなるフォトニックニューラルネットワーク(SNN)を提案する。
このネットワークは22%のニューロンを用いてMNISTで83.5%の精度を達成し、8.5%のニューロン利用で77.5%を達成している。
このデモンストレーションはフォトニック非線形性、励起性、スパース計算を統合し、より効率的な大規模フォトニックニューロモルフィックシステムを実現する。
論文 参考訳（メタデータ） (2024-11-28T15:28:30Z) - Impact of white noise in artificial neural networks trained for classification: performance and noise mitigation strategies [0.0]
ニューロンレベルでの加法的および乗法的なガウスホワイトノイズがネットワークの精度に与える影響を考察する。
我々はいくつかのノイズ低減手法を分類タスクの基本設定に適用する。
論文 参考訳（メタデータ） (2024-11-07T01:21:12Z) - Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。
本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。
本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
論文 参考訳（メタデータ） (2024-04-22T09:40:07Z) - Learning Provably Robust Estimators for Inverse Problems via Jittering [51.467236126126366]
簡単な正規化手法であるジッタリングが,逆問題に対する最悪ケース頑健な推定器の学習に有効かどうかを検討する。
ジッタリングは最悪の場合のロバスト性を大幅に向上させるが,デノイング以上の逆問題に最適であることを示す。
論文 参考訳（メタデータ） (2023-07-24T14:19:36Z) - Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。
緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文 参考訳（メタデータ） (2023-03-07T18:59:38Z) - Stochastic resonance neurons in artificial neural networks [0.0]
アーキテクチャの固有部分として共鳴を用いた新しいタイプのニューラルネットワークを提案する。
このようなニューラルネットワークは、ノイズの影響に対してより堅牢であることを示す。
論文 参考訳（メタデータ） (2022-05-06T18:42:36Z) - The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。
これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。
このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。
我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
論文 参考訳（メタデータ） (2022-02-27T23:12:43Z) - Noise-Robust Deep Spiking Neural Networks with Temporal Information [22.278159848657754]
スパイクニューラルネットワーク(SNN)は、時間情報を持つエネルギー効率の良いニューラルネットワークとして登場した。
SNNはニューロモルフィックデバイスに優れた効率を示してきましたが、デバイスはノイズの影響を受けやすく、現実世界のアプリケーションに適用されることを妨げます。
本稿では,ニューラルコーディング法を用いた深部SNNに対するノイズの影響を検討し,時間情報を用いた雑音燃焼型深部SNNを提案する。
論文 参考訳（メタデータ） (2021-04-22T16:40:33Z) - Understanding and mitigating noise in trained deep neural networks [0.0]
学習された完全連結層における雑音性非線形ニューロンからなるディープニューラルネットワークにおける雑音の伝搬について検討した。
ノイズ蓄積は一般に束縛されており、追加のネットワーク層を追加しても信号の雑音比が限界を超えないことがわかった。
我々は、ノイズ耐性を持つ新しいニューラルネットワークハードウェアを設計できる基準を特定した。
論文 参考訳（メタデータ） (2021-03-12T17:16:26Z) - Information contraction in noisy binary neural networks and its
implications [11.742803725197506]
我々は、各ニューロンが不正な出力を発生させる確率がゼロでない、ノイズの多いバイナリニューラルネットワークを考察する。
私たちの重要な発見は、ノイズの多いニューラルネットワークで必要なニューロンの数が少ないことです。
本稿では,情報理論のレンズを通して,ノイズの多い情報処理システムに対する新たな理解を提供する。
論文 参考訳（メタデータ） (2021-01-28T00:01:45Z) - Artificial Neural Variability for Deep Learning: On Overfitting, Noise
Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。
ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。
過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文 参考訳（メタデータ） (2020-11-12T06:06:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。