論文の概要: Impact of white Gaussian internal noise on analog echo-state neural networks
- arxiv url: http://arxiv.org/abs/2405.07670v1
- Date: Mon, 13 May 2024 11:59:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-14 13:55:08.812288
- Title: Impact of white Gaussian internal noise on analog echo-state neural networks
- Title（参考訳）: アナログエコー状態ニューラルネットワークにおける白色ガウス内部雑音の影響
- Authors: Nadezhda Semenova,
- Abstract要約: 本稿では、訓練されたエコー状態ネットワーク(ESN)の例を用いて、リカレントネットワークの機能に及ぼすノイズの影響について検討する。
貯水池内の騒音の伝搬は, 主に出力接続行列の統計的特性によって制御されていることを示す。
また,10～20ドル(約10～20万円)の強度を持つノイズでも,有効信号を完全に失うには十分であることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, more and more works have appeared devoted to the analog (hardware) implementation of artificial neural networks, in which neurons and the connection between them are based not on computer calculations, but on physical principles. Such networks offer improved energy efficiency and, in some cases, scalability, but may be susceptible to internal noise. This paper studies the influence of noise on the functioning of recurrent networks using the example of trained echo state networks (ESNs). The most common reservoir connection matrices were chosen as various topologies of ESNs: random uniform and band matrices with different connectivity. White Gaussian noise was chosen as the influence, and according to the way of its introducing it was additive or multiplicative, as well as correlated or uncorrelated. In the paper, we show that the propagation of noise in reservoir is mainly controlled by the statistical properties of the output connection matrix, namely the mean and the mean square. Depending on these values, more correlated or uncorrelated noise accumulates in the network. We also show that there are conditions under which even noise with an intensity of $10^{-20}$ is already enough to completely lose the useful signal. In the article we show which types of noise are most critical for networks with different activation functions (hyperbolic tangent, sigmoid and linear) and if the network is self-closed.
- Abstract（参考訳）: 近年では、ニューロンとそれらの接続がコンピュータ計算ではなく物理原理に基づいているような、人工知能のアナログ(ハードウェア)実装に、ますます多くの研究が注がれている。
このようなネットワークはエネルギー効率を向上し、場合によってはスケーラビリティを提供するが、内部ノイズの影響を受けやすい。
本稿では、訓練されたエコー状態ネットワーク(ESN)の例を用いて、リカレントネットワークの機能に及ぼすノイズの影響について検討する。
最も一般的な貯水池接続行列は、ランダムな均一性と異なる接続性を持つバンド行列の様々な位相として選択された。
ホワイト・ガウスのノイズが影響として選ばれ、その導入の仕方によっては加法的あるいは乗法的であり、相関的あるいは非相関的であった。
本稿では, 貯水池内の騒音の伝搬は, 平均および平均二乗の出力接続行列の統計的特性によって主に制御されていることを示す。
これらの値によって、より相関性のあるノイズや非相関性のあるノイズがネットワークに蓄積される。
また,10〜20ドルという強度のノイズさえも,有用信号を完全に失うのに十分であることを示す。
本稿では,活性化関数の異なるネットワーク(双曲タンジェント,シグモイド,リニア)において,どのノイズが最重要か,また,ネットワークが自己閉鎖されているかを示す。
関連論文リスト
- Impact of white noise in artificial neural networks trained for classification: performance and noise mitigation strategies [0.0]
ニューロンレベルでの加法的および乗法的なガウスホワイトノイズがネットワークの精度に与える影響を考察する。
我々はいくつかのノイズ低減手法を分類タスクの基本設定に適用する。
論文 参考訳（メタデータ） (2024-11-07T01:21:12Z) - Using Convolutional Neural Networks for Denoising and Deblending of Marine Seismic Data [1.6411821807321063]
我々は、深部畳み込みニューラルネットワーク(CNN)を用いて、地震干渉ノイズを除去し、地震データを損なう。
CNNを用いた共通チャネル領域の検証は比較的良好であり,ショット領域と比較して改善されている。
論文 参考訳（メタデータ） (2024-09-13T07:35:30Z) - Non Commutative Convolutional Signal Models in Neural Networks:
Stability to Small Deformations [111.27636893711055]
非可換畳み込みフィルタのフィルタ特性と安定性について検討する。
この結果は,グループニューラルネットワーク,マルチグラフニューラルネットワーク,四元系ニューラルネットワークに直接影響する。
論文 参考訳（メタデータ） (2023-10-05T20:27:22Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Noise impact on recurrent neural network with linear activation function [0.0]
エコー状態ネットワーク(ESN)の例に基づく繰り返しANNにおける内部雑音伝搬の特異性について検討する。
ここでは、人工ニューロンが傾斜係数の異なる線形活性化関数を持つ場合について考察する。
ESN出力信号の分散と信号-雑音比の一般的な見方は1つのニューロンに類似していることが判明した。
論文 参考訳（メタデータ） (2023-03-23T13:43:05Z) - Computational Complexity of Learning Neural Networks: Smoothness and
Degeneracy [52.40331776572531]
ガウス入力分布下での学習深度3$ReLUネットワークはスムーズな解析フレームワークにおいても困難であることを示す。
この結果は, 局所擬似乱数発生器の存在についてよく研究されている。
論文 参考訳（メタデータ） (2023-02-15T02:00:26Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳（メタデータ） (2022-03-27T15:22:19Z) - SignalNet: A Low Resolution Sinusoid Decomposition and Estimation
Network [79.04274563889548]
本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。
基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。
シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
論文 参考訳（メタデータ） (2021-06-10T04:21:20Z) - Understanding and mitigating noise in trained deep neural networks [0.0]
学習された完全連結層における雑音性非線形ニューロンからなるディープニューラルネットワークにおける雑音の伝搬について検討した。
ノイズ蓄積は一般に束縛されており、追加のネットワーク層を追加しても信号の雑音比が限界を超えないことがわかった。
我々は、ノイズ耐性を持つ新しいニューラルネットワークハードウェアを設計できる基準を特定した。
論文 参考訳（メタデータ） (2021-03-12T17:16:26Z) - Asymmetric Heavy Tails and Implicit Bias in Gaussian Noise Injections [73.95786440318369]
我々は、勾配降下(SGD)のダイナミクスに対する注射ノイズの影響であるGNIsのいわゆる暗黙効果に焦点を当てています。
この効果は勾配更新に非対称な重尾ノイズを誘発することを示す。
そして、GNIが暗黙のバイアスを引き起こすことを正式に証明し、これは尾の重みと非対称性のレベルによって異なる。
論文 参考訳（メタデータ） (2021-02-13T21:28:09Z) - Input Similarity from the Neural Network Perspective [7.799648230758492]
ノイズの多いラベルを持つデータセットでトレーニングされたニューラルネットワークは、ほぼ完璧な精度に達する。
サンプル密度を推定するために類似度の測定方法を示す。
また、類似した例をネットワークによっても類似とみなすよう提案する。
論文 参考訳（メタデータ） (2021-02-10T04:57:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。