論文の概要: Noise impact on recurrent neural network with linear activation function
- arxiv url: http://arxiv.org/abs/2303.13262v1
- Date: Thu, 23 Mar 2023 13:43:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 14:19:15.701813
- Title: Noise impact on recurrent neural network with linear activation function
- Title（参考訳）: リニアアクティベーション機能を有するリカレントニューラルネットワークにおけるノイズの影響
- Authors: V.M. Moskvitin, N. Semenova
- Abstract要約: エコー状態ネットワーク(ESN)の例に基づく繰り返しANNにおける内部雑音伝搬の特異性について検討する。
ここでは、人工ニューロンが傾斜係数の異なる線形活性化関数を持つ場合について考察する。
ESN出力信号の分散と信号-雑音比の一般的な見方は1つのニューロンに類似していることが判明した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, more and more researchers in the field of neural networks
are interested in creating hardware implementations where neurons and the
connection between them are realized physically. The physical implementation of
ANN fundamentally changes the features of noise influence. In the case hardware
ANNs, there are many internal sources of noise with different properties. The
purpose of this paper is to study the peculiarities of internal noise
propagation in recurrent ANN on the example of echo state network (ESN), to
reveal ways to suppress such noises and to justify the stability of networks to
some types of noises.
In this paper we analyse ESN in presence of uncorrelated additive and
multiplicative white Gaussian noise. Here we consider the case when artificial
neurons have linear activation function with different slope coefficients.
Starting from studying only one noisy neuron we complicate the problem by
considering how the input signal and the memory property affect the
accumulation of noise in ESN. In addition, we consider the influence of the
main types of coupling matrices on the accumulation of noise. So, as such
matrices, we take a uniform matrix and a diagonal-like matrices with different
coefficients called "blurring" coefficient.
We have found that the general view of variance and signal-to-noise ratio of
ESN output signal is similar to only one neuron. The noise is less accumulated
in ESN with diagonal reservoir connection matrix with large "blurring"
coefficient. Especially it concerns uncorrelated multiplicative noise.
- Abstract（参考訳）: 近年、ニューラルネットワークの分野では、ニューロンとそれらの接続が物理的に実現されるハードウェアの実装に興味を持つ研究者がますます増えている。
ANNの物理的実装は、ノイズの影響を根本的に変える。
ハードウェア ANN の場合、様々な特性を持つ内部ノイズ源が多数存在する。
本研究の目的は,エコー状態ネットワーク(esn)の例に基づく再帰的annの内部雑音伝搬の特異性について検討し,これらのノイズを抑制する方法を明らかにし,ある種の雑音に対するネットワークの安定性を正当化することである。
本稿では,無相関な加法的および乗法的白色ガウス雑音の存在下でのESNの分析を行う。
本稿では,傾斜係数が異なる線形活性化機能を有する人工ニューロンについて考察する。
1つのノイズニューロンのみを研究することから、入力信号とメモリ特性がESN内のノイズの蓄積にどのように影響するかを考えることで、問題を複雑化する。
また,結合行列の主タイプが雑音の蓄積に与える影響についても検討した。
したがって、そのような行列として、一様行列と「ブルーリング」係数と呼ばれる係数の異なる対角行列を取る。
ESN出力信号の分散と信号-雑音比の一般的な見方は1つのニューロンに類似していることが判明した。
ノイズは、大きな"ブルーリング"係数を持つ対角的な貯水池接続行列を持つESNでは蓄積されない。
特に非相関乗法ノイズが問題となる。
関連論文リスト
- Impact of white noise in artificial neural networks trained for classification: performance and noise mitigation strategies [0.0]
ニューロンレベルでの加法的および乗法的なガウスホワイトノイズがネットワークの精度に与える影響を考察する。
我々はいくつかのノイズ低減手法を分類タスクの基本設定に適用する。
論文 参考訳（メタデータ） (2024-11-07T01:21:12Z) - Impact of white Gaussian internal noise on analog echo-state neural networks [0.0]
本稿では、訓練されたエコー状態ネットワーク(ESN)の例を用いて、リカレントネットワークの機能に及ぼすノイズの影響について検討する。
貯水池内の騒音の伝搬は, 主に出力接続行列の統計的特性によって制御されていることを示す。
また,10～20ドル(約10～20万円)の強度を持つノイズでも,有効信号を完全に失うには十分であることを示す。
論文 参考訳（メタデータ） (2024-05-13T11:59:20Z) - Non Commutative Convolutional Signal Models in Neural Networks:
Stability to Small Deformations [111.27636893711055]
非可換畳み込みフィルタのフィルタ特性と安定性について検討する。
この結果は,グループニューラルネットワーク,マルチグラフニューラルネットワーク,四元系ニューラルネットワークに直接影響する。
論文 参考訳（メタデータ） (2023-10-05T20:27:22Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳（メタデータ） (2023-02-27T18:52:38Z) - Effects of noise on the overparametrization of quantum neural networks [0.0]
ノイズがQFIMの既定ゼロ固有値を「オン」できることを示す。
その結果,ハードウェアノイズが存在する場合,現在のQNN容量測定値が未定義であることが示唆された。
論文 参考訳（メタデータ） (2023-02-10T05:33:52Z) - Physics-informed Neural Networks with Unknown Measurement Noise [0.6906005491572401]
非ガウス雑音の場合、標準のPINNフレームワークが故障することを示す。
本稿では,エネルギーベースモデル(EBM)を共同で学習し,適切な雑音分布を学習することを提案する。
論文 参考訳（メタデータ） (2022-11-28T16:17:47Z) - Cross-Frequency Coupling Increases Memory Capacity in Oscillatory Neural
Networks [69.42260428921436]
クロス周波数カップリング(CFC)は、ニューロンの集団間での情報統合と関連している。
我々は,海馬および大脳皮質における観測された$theta - gamma$振動回路の計算的役割を予測するCFCのモデルを構築した。
CFCの存在は, 可塑性シナプスによって結合された神経細胞のメモリ容量を増加させることを示す。
論文 参考訳（メタデータ） (2022-04-05T17:13:36Z) - Learning Noise via Dynamical Decoupling of Entangled Qubits [49.38020717064383]
絡み合った量子系のノイズは、複数の自由度を含む多体効果のために特徴付けるのが困難である。
2キュービットゲートで発生する雑音を特徴付けるマルチキュービットダイナミックデカップリングシーケンスを開発し,適用する。
論文 参考訳（メタデータ） (2022-01-26T20:22:38Z) - Understanding and mitigating noise in trained deep neural networks [0.0]
学習された完全連結層における雑音性非線形ニューロンからなるディープニューラルネットワークにおける雑音の伝搬について検討した。
ノイズ蓄積は一般に束縛されており、追加のネットワーク層を追加しても信号の雑音比が限界を超えないことがわかった。
我々は、ノイズ耐性を持つ新しいニューラルネットワークハードウェアを設計できる基準を特定した。
論文 参考訳（メタデータ） (2021-03-12T17:16:26Z) - Asymmetric Heavy Tails and Implicit Bias in Gaussian Noise Injections [73.95786440318369]
我々は、勾配降下(SGD)のダイナミクスに対する注射ノイズの影響であるGNIsのいわゆる暗黙効果に焦点を当てています。
この効果は勾配更新に非対称な重尾ノイズを誘発することを示す。
そして、GNIが暗黙のバイアスを引き起こすことを正式に証明し、これは尾の重みと非対称性のレベルによって異なる。
論文 参考訳（メタデータ） (2021-02-13T21:28:09Z) - Deep Networks for Direction-of-Arrival Estimation in Low SNR [89.45026632977456]
我々は,真の配列多様体行列の変異チャネルデータから学習した畳み込みニューラルネットワーク(CNN)を導入する。
我々は低SNR体制でCNNを訓練し、すべてのSNRでDoAを予測する。
私たちの堅牢なソリューションは、ワイヤレスアレイセンサーから音響マイクロフォンやソナーまで、いくつかの分野に適用できます。
論文 参考訳（メタデータ） (2020-11-17T12:52:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。