論文の概要: Paradoxical noise preference in RNNs

• arxiv url: http://arxiv.org/abs/2601.04539v1
• Date: Thu, 08 Jan 2026 03:11:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 17:01:53.008937
• Title: Paradoxical noise preference in RNNs
• Title（参考訳）: RNNにおけるパラドックス雑音の選好
• Authors: Noah Eckstein, Manoj Srinivasan,
• Abstract要約: 生物学的ニューラルネットワークをモデル化するために使用されるリカレントニューラルネットワーク(RNN)では、通常、トレーニング中にノイズを導入し、生物学的多様性をエミュレートし、学習を規則化する。 連続時間リカレントニューラルネットワーク(CTRNN)は、非ゼロノイズレベル、特に、トレーニング中に使用されるものと同じレベルにおいて、よく機能する。 このノイズ嗜好は、ニューラルアクティベーション関数内でノイズが注入されたときに生じ、アクティベーション関数の外でノイズが注入された訓練されたネットワークは、ゼロノイズで最もよく機能する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recurrent neural networks (RNNs) used to model biological neural networks, noise is typically introduced during training to emulate biological variability and regularize learning. The expectation is that removing the noise at test time should preserve or improve performance. Contrary to this intuition, we find that continuous-time recurrent neural networks (CTRNNs) often perform best at a nonzero noise level, specifically, the same level used during training. This noise preference typically arises when noise is injected inside the neural activation function; networks trained with noise injected outside the activation function perform best with zero noise. Through analyses of simple function approximation, maze navigation, and single neuron regulator tasks, we show that the phenomenon stems from noise-induced shifts of fixed points (stationary distributions) in the underlying stochastic dynamics of the RNNs. These fixed point shifts are noise-level dependent and bias the network outputs when the noise is removed, degrading performance. Analytical and numerical results show that the bias arises when neural states operate near activation function nonlinearities, where noise is asymmetrically attenuated, and that performance optimization incentivizes operation near these nonlinearities. Thus, networks can overfit to the stochastic training environment itself rather than just to the input-output data. The phenomenon is distinct from stochastic resonance, wherein nonzero noise enhances signal processing. Our findings reveal that training noise can become an integral part of the computation learned by recurrent networks, with implications for understanding neural population dynamics and for the design of robust artificial RNNs.
• Abstract（参考訳）: 生物学的ニューラルネットワークをモデル化するために使用されるリカレントニューラルネットワーク(RNN)では、通常、トレーニング中にノイズを導入し、生物学的多様性をエミュレートし、学習を規則化する。 テスト時にノイズを取り除くことは、パフォーマンスを維持または改善するべきだと期待されている。 この直感とは対照的に、連続時間リカレントニューラルネットワーク(CTRNN)は、非ゼロノイズレベル、特に、トレーニング中に使用されるのと同じレベルにおいて、よく機能する。 ニューラルアクティベーション関数内でノイズが注入されると、このノイズの選好が生じるのが典型的であり、アクティベーション関数の外でノイズが注入された訓練されたネットワークは、ノイズがゼロである場合に最もよく機能する。 簡単な関数近似、迷路ナビゲーション、単一ニューロン制御タスクの解析を通して、この現象はRNNの基盤となる確率力学における定点(定常分布)の雑音誘起シフトに由来することを示す。 これらの定点シフトはノイズレベルに依存しており、ノイズが除去されたときにネットワークが出力するバイアスを発生させ、性能を低下させる。 解析的および数値的な結果は、雑音が非対称に減衰している活性化関数の非線形性の近くで神経状態が作動するとバイアスが発生し、性能最適化がこれらの非線形性の近くでの動作を動機付けることを示している。 したがって、ネットワークは入力出力データだけでなく、確率的トレーニング環境自体に過度に適合することができる。 この現象は、非ゼロノイズが信号処理を強化する確率共鳴とは異なる。 この結果から, ニューラルネットワークが学習する計算において, トレーニングノイズが重要な要素となり, 神経集団動態の理解や, 堅牢な人工RNNの設計に寄与することが判明した。

関連論文リスト

• Internal noise in hardware deep and recurrent neural networks helps with learning [0.0]
  ニューラルネットワークのトレーニング中の内部ノイズは、リカレントおよびディープニューラルネットワークの最終性能に影響を与える。 ほとんどの場合、ディープ状態とエコー状態のネットワークは、トレーニング中の内部ノイズの恩恵を受ける。
  論文  参考訳（メタデータ） (2025-04-18T16:26:46Z)
• Learning Provably Robust Estimators for Inverse Problems via Jittering [51.467236126126366]
  簡単な正規化手法であるジッタリングが,逆問題に対する最悪ケース頑健な推定器の学習に有効かどうかを検討する。 ジッタリングは最悪の場合のロバスト性を大幅に向上させるが,デノイング以上の逆問題に最適であることを示す。
  論文  参考訳（メタデータ） (2023-07-24T14:19:36Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Robust Learning of Recurrent Neural Networks in Presence of Exogenous Noise [22.690064709532873]
  入力雑音を受けるRNNモデルに対するトラクタブルロバストネス解析を提案する。 線形化手法を用いてロバストネス測度を効率的に推定することができる。 提案手法はリカレントニューラルネットワークのロバスト性を大幅に改善する。
  論文  参考訳（メタデータ） (2021-05-03T16:45:05Z)
• Understanding and mitigating noise in trained deep neural networks [0.0]
  学習された完全連結層における雑音性非線形ニューロンからなるディープニューラルネットワークにおける雑音の伝搬について検討した。 ノイズ蓄積は一般に束縛されており、追加のネットワーク層を追加しても信号の雑音比が限界を超えないことがわかった。 我々は、ノイズ耐性を持つ新しいニューラルネットワークハードウェアを設計できる基準を特定した。
  論文  参考訳（メタデータ） (2021-03-12T17:16:26Z)
• Asymmetric Heavy Tails and Implicit Bias in Gaussian Noise Injections [73.95786440318369]
  我々は、勾配降下(SGD)のダイナミクスに対する注射ノイズの影響であるGNIsのいわゆる暗黙効果に焦点を当てています。 この効果は勾配更新に非対称な重尾ノイズを誘発することを示す。 そして、GNIが暗黙のバイアスを引き起こすことを正式に証明し、これは尾の重みと非対称性のレベルによって異なる。
  論文  参考訳（メタデータ） (2021-02-13T21:28:09Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Multi-Tones' Phase Coding (MTPC) of Interaural Time Difference by Spiking Neural Network [68.43026108936029]
  雑音の多い実環境下での正確な音像定位のための純粋スパイクニューラルネットワーク(SNN)に基づく計算モデルを提案する。 このアルゴリズムを,マイクロホンアレイを用いたリアルタイムロボットシステムに実装する。 実験の結果, 平均誤差方位は13度であり, 音源定位に対する他の生物学的に妥当なニューロモルフィックアプローチの精度を上回っていることがわかった。
  論文  参考訳（メタデータ） (2020-07-07T08:22:56Z)
• Robust Processing-In-Memory Neural Networks via Noise-Aware Normalization [26.270754571140735]
  PIM加速器は、しばしば物理的成分の固有のノイズに悩まされる。 雑音設定に対してロバストなニューラルネットワーク性能を実現するためのノイズ非依存手法を提案する。
  論文  参考訳（メタデータ） (2020-07-07T06:51:28Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。