論文の概要: A theory of noisy linear recurrent neural network learning dynamics

• arxiv url: http://arxiv.org/abs/2610.35785v1
• Date: Mon, 26 Oct 2026 17:25:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.127368
• Title: A theory of noisy linear recurrent neural network learning dynamics
• Title（参考訳）: 雑音線形リカレントニューラルネットワーク学習ダイナミクスの理論
• Abstract要約: ニューラルネット(RNN)における固有ノイズは表現学習を著しく変調することができると我々は主張する。 ノイズは、読み出し、読み出し、繰り返し重みが整列する方向を強く調節する。 これらの結果は、RNN表現学習における最近の分析研究を拡張し、ノイズが表現の基本的な決定要因として機能することを示す。
• 参考スコア（独自算出の注目度）: 6.230751621285321
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Biological neural networks are noisy: their dynamics involve difficult-to-predict fluctuations which are likely due not just to chaos, but also to a variety of low-level biophysical processes. Despite the omnipresence of intrinsic noise, its theoretical consequences are incompletely understood, especially in the context of learning. For example, does noise meaningfully shape representation learning, or is it better viewed as a nuisance factor whose presence or absence changes little about what solution is found and when? Here, we argue that intrinsic noise can significantly modulate representation learning in recurrent neural networks (RNNs), since it can strongly break solution-space degeneracies and in some cases control whether a non-degenerate solution exists at all. We show that this is true for an analytically tractable model of noisy RNN learning with a linear activation function and white noise inputs. We find that, in the so-called rich regime (where weights are initialized with small values), noise strongly modulates the directions in which the read-in, readout, and recurrent weights align. Moreover, we find that noise produces a kind of phase transition: for sufficiently high noise, a non-degenerate solution is not even optimal if parameter scales are limited (e.g., via regularization). These results extend recent analytic work on RNN representation learning and show that noise can act as a fundamental determinant of representations.
• Abstract（参考訳）: 生物学的ニューラルネットワークは騒々しく、その力学はカオスだけでなく、様々な低レベルの生体物理過程によって起こるであろう、予測し難い変動を伴う。 内在性雑音の完全解釈にもかかわらず、その理論的結果は、特に学習の文脈において不完全に理解されている。 例えば、ノイズは表現学習を有意義に形作っているのか、あるいは、どのソリューションがいつ発見されるか、その存在や欠如がほとんど変化しないニュアンス要因と見なされるのがよいのか? 本稿では、リカレントニューラルネットワーク(RNN)における表現学習は、解空間の退化を強く破壊し、場合によっては非退化解が存在するかどうかを制御できるため、本質的なノイズは、表現学習を著しく変調することができると論じる。 線形アクティベーション関数と白色雑音入力を併用した雑音RNN学習モデルにおいて,これは解析的に抽出可能なモデルに当てはまることを示す。 いわゆるリッチレジーム(重みが小さな値で初期化される)では、ノイズは読み出し、読み出し、繰り返しの重みが整列する方向を強く調節する。 さらに、ノイズはある種の相転移を生じさせる:十分な高雑音に対して、パラメータスケールが制限されている場合、非退化解は最適ではない(例えば、正規化による)。 これらの結果は、RNN表現学習における最近の分析研究を拡張し、ノイズが表現の基本的な決定要因として機能することを示す。

関連論文リスト

• Paradoxical noise preference in RNNs [0.0]
  生物学的ニューラルネットワークをモデル化するために使用されるリカレントニューラルネットワーク(RNN)では、通常、トレーニング中にノイズを導入し、生物学的多様性をエミュレートし、学習を規則化する。 連続時間リカレントニューラルネットワーク(CTRNN)は、非ゼロノイズレベル、特に、トレーニング中に使用されるものと同じレベルにおいて、よく機能する。 このノイズ嗜好は、ニューラルアクティベーション関数内でノイズが注入されたときに生じ、アクティベーション関数の外でノイズが注入された訓練されたネットワークは、ゼロノイズで最もよく機能する。
  論文  参考訳（メタデータ） (2026-01-08T03:11:51Z)
• Neural networks for neurocomputing circuits: a computational study of tolerance to noise and activation function non-uniformity when machine learning materials properties [0.0]
  NNアーキテクチャとトレーニング体制の機能における回路ノイズとNAFの不均一性の影響について検討する。 NNは一般にノイズ耐性が低く、モデル精度はノイズレベルで急速に低下している。 実際に実現されたNAFの形状を用いてNNを再訓練することにより、活性化関数の不均一性の効果を緩和できることを実証した。
  論文  参考訳（メタデータ） (2025-10-13T08:27:08Z)
• Mixture of Noise for Pre-Trained Model-Based Class-Incremental Learning [59.635264288605946]
  クラスインクリメンタルラーニング(CIL)は,旧来の知識を維持しつつ,新たなカテゴリを継続的に学習することを目的としている。 バックボーンに軽量な微調整を適用する既存のアプローチは、依然としてドリフトを誘発する。 バックボーン一般化の劣化を軽減し,新しいタスクを適応させることを目的として,Mixture of Noise (Min)を提案する。
  論文  参考訳（メタデータ） (2025-09-20T16:07:20Z)
• NoisyNN: Exploring the Impact of Information Entropy Change in Learning Systems [15.068228411480957]
  本研究では,特定の条件下での各種深部モデルの性能向上効果を示す。 ノイズがタスクの複雑さを軽減するのに役立つかどうかに基づいて、ノイズを正ノイズ(PN)と有害ノイズ(HN)の2つのタイプに分類する。
  論文  参考訳（メタデータ） (2023-09-19T14:04:04Z)
• Learning Provably Robust Estimators for Inverse Problems via Jittering [51.467236126126366]
  簡単な正規化手法であるジッタリングが,逆問題に対する最悪ケース頑健な推定器の学習に有効かどうかを検討する。 ジッタリングは最悪の場合のロバスト性を大幅に向上させるが,デノイング以上の逆問題に最適であることを示す。
  論文  参考訳（メタデータ） (2023-07-24T14:19:36Z)
• Deep Active Learning with Noise Stability [24.54974925491753]
  ラベルのないデータの不確実性推定は、アクティブな学習に不可欠である。 本稿では,雑音の安定性を利用して不確実性を推定する新しいアルゴリズムを提案する。 本手法はコンピュータビジョン,自然言語処理,構造データ解析など,様々なタスクに適用可能である。
  論文  参考訳（メタデータ） (2022-05-26T13:21:01Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• Robust Learning of Recurrent Neural Networks in Presence of Exogenous Noise [22.690064709532873]
  入力雑音を受けるRNNモデルに対するトラクタブルロバストネス解析を提案する。 線形化手法を用いてロバストネス測度を効率的に推定することができる。 提案手法はリカレントニューラルネットワークのロバスト性を大幅に改善する。
  論文  参考訳（メタデータ） (2021-05-03T16:45:05Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。