論文の概要: Dynamically Learning to Integrate in Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2503.18754v1
• Date: Mon, 24 Mar 2025 15:03:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:34:35.724308
• Title: Dynamically Learning to Integrate in Recurrent Neural Networks
• Title（参考訳）: リカレントニューラルネットワークにおける積分の動的学習
• Authors: Blake Bordelon, Jordan Cotler, Cengiz Pehlevan, Jacob A. Zavatone-Veth,
• Abstract要約: 長期にわたる記憶の学習は、リカレントニューラルネットワーク(RNN)にとって難しい ホワイトノイズを統合するために訓練された線形RNNの学習力学の数学的理論を構築した。
• 参考スコア（独自算出の注目度）: 35.911170144151825
• License:
• Abstract: Learning to remember over long timescales is fundamentally challenging for recurrent neural networks (RNNs). While much prior work has explored why RNNs struggle to learn long timescales and how to mitigate this, we still lack a clear understanding of the dynamics involved when RNNs learn long timescales via gradient descent. Here we build a mathematical theory of the learning dynamics of linear RNNs trained to integrate white noise. We show that when the initial recurrent weights are small, the dynamics of learning are described by a low-dimensional system that tracks a single outlier eigenvalue of the recurrent weights. This reveals the precise manner in which the long timescale associated with white noise integration is learned. We extend our analyses to RNNs learning a damped oscillatory filter, and find rich dynamical equations for the evolution of a conjugate pair of outlier eigenvalues. Taken together, our analyses build a rich mathematical framework for studying dynamical learning problems salient for both machine learning and neuroscience.
• Abstract（参考訳）: 長い時間スケールで記憶することの学習は、リカレントニューラルネットワーク(RNN)にとって根本的に困難である。 RNNが長い時間スケールを学ぶのに苦労する理由とそれを緩和する方法については、多くの先行研究が検討されているが、RNNが勾配降下によって長い時間スケールを学ぶときのダイナミクスについて、まだ明確に理解されていない。 ここでは、ホワイトノイズを統合するために訓練された線形RNNの学習力学の数学的理論を構築する。 初期再帰重みが小さい場合、学習のダイナミクスは、再帰重みの1つのアウトリエ固有値を追跡する低次元システムによって記述されることを示す。 このことは、ホワイトノイズ統合に関連する長い時間スケールが学習される正確な方法を明らかにする。 我々は、減衰振動フィルタを学習するRNNに解析を拡張し、共役対の外れ値の固有値の進化のためのリッチな動的方程式を求める。 そこで本研究では,機械学習と神経科学の両方に最適な動的学習問題を研究するための,リッチな数学的枠組みを構築した。

関連論文リスト

• Low Tensor Rank Learning of Neural Dynamics [0.0]
  低次元課題を解決するために訓練されたRNNにおいて,低テンソルランクの重みが自然に現れることを示す。 本研究は,生物ニューラルネットワークと人工ニューラルネットワークの双方において,学習による集団接続の進化に関する知見を提供する。
  論文  参考訳（メタデータ） (2023-08-22T17:08:47Z)
• Dynamic Analysis and an Eigen Initializer for Recurrent Neural Networks [0.0]
  繰り返しニューラルネットワークにおける隠れ状態のダイナミクスについて検討する。 重み行列の固有分解に基づいて隠れ状態空間を解析するための新しい視点を提案する。 本稿では,固有解析に基づく長期依存の説明を行う。
  論文  参考訳（メタデータ） (2023-07-28T17:14:58Z)
• On the Dynamics of Learning Time-Aware Behavior with Recurrent Neural Networks [2.294014185517203]
  隠れ時間変数に依存する教師付き学習タスクのファミリーを導入する。 我々は、長期記憶に対する時間認識の必要性を強調する時間的フリップフロップをエミュレートするためにRNNを訓練する。 これらのRNNは、遷移規則の周期を時間変調する周期軌道を切り替えることを学ぶ。
  論文  参考訳（メタデータ） (2023-06-12T14:01:30Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Dynamics-Aware Loss for Learning with Label Noise [73.75129479936302]
  ディープニューラルネットワーク(DNN)にラベルノイズが深刻な脅威をもたらす 本稿では,この問題を解決するためにDAL(Dynamics-Aware Los)を提案する。 詳細な理論的解析と広範な実験結果の両方が,本手法の優位性を示している。
  論文  参考訳（メタデータ） (2023-03-21T03:05:21Z)
• Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
  ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。 臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
  論文  参考訳（メタデータ） (2022-10-06T23:50:38Z)
• Reverse engineering recurrent neural networks with Jacobian switching linear dynamical systems [24.0378100479104]
  リカレントニューラルネットワーク(RNN)は時系列データを処理する強力なモデルである。 トレーニングされたRNNをその固定点を中心に線形化することでリバースエンジニアリングするフレームワークは洞察を与えてきたが、アプローチには大きな課題がある。 本稿では,新しい線形力学系 (SLDS) の定式化によるRNNの協調学習により,これらの制約を克服する新しいモデルを提案する。
  論文  参考訳（メタデータ） (2021-11-01T20:49:30Z)
• A self consistent theory of Gaussian Processes captures feature learning effects in finite CNNs [2.28438857884398]
  無限幅/チャネル制限のディープニューラルネットワーク(DNN)が最近注目を集めている。 理論上の魅力にもかかわらず、この視点は有限DNNにおいて深層学習の重要な要素を欠いている。 ここでは,大きなトレーニングセット上で雑音勾配勾配で訓練されたDNNを考察し,強い有限DNNと特徴学習効果を考慮した自己一貫したガウス過程理論を導出する。
  論文  参考訳（メタデータ） (2021-06-08T05:20:00Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。