論文の概要: Dynamics and Representation Structure of Local Approximations to Gradient-Based Learning in Linear Recurrent Neural Networks
- arxiv url: http://arxiv.org/abs/2606.00243v1
- Date: Fri, 29 May 2026 18:19:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.175536
- Title: Dynamics and Representation Structure of Local Approximations to Gradient-Based Learning in Linear Recurrent Neural Networks
- Title（参考訳）: リニアリカレントニューラルネットワークにおける勾配学習に対する局所近似のダイナミクスと表現構造
- Abstract要約: ランダム・フィードバック・ローカル・オンライン(RFLO)の学習動態と時間による逆伝播(tBPTT)について検討する。
我々の研究は、局所性制約が学習力学をどう形成するかに関する分析的な洞察を提供し、学習の神経科学的モデルやRNNの代替最適化アプローチに影響を及ぼす。
- 参考スコア（独自算出の注目度）: 56.42974363744522
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Biological and neuromorphic recurrent neural networks (RNNs) are subject to spatial and temporal locality constraints on the information that can plausibly be used during learning. A common strategy to satisfy these constraints is to modify gradient descent by neglecting non-local terms to varying degrees, as in random feedback local online (RFLO) learning and truncated backpropagation through time (tBPTT). However, the learning dynamics of these algorithms, and how they compare with BPTT, remain poorly understood. We apply dynamical systems theory to data-aligned linear RNNs -- whose dynamics can be separated into orthogonal modes -- to compare stationary solutions, stability properties, and convergence rates, finding qualitatively distinct behaviour for RFLO versus BPTT and one-step tBPTT. We further observe that the solutions learned by RFLO are restricted to low-rank perturbations of initial parameters, a result which holds beyond the data-aligned setting. Our work provides analytical insight into how locality constraints shape learning dynamics, with implications for neuroscientific models of learning and alternative optimization approaches for RNNs.
- Abstract（参考訳）: 生物学的およびニューロモルフィック・リカレント・ニューラルネットワーク(RNN)は、学習中に使用可能な情報について、空間的および時間的局所性の制約を受ける。
これらの制約を満たすための一般的な戦略は、ランダムなフィードバックのローカルオンライン学習(RFLO)や時間による逆伝播(tBPTT)のように、非局所的な用語を様々な程度に無視することで勾配の降下を修正することである。
しかし、これらのアルゴリズムの学習力学とBPTTとの比較は、いまだに理解されていない。
定常解、安定性特性、収束率を比較し、RFLO対BPTTと1ステップのtBPTTの質的に異なる挙動を求める。
さらに、RFLOが学習した解は、初期パラメータの低ランク摂動に制限されていることを観察する。
我々の研究は、局所性制約が学習力学をどう形成するかに関する分析的な洞察を提供し、学習の神経科学的モデルやRNNの代替最適化アプローチに影響を及ぼす。
関連論文リスト
- When Learning Hurts: Fixed-Pole RNN for Real-Time Online Training [58.25341036646294]
本研究では,再帰性極の学習がデータに有意な利点をもたらしない理由を解析的に検討し,実時間学習シナリオを実証的に提供する。
固定極ネットワークは、トレーニングの複雑さを低減し、オンラインリアルタイムタスクにより適していることを示す。
論文 参考訳（メタデータ） (2026-02-25T00:15:13Z) - A Low-complexity Structured Neural Network to Realize States of Dynamical Systems [0.0]
本稿では,構造化ニューラルネットワーク(StNN)を用いたデータ駆動学習から動的システムの先進的状態への導出を行う。
ハンケル作用素をベースとしたStNNを用いた力学系の数値シミュレーションを行った。
提案したStNNは,将来状態の予測と理解を可能にする低複雑さ学習により,状態空間の動的システムを実現する方法を示す。
論文 参考訳（メタデータ） (2025-03-31T03:52:38Z) - TESS: A Scalable Temporally and Spatially Local Learning Rule for Spiking Neural Networks [6.805933498669221]
リソース制約のあるデバイス上でのニューラルネットワーク(SNN)のトレーニングは、高い計算とメモリ要求のため、依然として困難である。
本稿では,SNNの学習のための時間的・空間的学習ルールであるTESSを紹介する。
本手法は,各ニューロン内の局所的な信号にのみ依存することにより,時間的および空間的クレジット割り当てに対処する。
論文 参考訳（メタデータ） (2025-02-03T21:23:15Z) - Towards Model Discovery Using Domain Decomposition and PINNs [44.99833362998488]
物理インフォームドニューラルネットワーク(PINN)と有限基底物理インフォームドニューラルネットワーク(FBPINN)の2つの手法の性能評価を行った。
バニラPINN法と比較して,準定常時間領域のみのデータがほとんどない場合であっても,FBPINN法の方が優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-02T14:38:37Z) - Analysing Rescaling, Discretization, and Linearization in RNNs for Neural System Modelling [0.0]
リカレントニューラルネットワーク(RNN)は神経活動のモデル化に広く用いられているが、コアプロシージャの数学的相互作用は実現されていない。
この研究は、これらの手順が通勤する条件を確立し、計算神経科学の柔軟な応用を可能にした。
本研究は, 意思決定と運動制御における神経力学をシミュレートするための生物学的に有効なRNNの設計を, 直接指導するものである。
論文 参考訳（メタデータ） (2023-12-26T10:00:33Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。
この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文 参考訳（メタデータ） (2020-06-19T22:05:19Z) - Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。
本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。
我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文 参考訳（メタデータ） (2020-06-16T18:45:20Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。