論文の概要: Low Tensor Rank Learning of Neural Dynamics
- arxiv url: http://arxiv.org/abs/2308.11567v2
- Date: Sat, 4 Nov 2023 11:47:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 21:29:42.936301
- Title: Low Tensor Rank Learning of Neural Dynamics
- Title（参考訳）: ニューラルダイナミクスの低テンソルランク学習
- Authors: Arthur Pellegrino, N Alex Cayco-Gajic, Angus Chadwick
- Abstract要約: 低次元課題を解決するために訓練されたRNNにおいて,低テンソルランクの重みが自然に現れることを示す。
本研究は,生物ニューラルネットワークと人工ニューラルネットワークの双方において,学習による集団接続の進化に関する知見を提供する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning relies on coordinated synaptic changes in recurrently connected
populations of neurons. Therefore, understanding the collective evolution of
synaptic connectivity over learning is a key challenge in neuroscience and
machine learning. In particular, recent work has shown that the weight matrices
of task-trained RNNs are typically low rank, but how this low rank structure
unfolds over learning is unknown. To address this, we investigate the rank of
the 3-tensor formed by the weight matrices throughout learning. By fitting RNNs
of varying rank to large-scale neural recordings during a motor learning task,
we find that the inferred weights are low-tensor-rank and therefore evolve over
a fixed low-dimensional subspace throughout the entire course of learning. We
next validate the observation of low-tensor-rank learning on an RNN trained to
solve the same task. Finally, we present a set of mathematical results bounding
the matrix and tensor ranks of gradient descent learning dynamics which show
that low-tensor-rank weights emerge naturally in RNNs trained to solve
low-dimensional tasks. Taken together, our findings provide insight on the
evolution of population connectivity over learning in both biological and
artificial neural networks, and enable reverse engineering of learning-induced
changes in recurrent dynamics from large-scale neural recordings.
- Abstract（参考訳）: 学習は神経細胞の繰り返し連結された集団における協調シナプス変化に依存する。
したがって、学習によるシナプス接続の集団的進化を理解することは、神経科学と機械学習の重要な課題である。
特に、最近の研究では、タスク訓練されたrnnの重み行列は一般的に低ランクであるが、この低ランク構造が学習上でどのように展開するかは不明である。
そこで本研究では,学習を通して重み行列によって形成される3-テンソルのランクについて検討する。
運動学習タスク中に様々なランクのRNNを大規模ニューラル記録に合わせることで、推定重みは低テンソルランクであり、したがって学習過程全体を通して一定の低次元部分空間で進化することがわかった。
次に、同じ課題を解決するために訓練されたRNN上での低テンソルランク学習の観察を検証する。
最後に,低次元課題を解くために訓練されたRNNにおいて,低テンソルランクの重みが自然に現れることを示す勾配勾配勾配学習ダイナミクスの行列とテンソルランクの数学的結果を示す。
本研究は,生物と人工ニューラルネットワークの双方における学習による集団接続の進化に関する知見を提供し,大規模ニューラル記録からの学習誘起動的変化のリバースエンジニアリングを可能にする。
関連論文リスト
- Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳（メタデータ） (2024-02-19T09:29:37Z) - Curriculum Design Helps Spiking Neural Networks to Classify Time Series [16.402675046686834]
スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)よりも時系列データをモデル化する可能性が大きい
この研究において、脳にインスパイアされた科学によって啓蒙され、構造だけでなく学習過程も人間に似ていなければならないことが判明した。
論文 参考訳（メタデータ） (2023-12-26T02:04:53Z) - Spiking mode-based neural networks [2.5690340428649328]
スパイキングニューラルネットワークは、脳のようなニューロモルフィック計算や神経回路の動作機構の研究において重要な役割を果たす。
大規模なスパイクニューラルネットワークのトレーニングの欠点のひとつは、すべての重みを更新することは非常に高価であることだ。
本稿では,3つの行列のホップフィールド的乗算として繰り返し重み行列を記述したスパイキングモードベースのトレーニングプロトコルを提案する。
論文 参考訳（メタデータ） (2023-10-23T06:54:17Z) - Heterogeneous Recurrent Spiking Neural Network for Spatio-Temporal
Classification [13.521272923545409]
Spi Neural Networksは、人工知能の第3波の脳にインスパイアされた学習モデルとしてしばしば評価される。
本稿では,ビデオ認識タスクのための教師なし学習を用いたヘテロジニアススパイキングニューラルネットワーク(HRSNN)を提案する。
本研究では,時間的バックプロパゲーション訓練による教師付きSNNに類似した性能を実現することができるが,少ない計算量で実現可能であることを示す。
論文 参考訳（メタデータ） (2022-09-22T16:34:01Z) - When, where, and how to add new neurons to ANNs [3.0969191504482243]
ANNの神経新生は、プルーニングのような他の形態の構造学習と比較しても、未調査で難しい問題である。
神経新生の様々な側面、すなわち学習過程においてニューロンをいつ、どこで、どのように追加するかを研究するための枠組みを紹介する。
論文 参考訳（メタデータ） (2022-02-17T09:32:08Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳（メタデータ） (2021-09-20T15:12:16Z) - Artificial Neural Variability for Deep Learning: On Overfitting, Noise
Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。
ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。
過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文 参考訳（メタデータ） (2020-11-12T06:06:33Z) - Generalizable Machine Learning in Neuroscience using Graph Neural
Networks [0.0]
ニューラルネットワークは、ニューロンレベルの動的予測と行動状態の分類の両方において、非常によく機能することを示す。
実験の結果, グラフニューラルネットワークは構造モデルよりも優れ, 目に見えない生物の一般化に優れていた。
論文 参考訳（メタデータ） (2020-10-16T18:09:46Z) - Learning compositional functions via multiplicative weight updates [97.9457834009578]
乗算重み更新は構成関数に合わせた降下補題を満たすことを示す。
マダムは、学習率のチューニングなしに、最先端のニューラルネットワークアーキテクチャをトレーニングできることを示す。
論文 参考訳（メタデータ） (2020-06-25T17:05:19Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。