論文の概要: How connectivity structure shapes rich and lazy learning in neural
circuits
- arxiv url: http://arxiv.org/abs/2310.08513v2
- Date: Mon, 19 Feb 2024 19:25:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 20:41:23.079385
- Title: How connectivity structure shapes rich and lazy learning in neural
circuits
- Title(参考訳): ニューラル回路における接続構造がリッチで遅延学習をどのように形成するか
- Authors: Yuhan Helena Liu, Aristide Baratin, Jonathan Cornford, Stefan Mihalas,
Eric Shea-Brown, and Guillaume Lajoie
- Abstract要約: 本稿では,初期重みの構造,特にその有効ランクがネットワーク学習体制に与える影響について検討する。
本研究は,学習体制形成における初期重み構造の役割を明らかにするものである。
- 参考スコア(独自算出の注目度): 14.236853424595333
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In theoretical neuroscience, recent work leverages deep learning tools to
explore how some network attributes critically influence its learning dynamics.
Notably, initial weight distributions with small (resp. large) variance may
yield a rich (resp. lazy) regime, where significant (resp. minor) changes to
network states and representation are observed over the course of learning.
However, in biology, neural circuit connectivity could exhibit a low-rank
structure and therefore differs markedly from the random initializations
generally used for these studies. As such, here we investigate how the
structure of the initial weights -- in particular their effective rank --
influences the network learning regime. Through both empirical and theoretical
analyses, we discover that high-rank initializations typically yield smaller
network changes indicative of lazier learning, a finding we also confirm with
experimentally-driven initial connectivity in recurrent neural networks.
Conversely, low-rank initialization biases learning towards richer learning.
Importantly, however, as an exception to this rule, we find lazier learning can
still occur with a low-rank initialization that aligns with task and data
statistics. Our research highlights the pivotal role of initial weight
structures in shaping learning regimes, with implications for metabolic costs
of plasticity and risks of catastrophic forgetting.
- Abstract(参考訳): 理論神経科学において、最近の研究は深層学習ツールを利用して、いくつかのネットワーク属性が学習ダイナミクスにどのように影響するかを探求している。
特に、小さな(大きな)分散を持つ初期重量分布は、学習の過程でネットワーク状態や表現に顕著な(小さな)変化が観測されるリッチな(遅延的な)レジームをもたらす可能性がある。
しかし、生物学では、神経回路接続は低ランク構造を呈しうるため、これらの研究で一般的に用いられるランダムな初期化とは明らかに異なる。
そこで本研究では,初期重みの構造,特にその有効ランクがネットワーク学習体制に与える影響について検討する。
実験的および理論的分析から,高ランク初期化はラジエ学習の指標となるネットワーク変化を小さくすることが明らかとなった。
逆に、低位の初期化はよりリッチな学習への学習に偏る。
しかし、このルールの例外として、遅延学習はタスクやデータ統計と整合した低ランクな初期化によっても発生しうる。
本研究は, 可塑性の代謝コスト, 破滅的忘れ込みのリスクなど, 学習体制形成における初期重み構造の役割を強調した。
関連論文リスト
- Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳(メタデータ) (2022-11-21T15:27:22Z) - Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。
臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
論文 参考訳(メタデータ) (2022-10-06T23:50:38Z) - Improving Deep Neural Network Random Initialization Through Neuronal
Rewiring [14.484787903053208]
神経強度のばらつきは低下するが, 神経強度のばらつきは低下し, 神経強度のばらつきは改善する。
次に、その強度に基づいて、優先アタッチメント(PA)ルールに従って神経細胞接続をリワイヤする新しい方法を提案する。
この意味では、PAは重みの大きさと分布を保ちながら、接続を再編成するのみである。
論文 参考訳(メタデータ) (2022-07-17T11:52:52Z) - On the (Non-)Robustness of Two-Layer Neural Networks in Different
Learning Regimes [27.156666384752548]
ニューラルネットワークは敵の例に非常に敏感である。
異なるシナリオにおける堅牢性と一般化について研究する。
線形化された遅延学習体制がいかに堅牢性を悪化させるかを示す。
論文 参考訳(メタデータ) (2022-03-22T16:40:52Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳(メタデータ) (2020-11-18T18:52:08Z) - Identifying Learning Rules From Neural Network Observables [26.96375335939315]
学習ルールの異なるクラスは、重み、アクティベーション、即時的な階層的活動変化の集計統計に基づいてのみ分離可能であることを示す。
本研究は, シナプス後活動の電気生理学的記録から得られる活性化パターンが, 学習規則の同定に有効であることを示すものである。
論文 参考訳(メタデータ) (2020-10-22T14:36:54Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z) - The Surprising Simplicity of the Early-Time Learning Dynamics of Neural
Networks [43.860358308049044]
研究において、これらの共通認識は、学習の初期段階において完全に誤りであることを示す。
この驚くべき単純さは、畳み込みアーキテクチャを持つより多くのレイヤを持つネットワークで持続することができる、と私たちは主張する。
論文 参考訳(メタデータ) (2020-06-25T17:42:49Z) - The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。
現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。
我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
論文 参考訳(メタデータ) (2020-03-04T17:52:48Z) - Emergence of Network Motifs in Deep Neural Networks [0.35911228556176483]
ニューラルネットワークの研究にネットワークサイエンスツールをうまく応用できることが示される。
特に,マルチ層パーセプトロンにおけるネットワークモチーフの出現について検討する。
論文 参考訳(メタデータ) (2019-12-27T17:05:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。