論文の概要: How connectivity structure shapes rich and lazy learning in neural
circuits
- arxiv url: http://arxiv.org/abs/2310.08513v1
- Date: Thu, 12 Oct 2023 17:08:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-14 08:34:26.289490
- Title: How connectivity structure shapes rich and lazy learning in neural
circuits
- Title(参考訳): ニューラル回路における接続構造がリッチで遅延学習をどのように形成するか
- Authors: Yuhan Helena Liu, Aristide Baratin, Jonathan Cornford, Stefan Mihalas,
Eric Shea-Brown, and Guillaume Lajoie
- Abstract要約: 生物学では、神経回路接続は一般的に低ランク構造を持つ。
本稿では,初期重みの構造,特にその有効ランクがネットワーク学習体制に与える影響について検討する。
本研究は,学習体制形成における初期重み構造の役割を明らかにするものである。
- 参考スコア(独自算出の注目度): 14.236853424595333
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In theoretical neuroscience, recent work leverages deep learning tools to
explore how some network attributes critically influence its learning dynamics.
Notably, initial weight distributions with small (resp. large) variance may
yield a rich (resp. lazy) regime, where significant (resp. minor) changes to
network states and representation are observed over the course of learning.
However, in biology, neural circuit connectivity generally has a low-rank
structure and therefore differs markedly from the random initializations
generally used for these studies. As such, here we investigate how the
structure of the initial weights, in particular their effective rank,
influences the network learning regime. Through both empirical and theoretical
analyses, we discover that high-rank initializations typically yield smaller
network changes indicative of lazier learning, a finding we also confirm with
experimentally-driven initial connectivity in recurrent neural networks.
Conversely, low-rank initialization biases learning towards richer learning.
Importantly, however, as an exception to this rule, we find lazier learning can
still occur with a low-rank initialization that aligns with task and data
statistics. Our research highlights the pivotal role of initial weight
structures in shaping learning regimes, with implications for metabolic costs
of plasticity and risks of catastrophic forgetting.
- Abstract(参考訳): 理論神経科学において、最近の研究は深層学習ツールを利用して、いくつかのネットワーク属性が学習ダイナミクスにどのように影響するかを探求している。
特に、小さな(大きな)分散を持つ初期重量分布は、学習の過程でネットワーク状態や表現に顕著な(小さな)変化が観測されるリッチな(遅延的な)レジームをもたらす可能性がある。
しかし、生物学では、神経回路の接続は一般に低ランク構造であるため、これらの研究で一般的に使われるランダム初期化とは著しく異なる。
そこで本研究では,初期重みの構造,特にその有効ランクがネットワーク学習体制に与える影響について検討する。
実験的および理論的分析から,高ランク初期化はラジエ学習の指標となるネットワーク変化を小さくすることが明らかとなった。
逆に、低位の初期化はよりリッチな学習への学習に偏る。
しかし、このルールの例外として、遅延学習はタスクやデータ統計と整合した低ランクな初期化によっても発生しうる。
本研究は, 可塑性の代謝コスト, 破滅的忘れ込みのリスクなど, 学習体制形成における初期重み構造の役割を強調した。
関連論文リスト
- How Initial Connectivity Shapes Biologically Plausible Learning in Recurrent Neural Networks [5.696996963267851]
リカレントニューラルネットワーク(RNN)の学習における初期接続性の影響について検討した。
その結果,初歩重みは生物学的に妥当な学習規則の学習性能に著しく影響を及ぼすことがわかった。
我々は,リアプノフ指数を正規化する最近提案された勾配フロス法を生物学的に妥当な学習に拡張した。
論文 参考訳(メタデータ) (2024-10-15T00:59:58Z) - From Lazy to Rich: Exact Learning Dynamics in Deep Linear Networks [47.13391046553908]
人工ネットワークでは、これらのモデルの有効性はタスク固有の表現を構築する能力に依存している。
以前の研究では、異なる初期化によって、表現が静的な遅延状態にあるネットワークや、表現が動的に進化するリッチ/フィーチャーな学習体制のいずれかにネットワークを配置できることが強調されていた。
これらの解は、豊かな状態から遅延状態までのスペクトルにわたる表現とニューラルカーネルの進化を捉えている。
論文 参考訳(メタデータ) (2024-09-22T23:19:04Z) - Early learning of the optimal constant solution in neural networks and humans [4.016584525313835]
対象関数の学習は、ネットワークが最適定数解(OCS)を学習する初期段階に先立って行われることを示す。
我々は、バイアス項がなくてもOCSの学習が出現し、入力データの一般的な相関によって等価に駆動されることを示す。
我々の研究は、OCSを教師付き誤り訂正学習における普遍的な学習原則として示唆している。
論文 参考訳(メタデータ) (2024-06-25T11:12:52Z) - Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳(メタデータ) (2024-06-24T14:50:05Z) - Get rich quick: exact solutions reveal how unbalanced initializations promote rapid feature learning [26.07501953088188]
本研究では,非平衡層固有の初期化分散と学習速度が特徴学習の度合いを決定するかを検討する。
分析の結果,保存量によって学習体制に影響を及ぼすことが示唆された。
我々は、この不均衡なリッチレジームが、深い有限幅ネットワークにおける特徴学習を駆動し、CNNにおける初期層の解釈可能性を促進し、階層データの学習の複雑さを減らし、モジュラー算術の時間を短縮することを示す。
論文 参考訳(メタデータ) (2024-06-10T10:42:37Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳(メタデータ) (2022-11-21T15:27:22Z) - Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。
臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
論文 参考訳(メタデータ) (2022-10-06T23:50:38Z) - On the (Non-)Robustness of Two-Layer Neural Networks in Different
Learning Regimes [27.156666384752548]
ニューラルネットワークは敵の例に非常に敏感である。
異なるシナリオにおける堅牢性と一般化について研究する。
線形化された遅延学習体制がいかに堅牢性を悪化させるかを示す。
論文 参考訳(メタデータ) (2022-03-22T16:40:52Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳(メタデータ) (2020-11-18T18:52:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。