論文の概要: A new role for circuit expansion for learning in neural networks
- arxiv url: http://arxiv.org/abs/2008.08653v2
- Date: Mon, 21 Dec 2020 21:34:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 11:41:34.263634
- Title: A new role for circuit expansion for learning in neural networks
- Title（参考訳）: ニューラルネットワークにおける学習における回路拡張の新しい役割
- Authors: Julia Steinberg, Madhu Advani, Haim Sompolinsky
- Abstract要約: ニューラルネットワークの拡張は,学習期間終了後に拡張された構造が切断された場合でも,その一般化性能を向上させることができることを示す。
拡張された学生ネットワークの一般化誤差は,ネットワークの規模が大きくなるにつれて減少し続けることを示す。
- 参考スコア（独自算出の注目度）: 1.14179290793997
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many sensory pathways in the brain rely on sparsely active populations of
neurons downstream from the input stimuli. The biological reason for the
occurrence of expanded structure in the brain is unclear, but may be because
expansion can increase the expressive power of a neural network. In this work,
we show that expanding a neural network can improve its generalization
performance even in cases in which the expanded structure is pruned after the
learning period. To study this setting we use a teacher-student framework where
a perceptron teacher network generates labels which are corrupted with small
amounts of noise. We then train a student network that is structurally matched
to the teacher and can achieve optimal accuracy if given the teacher's synaptic
weights. We find that sparse expansion of the input of a student perceptron
network both increases its capacity and improves the generalization performance
of the network when learning a noisy rule from a teacher perceptron when these
expansions are pruned after learning. We find similar behavior when the
expanded units are stochastic and uncorrelated with the input and analyze this
network in the mean field limit. We show by solving the mean field equations
that the generalization error of the stochastic expanded student network
continues to drop as the size of the network increases. The improvement in
generalization performance occurs despite the increased complexity of the
student network relative to the teacher it is trying to learn. We show that
this effect is closely related to the addition of slack variables in artificial
neural networks and suggest possible implications for artificial and biological
neural networks.
- Abstract（参考訳）: 脳内の多くの感覚経路は入力刺激から下流のニューロンのわずかに活発な集団に依存している。
脳内で拡張された構造が生じる生物学的理由ははっきりしないが、拡大が神経ネットワークの表現力を増加させる可能性があるためかもしれない。
本研究では,ニューラルネットワークの拡張により,学習期間後に拡張構造が切断された場合でも,その一般化性能が向上することを示す。
この設定を検討するために,パーセプトロン教師ネットワークが少量のノイズで破損したラベルを生成する,教師と教師の枠組みを用いる。
次に,教師のシナプス重みを考慮すれば,教師と構造的に一致し,最適精度が得られる学生ネットワークを訓練する。
学生の受入ネットワークの入力のスパース展開は、学習後にこれらの拡張が打ち切られたとき、教師受入ネットワークからノイズルールを学習する際に、その容量を増大させ、ネットワークの一般化性能を向上させる。
拡張されたユニットが入力と確率的かつ非相関な場合にも同様の挙動を示し、このネットワークを平均フィールド限界で解析する。
我々は,ネットワークの規模が大きくなるにつれて,確率的拡張学習者のネットワークの一般化誤差が減少し続けることを示す。
一般化性能の向上は、学習しようとしている教師に対する生徒ネットワークの複雑さが増しているにもかかわらず起こる。
この効果は,人工ニューラルネットワークにおけるスラック変数の追加と密接な関係があることを示し,人工ニューラルネットワークおよび生物学的ニューラルネットワークへの示唆を示唆する。
関連論文リスト
- Collective variables of neural networks: empirical time evolution and scaling laws [0.535514140374842]
実験的なニューラル・タンジェント・カーネルのスペクトル、特にエントロピーとトレースのスペクトルに対する特定の測定により、ニューラルネットワークが学習した表現についての洞察が得られることを示す。
結果は、トランスフォーマー、オートエンコーダ、グラフニューラルネットワーク、強化学習研究など、より複雑なネットワークで示される前に、まずテストケースで実証される。
論文 参考訳（メタデータ） (2024-10-09T21:37:14Z) - Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳（メタデータ） (2024-06-24T14:50:05Z) - Network Degeneracy as an Indicator of Training Performance: Comparing
Finite and Infinite Width Angle Predictions [3.04585143845864]
ネットワークの深層化が進むにつれ、ネットワークは縮退しやすくなっている。
完全に接続されたReLUネットワークアーキテクチャのデジェネリシーのレベルを正確に予測できる単純なアルゴリズムを用いる。
論文 参考訳（メタデータ） (2023-06-02T13:02:52Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - The Role Of Biology In Deep Learning [0.0]
この研究は、その歴史の一部を要約し、現代の理論神経科学をディープラーニングの分野から人工ニューラルネットワークの実験に取り入れている。
特に、反復等級プルーニングは、性能を損なうことなく、33倍の重量で疎結合ネットワークを訓練するために用いられる。
これらは、重量空間だけで画像ノイズの堅牢性を改善するという仮説をテストし、最終的に否定するために使用される。
論文 参考訳（メタデータ） (2022-09-07T23:22:57Z) - Optimal Learning Rates of Deep Convolutional Neural Networks: Additive
Ridge Functions [19.762318115851617]
深部畳み込みニューラルネットワークにおける平均2乗誤差解析について考察する。
付加的なリッジ関数に対しては、畳み込みニューラルネットワークとReLUアクティベーション関数を併用した1つの完全連結層が最適極小値に到達できることが示される。
論文 参考訳（メタデータ） (2022-02-24T14:22:32Z) - Wide Neural Networks Forget Less Catastrophically [39.907197907411266]
ニューラルネットワークアーキテクチャの"幅"が破滅的忘れに及ぼす影響について検討する。
ネットワークの学習力学を様々な観点から研究する。
論文 参考訳（メタデータ） (2021-10-21T23:49:23Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。
最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文 参考訳（メタデータ） (2021-06-07T10:18:54Z) - Graph Structure of Neural Networks [104.33754950606298]
ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。
リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。
トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
論文 参考訳（メタデータ） (2020-07-13T17:59:31Z) - Learning compositional functions via multiplicative weight updates [97.9457834009578]
乗算重み更新は構成関数に合わせた降下補題を満たすことを示す。
マダムは、学習率のチューニングなしに、最先端のニューラルネットワークアーキテクチャをトレーニングできることを示す。
論文 参考訳（メタデータ） (2020-06-25T17:05:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。