論文の概要: From Local to Global Order: A Theory of Neural Synaptic Balance
- arxiv url: http://arxiv.org/abs/2405.09688v1
- Date: Wed, 15 May 2024 20:27:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-17 15:50:04.632917
- Title: From Local to Global Order: A Theory of Neural Synaptic Balance
- Title（参考訳）: 局所から大域的秩序へ:ニューラルシナプスバランスの理論
- Authors: Pierre Baldi, Alireza Rahmansetayesh,
- Abstract要約: 我々は、神経シナプスバランスの理論を開発し、それをニューラルネットワークでどのように実現または強制するかを考察する。
与えられた加算コスト関数$R$(正規化器)に対して、入力重みの総コストが出力重みの総コストと等しい場合、ニューロンは平衡にあると言われる。
この理論は、可換なスケーリングと、可換でないバランスという2つの局所的なニューロン操作に基づいている。
- 参考スコア（独自算出の注目度）: 6.107591299260081
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We develop a theory of neural synaptic balance and how it can emerge or be enforced in neural networks. For a given additive cost function $R$ (regularizer), a neuron is said to be in balance if the total cost of its input weights is equal to the total cost of its output weights. The basic example is provided by feedforward networks of ReLU units trained with $L_2$ regularizers, which exhibit balance after proper training. The theory explains this phenomenon and extends it in several directions. The first direction is the extension to bilinear and other activation functions. The second direction is the extension to more general regularizers, including all $L_p$ ($p>0$) regularizers. The third direction is the extension to non-layered architectures, recurrent architectures, convolutional architectures, as well as architectures with mixed activation functions. The theory is based on two local neuronal operations: scaling which is commutative, and balancing which is not commutative. Finally, and most importantly, given any initial set of weights, when local balancing operations are applied to each neuron in a stochastic manner, global order always emerges through the convergence of the stochastic balancing algorithm to the same unique set of balanced weights. The reason for this convergence is the existence of an underlying strictly convex optimization problem where the relevant variables are constrained to a linear, only architecture-dependent, manifold. The theory is corroborated through various simulations carried out on benchmark data sets. Scaling and balancing operations are entirely local and thus physically plausible in biological and neuromorphic networks.
- Abstract（参考訳）: 我々は、神経シナプスバランスの理論を開発し、それをニューラルネットワークでどのように実現または強制するかを考察する。
与えられた加算コスト関数$R$(正規化器)に対して、入力重みの総コストが出力重みの総コストと等しい場合、ニューロンは平衡にあると言われる。
基本的な例は、正規化器で訓練されたReLUユニットのフィードフォワードネットワークによって提供され、適切なトレーニング後にバランスを示す。
理論はこの現象を説明し、いくつかの方向に拡張している。
最初の方向は双線型や他の活性化関数の拡張である。
第2の方向はより一般的な正則化器の拡張であり、その中にはすべての$L_p$$(p>0$)正則化器が含まれる。
第3の方向性は、非層アーキテクチャ、繰り返しアーキテクチャ、畳み込みアーキテクチャ、および混合アクティベーション機能を持つアーキテクチャの拡張である。
この理論は、可換なスケーリングと、可換でないバランスという2つの局所的なニューロン操作に基づいている。
最後に、任意の初期重みの集合を考えると、局所的バランス操作が確率的に各ニューロンに適用されるとき、大域的順序は常に確率的バランスアルゴリズムの収束を通じて同じバランスの取れた重みの集合に現れる。
この収束の理由は、関連する変数が線型にのみアーキテクチャに依存した多様体に制約されるような厳密な凸最適化問題の存在である。
この理論は、ベンチマークデータセット上で実行される様々なシミュレーションを通して裏付けられている。
スケーリングとバランスの操作は、完全に局所的であり、したがって生物学的およびニューロモルフィックネットワークにおいて物理的に妥当である。
関連論文リスト
- Multi-layer random features and the approximation power of neural networks [4.178980693837599]
再現カーネルヒルベルト空間はアーキテクチャによって近似できる関数のみを含むことを証明している。
NNGPの積分作用素の固有値が$k-n-frac23$よりも遅く、$k$が固有値の順序である場合、我々の定理はバロンの定理よりも簡潔なニューラルネットワーク近似を保証する。
論文 参考訳（メタデータ） (2024-04-26T14:57:56Z) - Differential Equation Scaling Limits of Shaped and Unshaped Neural Networks [8.716913598251386]
類似した微分方程式に基づく2種類の不整形ネットワークのキャラクタリゼーションを求める。
我々は第1次補正を階層的相関に導出する。
これらの結果は、形状と未形状のネットワークアーキテクチャ間の接続を提供する。
論文 参考訳（メタデータ） (2023-10-18T16:15:10Z) - Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。
我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。
本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文 参考訳（メタデータ） (2023-06-06T09:12:49Z) - Generalization and Stability of Interpolating Neural Networks with
Minimal Width [37.908159361149835]
補間系における勾配によって訓練された浅層ニューラルネットワークの一般化と最適化について検討する。
トレーニング損失数は$m=Omega(log4 (n))$ニューロンとニューロンを最小化する。
m=Omega(log4 (n))$のニューロンと$Tapprox n$で、テスト損失のトレーニングを$tildeO (1/)$に制限します。
論文 参考訳（メタデータ） (2023-02-18T05:06:15Z) - Bounding the Width of Neural Networks via Coupled Initialization -- A
Worst Case Analysis [121.9821494461427]
2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。
また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
論文 参考訳（メタデータ） (2022-06-26T06:51:31Z) - Correlation Functions in Random Fully Connected Neural Networks at
Finite Width [17.51364577113718]
この記事では、ガウスのランダムな重みとバイアスと$L$の隠蔽層を持つ完全に接続されたニューラルネットワークについて考察する。
有界非線形性に対しては、ネットワーク出力とその導関数の共役相関関数に対して1/n$の急激な再帰推定を与える。
いずれの場合も、深さと幅の比$L/n$は、個々のニューロンのゆらぎのスケールとニューロン間相関の大きさの両方を制御し、有効なネットワーク深さの役割を担っている。
論文 参考訳（メタデータ） (2022-04-03T11:57:18Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - X-volution: On the unification of convolution and self-attention [52.80459687846842]
本稿では,畳み込み操作と自己注意操作の両方からなるマルチブランチ基本モジュールを提案する。
提案したX-進化は、非常に競争力のある視覚的理解の改善を実現する。
論文 参考訳（メタデータ） (2021-06-04T04:32:02Z) - The Interpolation Phase Transition in Neural Networks: Memorization and
Generalization under Lazy Training [10.72393527290646]
ニューラル・タンジェント(NT)体制における2層ニューラルネットワークの文脈における現象について検討した。
Ndgg n$ とすると、テストエラーは無限幅のカーネルに対するカーネルリッジ回帰の1つによってよく近似される。
後者は誤差リッジ回帰によりよく近似され、活性化関数の高次成分に関連する自己誘導項により正規化パラメータが増加する。
論文 参考訳（メタデータ） (2020-07-25T01:51:13Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。