論文の概要: A Theory of Synaptic Neural Balance: From Local to Global Order

• arxiv url: http://arxiv.org/abs/2405.09688v3
• Date: Wed, 30 Oct 2024 17:28:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:25:43.062251
• Title: A Theory of Synaptic Neural Balance: From Local to Global Order
• Title（参考訳）: シナプス的ニューラルバランスの理論:局所から大域的秩序へ
• Authors: Pierre Baldi, Antonios Alexos, Ian Domingo, Alireza Rahmansetayesh,
• Abstract要約: 我々は、シナプス的神経バランスの理論を開発し、それをニューラルネットワークでどのように生み出すか、強制するかを考察する。 与えられた正規化器の場合、入力重みの総コストが出力重みの総コストと等しい場合、ニューロンは平衡にあると言われる。
• 参考スコア（独自算出の注目度）: 6.136957611263998
• License:
• Abstract: We develop a general theory of synaptic neural balance and how it can emerge or be enforced in neural networks. For a given regularizer, a neuron is said to be in balance if the total cost of its input weights is equal to the total cost of its output weights. The basic example is provided by feedforward networks of ReLU units trained with $L_2$ regularizers, which exhibit balance after proper training. The theory explains this phenomenon and extends it in several directions. The first direction is the extension to bilinear and other activation functions. The second direction is the extension to more general regularizers, including all $L_p$ regularizers. The third direction is the extension to non-layered architectures, recurrent architectures, convolutional architectures, as well as architectures with mixed activation functions. Gradient descent on the error function alone does not converge in general to a balanced state, where every neuron is in balance, even when starting from a balanced state. However, gradient descent on the regularized error function ought to converge to a balanced state, and thus network balance can be used to assess learning progress. The theory is based on two local neuronal operations: scaling which is commutative, and balancing which is not commutative. Given any initial set of weights, when local balancing operations are applied to each neuron in a stochastic manner, global order always emerges through the convergence of the stochastic balancing algorithm to the same unique set of balanced weights. The reason for this is the existence of an underlying strictly convex optimization problem where the relevant variables are constrained to a linear, only architecture-dependent, manifold. Simulations show that balancing neurons prior to learning, or during learning in alternation with gradient descent steps, can improve learning speed and final performance.
• Abstract（参考訳）: 我々は、シナプス的神経バランスの一般的な理論を開発し、それがどのようにニューラルネットワークに現れるか、どのように強制されるかを示す。 与えられた正規化器の場合、入力重みの総コストが出力重みの総コストと等しい場合、ニューロンは平衡にあると言われる。 基本的な例は、正規化器で訓練されたReLUユニットのフィードフォワードネットワークによって提供され、適切なトレーニング後にバランスを示す。 理論はこの現象を説明し、いくつかの方向に拡張している。 最初の方向は双線型や他の活性化関数の拡張である。 第2の方向はより一般的な正規化子の拡張であり、その中にはすべての$L_p$正規化子が含まれる。 第3の方向性は、非層アーキテクチャ、繰り返しアーキテクチャ、畳み込みアーキテクチャ、および混合アクティベーション機能を持つアーキテクチャの拡張である。 エラー関数の勾配降下は一般にバランス状態に収束せず、バランス状態から始めるときでも全てのニューロンがバランス状態にある。 しかし, 正規化誤差関数の勾配勾配は平衡状態に収束する必要があり, ネットワークバランスを用いて学習の進捗を評価することができる。 この理論は、可換なスケーリングと、可換でないバランスという2つの局所的なニューロン操作に基づいている。 初期重みの集合が与えられたとき、各ニューロンに確率的方法で局所的バランス操作を適用すると、大域的順序は常に確率的バランスのアルゴリズムの収束を通じて同じバランスの取れた重みの集合に現れる。 その理由は、関連する変数が線型でのみアーキテクチャに依存した多様体に制約されるような、厳密な凸最適化問題の存在である。 シミュレーションにより、学習前のニューロンのバランスや、勾配降下ステップと交互に学習する場合は、学習速度と最終性能を改善することが示されている。

関連論文リスト

• Good regularity creates large learning rate implicit biases: edge of stability, balancing, and catapult [49.8719617899285]
  非最適化のための客観的降下に適用された大きな学習速度は、安定性の端を含む様々な暗黙のバイアスをもたらす。 この論文は降下の初期段階を示し、これらの暗黙の偏見が実際には同じ氷山であることを示す。
  論文  参考訳（メタデータ） (2023-10-26T01:11:17Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• Rotational Equilibrium: How Weight Decay Balances Learning Across Neural Networks [33.88586668321127]
  本研究は,ディープニューラルネットワークにおける個々のニューロンの更新挙動に重み劣化が及ぼす影響について検討する。 本研究では, 回転を明示的に制御することで, 重量減衰の利点が得られ, 学習率のウォームアップを著しく低減できることを示した。
  論文  参考訳（メタデータ） (2023-05-26T19:14:01Z)
• Over-Parameterization Exponentially Slows Down Gradient Descent for Learning a Single Neuron [49.45105570960104]
  ランダム勾配降下のグローバル収束を$Oleft(T-3right)$ rateで証明する。 これら2つの境界は、収束率の正確な特徴づけを与える。 このポテンシャル関数は緩やかに収束し、損失関数の緩やかな収束率を示す。
  論文  参考訳（メタデータ） (2023-02-20T15:33:26Z)
• Imbalance Trouble: Revisiting Neural-Collapse Geometry [27.21274327569783]
  本稿では, 神経崩壊現象の不変性として, Simplex-Encoded-Labels Interpolation (SELI) を導入する。 我々は,UFMのクロスエントロピー損失と正規化の消失を証明した。 我々はSELI幾何への収束を確かめる合成データセットと実データセットについて実験を行った。
  論文  参考訳（メタデータ） (2022-08-10T18:10:59Z)
• To update or not to update? Neurons at equilibrium in deep models [8.72305226979945]
  近年の深層学習の進歩は, 完全学習モデルにおけるアポテリオリ情報によって, パラメータのサブセットを単に訓練することで, 同一の性能に適合できることを示した。 本研究では、単一パラメータからニューロン全体の挙動に焦点を移し、ニューロン平衡(NEq)の概念を活用する。 提案手法は、NEqを検証し、神経平衡が特定の学習設定に依存することを観察し、様々な最先端の学習戦略とタスクで検証されている。
  論文  参考訳（メタデータ） (2022-07-19T08:07:53Z)
• Bounding the Width of Neural Networks via Coupled Initialization -- A Worst Case Analysis [121.9821494461427]
  2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。 また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
  論文  参考訳（メタデータ） (2022-06-26T06:51:31Z)
• A global convergence theory for deep ReLU implicit networks via over-parameterization [26.19122384935622]
  暗黙の深層学習は近年注目を集めている。 本稿では,Rectified Linear Unit (ReLU) 活性化暗黙的ニューラルネットワークの勾配流れを解析する。
  論文  参考訳（メタデータ） (2021-10-11T23:22:50Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Convergence and Alignment of Gradient Descentwith Random Back propagation Weights [6.338178373376447]
  バックプロパゲーションによる勾配降下は 人工ニューラルネットワークの 働き方です Lillicrapらは、ランダムなバックプロパゲーションと固定されたバックプロパゲーションの重みを利用する、生物学的にもっともらしい「フィードバックアライメント」アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-10T20:58:05Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。