論文の概要: Convergence and Alignment of Gradient Descentwith Random Back propagation Weights

• arxiv url: http://arxiv.org/abs/2106.06044v1
• Date: Thu, 10 Jun 2021 20:58:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-14 14:31:11.855692
• Title: Convergence and Alignment of Gradient Descentwith Random Back propagation Weights
• Title（参考訳）: ランダムバック伝搬重みによる勾配降下の収束とアライメント
• Authors: Ganlin Song, Ruitu Xu, John Lafferty
• Abstract要約: バックプロパゲーションによる勾配降下は 人工ニューラルネットワークの 働き方です Lillicrapらは、ランダムなバックプロパゲーションと固定されたバックプロパゲーションの重みを利用する、生物学的にもっともらしい「フィードバックアライメント」アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 6.338178373376447
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic gradient descent with backpropagation is the workhorse of artificial neural networks. It has long been recognized that backpropagation fails to be a biologically plausible algorithm. Fundamentally, it is a non-local procedure -- updating one neuron's synaptic weights requires knowledge of synaptic weights or receptive fields of downstream neurons. This limits the use of artificial neural networks as a tool for understanding the biological principles of information processing in the brain. Lillicrap et al. (2016) propose a more biologically plausible "feedback alignment" algorithm that uses random and fixed backpropagation weights, and show promising simulations. In this paper we study the mathematical properties of the feedback alignment procedure by analyzing convergence and alignment for two-layer networks under squared error loss. In the overparameterized setting, we prove that the error converges to zero exponentially fast, and also that regularization is necessary in order for the parameters to become aligned with the random backpropagation weights. Simulations are given that are consistent with this analysis and suggest further generalizations. These results contribute to our understanding of how biologically plausible algorithms might carry out weight learning in a manner different from Hebbian learning, with performance that is comparable with the full non-local backpropagation algorithm.
• Abstract（参考訳）: バックプロパゲーションを伴う確率勾配降下は、人工ニューラルネットワークの働きである。 バックプロパゲーションは生物学的に妥当なアルゴリズムではないと長年認識されてきた。 1つのニューロンのシナプス重みを更新するには、シナプス重みの知識や下流ニューロンの受容野が必要である。 これは、脳における情報処理の生物学的原理を理解するツールとしての人工ニューラルネットワークの使用を制限する。 lillicrapとal。 (2016)は、ランダムおよび固定されたバックプロパゲーション重みを使い、有望なシミュレーションを示す、より生物学的に可能な「フィードバックアライメント」アルゴリズムを提案する。 本稿では,二層ネットワークの2次誤差損失に対する収束とアライメントを解析し,フィードバックアライメント手順の数学的性質について検討する。 過パラメータ設定では、誤差が指数関数的にゼロに収束し、パラメータがランダムなバックプロパゲーションの重みと一致するためには、正規化が必要であることが証明される。 この解析と一致するシミュレーションが与えられ、さらなる一般化が提案される。 これらの結果は、生物学的に可算なアルゴリズムがヘビーン学習とは異なる方法で重み学習を行う方法の理解に寄与し、その性能は非局所的バックプロパゲーションアルゴリズムに匹敵する。

関連論文リスト

• SGD method for entropy error function with smoothing l0 regularization for neural networks [3.108634881604788]
  エントロピー誤差関数はニューラルネットワークで広く使われている。 本稿では,フィードフォワードニューラルネットワークの規則化を円滑に行うエントロピー関数を提案する。 ニューラルネットワークを効果的に学習し、より正確な予測を可能にするため、私たちの仕事は新しくなっています。
  論文  参考訳（メタデータ） (2024-05-28T19:54:26Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Refining neural network predictions using background knowledge [68.35246878394702]
  学習システムにおける論理的背景知識を用いて,ラベル付きトレーニングデータの不足を補うことができることを示す。 そこで本研究では,修正された予測を元の予測に近い精度で検出する微分可能精細関数を提案する。 このアルゴリズムは、複雑なSATの公式に対して、非常に少ない繰り返しで最適に洗練され、勾配降下ができない解がしばしば見つかる。
  論文  参考訳（メタデータ） (2022-06-10T10:17:59Z)
• Accelerating Understanding of Scientific Experiments with End to End Symbolic Regression [12.008215939224382]
  生データから自由形記号表現を学習する問題に対処するディープニューラルネットワークを開発した。 ニューラルネットワークを、長さの異なるデータテーブルとノイズのレベルからなる合成データセットでトレーニングする。 行動科学の公開データセット上で動作させることで、我々の技術を検証する。
  論文  参考訳（メタデータ） (2021-12-07T22:28:53Z)
• A Normative and Biologically Plausible Algorithm for Independent Component Analysis [15.082715993594121]
  信号処理では、線形ブラインド音源分離問題は独立成分分析(ICA)によってしばしば解決される。 生物学的回路のモデルとして機能するためには、ICAニューラルネットワーク(NN)は、少なくとも以下の要件を満たす必要がある。 本稿では,ニューラルアーキテクチャとシナプス学習規則の両方を含む生物学的に妥当なNNを導出するICAの目的関数を提案する。
  論文  参考訳（メタデータ） (2021-11-17T01:43:42Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
  活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
  論文  参考訳（メタデータ） (2020-09-11T11:56:34Z)
• Learning compositional functions via multiplicative weight updates [97.9457834009578]
  乗算重み更新は構成関数に合わせた降下補題を満たすことを示す。 マダムは、学習率のチューニングなしに、最先端のニューラルネットワークアーキテクチャをトレーニングできることを示す。
  論文  参考訳（メタデータ） (2020-06-25T17:05:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。