論文の概要: Credit Assignment Through Broadcasting a Global Error Vector

• arxiv url: http://arxiv.org/abs/2106.04089v2
• Date: Thu, 28 Oct 2021 20:31:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 06:45:33.244742
• Title: Credit Assignment Through Broadcasting a Global Error Vector
• Title（参考訳）: グローバルエラーベクトルの放送によるクレジット割り当て
• Authors: David G. Clark, L. F. Abbott, SueYeon Chung
• Abstract要約: バックプロパゲーション(BP)は、ディープニューラルネットワーク(DNN)をトレーニングするために、詳細なユニット固有のフィードバックを使用する。 そこで本研究では,局所的な重み更新と合わせて,グローバルな放送学習信号がDNNのトレーニングを可能にする範囲について検討する。
• 参考スコア（独自算出の注目度）: 4.683806391173103
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Backpropagation (BP) uses detailed, unit-specific feedback to train deep neural networks (DNNs) with remarkable success. That biological neural circuits appear to perform credit assignment, but cannot implement BP, implies the existence of other powerful learning algorithms. Here, we explore the extent to which a globally broadcast learning signal, coupled with local weight updates, enables training of DNNs. We present both a learning rule, called global error-vector broadcasting (GEVB), and a class of DNNs, called vectorized nonnegative networks (VNNs), in which this learning rule operates. VNNs have vector-valued units and nonnegative weights past the first layer. The GEVB learning rule generalizes three-factor Hebbian learning, updating each weight by an amount proportional to the inner product of the presynaptic activation and a globally broadcast error vector when the postsynaptic unit is active. We prove that these weight updates are matched in sign to the gradient, enabling accurate credit assignment. Moreover, at initialization, these updates are exactly proportional to the gradient in the limit of infinite network width. GEVB matches the performance of BP in VNNs, and in some cases outperforms direct feedback alignment (DFA) applied in conventional networks. Unlike DFA, GEVB successfully trains convolutional layers. Altogether, our theoretical and empirical results point to a surprisingly powerful role for a global learning signal in training DNNs.
• Abstract（参考訳）: backpropagation(bp)は、深層ニューラルネットワーク(dnn)をトレーニングするために、詳細なユニット固有フィードバックを使用する。 生物学的ニューラルネットワークは、クレジット割り当てを行うように見えるが、BPを実装しないため、他の強力な学習アルゴリズムの存在が示唆される。 そこで本研究では,局所的な重み更新と合わせて,グローバルな放送学習信号がDNNのトレーニングを可能にする範囲について検討する。 我々は,大域的誤りベクトル放送(GEVB)と呼ばれる学習規則と,この学習規則が動作するベクトル化非負ネットワーク(VNN)と呼ばれるDNNのクラスを提示する。 VNNはベクトル値の単位を持ち、第1層を過ぎる非負の重みを持つ。 gevb学習ルールは、3要素のヘビー学習を一般化し、プレシナプス活性化の内積に比例する量と、ポストシナプスユニットがアクティブである場合のグローバルブロードキャストエラーベクトルとで各ウェイトを更新する。 これらの重み付け更新が勾配に一致することを証明し、正確なクレジット割り当てを可能にします。 さらに初期化では、これらの更新は無限のネットワーク幅の限界の勾配にちょうど比例する。 GEVBはVNNにおけるBPの性能と一致し、場合によっては従来のネットワークで適用された直接フィードバックアライメント(DFA)よりも優れている。 DFAとは異なり、GEVBは畳み込み層の訓練に成功した。 理論的および実証的な結果は、DNNの訓練において、グローバルな学習信号が驚くほど強力な役割を担っていることを示している。

関連論文リスト

• DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
  グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。 BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。 半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
  論文  参考訳（メタデータ） (2024-06-04T07:24:51Z)
• Forward Learning of Graph Neural Networks [17.79590285482424]
  バックプロパゲーション(BP)はディープニューラルネットワーク(NN)のトレーニングにおけるデファクトスタンダードである BPは、生物学的に理解できないだけでなく、NN学習のスケーラビリティ、並列性、柔軟性を制限しているいくつかの制約を課している。 本稿では,BPの制約を回避するために,実効的なレイヤワイドローカルフォワードトレーニングを行うForwardGNNを提案する。
  論文  参考訳（メタデータ） (2024-03-16T19:40:35Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Learning Ability of Interpolating Deep Convolutional Neural Networks [28.437011792990347]
  我々は,深層ニューラルネットワーク,深層畳み込みニューラルネットワーク(DCNN)の重要なファミリーの学習能力について検討する。 非補間DCNNに適切に定義された層を追加することで、非補間DCNNの良好な学習率を維持する補間DCNNが得られることを示す。 我々の研究は、過度に適合したDCNNの一般化の理論的検証を提供する。
  論文  参考訳（メタデータ） (2022-10-25T17:22:31Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Statistical Mechanics of Deep Linear Neural Networks: The Back-Propagating Renormalization Group [4.56877715768796]
  個々の単位の入力出力関数が線形である深線型ニューラルネットワーク(DLNN)における学習の統計力学について検討する。 重み空間における平衡ギブス分布を用いて教師あり学習後のネットワーク特性を正確に解く。 数値シミュレーションにより, 非線形性にもかかわらず, 理論の予測は大部分, 深さの小さいreluネットワークによって共有されていることが明らかとなった。
  論文  参考訳（メタデータ） (2020-12-07T20:08:31Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Extension of Direct Feedback Alignment to Convolutional and Recurrent Neural Network for Bio-plausible Deep Learning [0.0]
  直接フィードバックアライメント(DFA)アルゴリズムの改良に焦点を当てる。 我々は、DFAの使用を畳み込みおよび繰り返しニューラルネットワーク(CNN、RNN)に拡張する。 BPレベルの正確なCNNとRNNトレーニングのための新しいDFAアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-23T08:42:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。