論文の概要: Predictive Coding Can Do Exact Backpropagation on Any Neural Network

• arxiv url: http://arxiv.org/abs/2103.04689v1
• Date: Mon, 8 Mar 2021 11:52:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-09 15:27:13.256302
• Title: Predictive Coding Can Do Exact Backpropagation on Any Neural Network
• Title（参考訳）: 予測符号化は、どんなニューラルネットワークでもバックプロパゲーションを可能にする
• Authors: Tommaso Salvatori, Yuhang Song, Thomas Lukasiewicz, Rafal Bogacz, Zhenghua Xu
• Abstract要約: 計算グラフ上で直接定義することで(ILと)Z-ILを一般化する。 これは、任意のニューラルネットワーク上のパラメータを更新する方法でBPと同等であることが示されている最初の生物学的に実行可能なアルゴリズムです。
• 参考スコア（独自算出の注目度）: 40.51949948934705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Intersecting neuroscience and deep learning has brought benefits and developments to both fields for several decades, which help to both understand how learning works in the brain, and to achieve the state-of-the-art performances in different AI benchmarks. Backpropagation (BP) is the most widely adopted method for the training of artificial neural networks, which, however, is often criticized for its biological implausibility (e.g., lack of local update rules for the parameters). Therefore, biologically plausible learning methods (e.g., inference learning (IL)) that rely on predictive coding (a framework for describing information processing in the brain) are increasingly studied. Recent works prove that IL can approximate BP up to a certain margin on multilayer perceptrons (MLPs), and asymptotically on any other complex model, and that zero-divergence inference learning (Z-IL), a variant of IL, is able to exactly implement BP on MLPs. However, the recent literature shows also that there is no biologically plausible method yet that can exactly replicate the weight update of BP on complex models. To fill this gap, in this paper, we generalize (IL and) Z-IL by directly defining them on computational graphs. To our knowledge, this is the first biologically plausible algorithm that is shown to be equivalent to BP in the way of updating parameters on any neural network, and it is thus a great breakthrough for the interdisciplinary research of neuroscience and deep learning.
• Abstract（参考訳）: 神経科学とディープラーニングの交差は、何十年にもわたって両方の分野に利益と発展をもたらし、学習が脳でどのように機能するかを理解し、異なるAIベンチマークで最先端のパフォーマンスを達成するのに役立つ。 バックプロパゲーション(BP)は、ニューラルネットワークのトレーニングにおいて最も広く採用されている手法であるが、その生物学的な不確実性(例えば、パラメータの局所的な更新規則の欠如)でしばしば批判されている。 そのため、予測符号化(脳における情報処理を記述するためのフレームワーク)に依存する生物学的に妥当な学習方法(例えば推論学習(il))が研究されている。 最近の研究は、ILが多層パーセプトロン(MLP)に対して一定のマージンまでBPを近似し、他の複雑なモデルに漸近的に近づき、ILの変種であるゼロディバージェンス推論学習(Z-IL)がMLP上でBPを正確に実装できることを証明している。 しかし、最近の文献では、複雑なモデルでBPの重量更新を正確に再現できる生物学的に実行可能な方法がまだ存在しないことも示しています。 このギャップを埋めるために、計算グラフ上で直接定義することで(ILと)Z-ILを一般化する。 我々の知る限りでは、このアルゴリズムは神経科学と深層学習の学際研究において、どんなニューラルネットワーク上でもパラメータの更新方法においてbpと同等であることが示される最初の生物学的に妥当なアルゴリズムである。

関連論文リスト

• Predictive Coding Networks and Inference Learning: Tutorial and Survey [0.7510165488300368]
  予測符号化ネットワーク(PCN)は、予測符号化の神経科学的な枠組みに基づいている。 バックプロパゲーション(BP)で訓練された従来のニューラルネットワークとは異なり、PCNは推論学習(IL)を利用する。 本質的に確率的(グラフィック的)潜在変数モデルとして、PCNは教師付き学習と教師なし(生成的)モデリングの両方に汎用的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:20Z)
• Emerging NeoHebbian Dynamics in Forward-Forward Learning: Implications for Neuromorphic Computing [7.345136916791223]
  フォワード・フォワードアルゴリズム(FFA)は各層に局所学習規則を用いる。 局所学習を駆動する良さ関数として2乗ユークリッドノルムを用いる場合、FFAはネオ・ヘビアン学習規則と等価であることを示す。
  論文  参考訳（メタデータ） (2024-06-24T09:33:56Z)
• Evolutionary algorithms as an alternative to backpropagation for supervised training of Biophysical Neural Networks and Neural ODEs [12.357635939839696]
  本稿では,生物物理学に基づくニューラルネットワークの学習における「段階的推定」進化アルゴリズムの利用について検討する。 EAにはいくつかのアドバンテージがあり、直接BPよりも望ましいことが分かりました。 以上の結果から,生体物理学ニューロンはBP法の限界をテストする上で有用なベンチマークを提供する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-17T20:59:57Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Towards Scaling Difference Target Propagation by Learning Backprop Targets [64.90165892557776]
  Different Target Propagationは,Gauss-Newton(GN)最適化と密接な関係を持つ生物学的に証明可能な学習アルゴリズムである。 本稿では、DTPがBPを近似し、階層的なフィードバックウェイトトレーニングを復元できる新しいフィードバックウェイトトレーニング手法を提案する。 CIFAR-10 と ImageNet 上で DTP が達成した最高の性能について報告する。
  論文  参考訳（メタデータ） (2022-01-31T18:20:43Z)
• BioLeaF: A Bio-plausible Learning Framework for Training of Spiking Neural Networks [4.698975219970009]
  本稿では,新しいアーキテクチャと学習ルールをサポートする2つのコンポーネントからなる,生物工学的な新しい学習フレームワークを提案する。 マイクロ回路アーキテクチャでは,Spyke-Timing-Dependent-Plasticity(STDP)ルールをローカルコンパートメントで運用し,シナプス重みを更新する。 実験の結果,提案手法はBP法則に匹敵する学習精度を示す。
  論文  参考訳（メタデータ） (2021-11-14T10:32:22Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Predictive Coding Can Do Exact Backpropagation on Convolutional and Recurrent Neural Networks [40.51949948934705]
  予測符号化ネットワーク(PCN)は、脳内の情報処理に影響を及ぼすモデルである。 BPは現代の機械学習において最も成功した学習方法と考えられている。 生物学的に妥当なアルゴリズムは複雑なアーキテクチャ上でBPの精度を正確に再現できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T14:57:01Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。