論文の概要: Predictive Coding as a Neuromorphic Alternative to Backpropagation: A Critical Evaluation

• arxiv url: http://arxiv.org/abs/2304.02658v1
• Date: Wed, 5 Apr 2023 11:48:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-07 16:41:42.197839
• Title: Predictive Coding as a Neuromorphic Alternative to Backpropagation: A Critical Evaluation
• Title（参考訳）: バックプロパゲーションの代用としての予測符号化 : 批判的評価
• Authors: Umais Zahid, Qinghai Guo, Zafeirios Fountas
• Abstract要約: バックプロパゲーションは、現代のディープラーニング手法のワークホースクレジット代入アルゴリズムとして急速に普及している。 修正型予測符号化(PC)は、バックプロパゲーションの下のものとほぼ等しいパラメータの更新をもたらすことが示されている。 我々は,PCが神経形系における実装を促進する,望ましい特性を持つバックプロパゲーションの代替として機能することを示す。
• 参考スコア（独自算出の注目度）: 1.2891210250935146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Backpropagation has rapidly become the workhorse credit assignment algorithm for modern deep learning methods. Recently, modified forms of predictive coding (PC), an algorithm with origins in computational neuroscience, have been shown to result in approximately or exactly equal parameter updates to those under backpropagation. Due to this connection, it has been suggested that PC can act as an alternative to backpropagation with desirable properties that may facilitate implementation in neuromorphic systems. Here, we explore these claims using the different contemporary PC variants proposed in the literature. We obtain time complexity bounds for these PC variants which we show are lower-bounded by backpropagation. We also present key properties of these variants that have implications for neurobiological plausibility and their interpretations, particularly from the perspective of standard PC as a variational Bayes algorithm for latent probabilistic models. Our findings shed new light on the connection between the two learning frameworks and suggest that, in its current forms, PC may have more limited potential as a direct replacement of backpropagation than previously envisioned.
• Abstract（参考訳）: バックプロパゲーションは急速に現代のディープラーニング手法のワークホースクレジット割り当てアルゴリズムとなっている。 近年,計算神経科学に起源を持つアルゴリズムである予測符号化 (PC) の修正形式が,バックプロパゲーション下でのパラメータ更新にほぼ等しくなることが示されている。 この関係により、PCは神経形系における実装を容易にする望ましい特性を持つバックプロパゲーションの代替として機能することが示唆されている。 本稿では,これらの主張を,文献で提案されている異なるPC変種を用いて検討する。 バックプロパゲーションにより下界を示すこれらのPC変種に対する時間複雑性境界を得る。 また, ニューロバイオロジー的可能性とその解釈, 特に潜在確率モデルに対する変分ベイズアルゴリズムとしての標準pcの観点から, それらの変種の重要な特性を示す。 その結果,2つの学習フレームワークの関連性に新たな光を当てた上で,PCは従来考えられていたよりもバックプロパゲーションを直接置き換える可能性に限界がある可能性が示唆された。

関連論文リスト

• Divide-and-Conquer Predictive Coding: a structured Bayesian inference algorithm [11.722226132995978]
  我々は、分割・対数予測符号化(D CPC)と呼ばれる構造生成モデルのための新しい予測符号化アルゴリズムを導入する。 D CPCは、生物学的確率を犠牲にすることなく、モデルパラメーターの最大値更新を行う。 実証的には、DCPCは競合するアルゴリズムよりも優れた数値性能を達成し、これまで予測符号に対処していなかった多くの問題に対して正確な推論を提供する。
  論文  参考訳（メタデータ） (2024-08-11T17:29:03Z)
• Predictive Coding Networks and Inference Learning: Tutorial and Survey [0.7510165488300368]
  予測符号化ネットワーク(PCN)は、予測符号化の神経科学的な枠組みに基づいている。 バックプロパゲーション(BP)で訓練された従来のニューラルネットワークとは異なり、PCNは推論学習(IL)を利用する。 本質的に確率的(グラフィック的)潜在変数モデルとして、PCNは教師付き学習と教師なし(生成的)モデリングの両方に汎用的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:20Z)
• The Predictive Forward-Forward Algorithm [79.07468367923619]
  本稿では,ニューラルネットワークにおける信頼割当を行うための予測フォワード(PFF)アルゴリズムを提案する。 我々は,有向生成回路と表現回路を同時に同時に学習する,新しい動的リカレントニューラルネットワークを設計する。 PFFは効率よく学習し、学習信号を伝達し、フォワードパスのみでシナプスを更新する。
  論文  参考訳（メタデータ） (2023-01-04T05:34:48Z)
• Hybrid Predictive Coding: Inferring, Fast and Slow [62.997667081978825]
  本稿では,反復型と償却型の両方を原則的に組み合わせたハイブリッド予測符号化ネットワークを提案する。 我々は,本モデルが本質的に不確実性に敏感であり,最小計算費用を用いて正確な信念を得るためにバランスを適応的にバランスさせることを実証した。
  論文  参考訳（メタデータ） (2022-04-05T12:52:45Z)
• Harnessing Heterogeneity: Learning from Decomposed Feedback in Bayesian Modeling [68.69431580852535]
  サブグループフィードバックを取り入れた新しいGPレグレッションを導入する。 我々の修正された回帰は、以前のアプローチと比べて、明らかにばらつきを減らし、したがってより正確な後続を減らした。 我々は2つの異なる社会問題に対してアルゴリズムを実行する。
  論文  参考訳（メタデータ） (2021-07-07T03:57:22Z)
• Tightening the Biological Constraints on Gradient-Based Predictive Coding [1.90365714903665]
  予測符号化(英: Predictive coding、PC)は、皮質機能の理論である。 本稿では,生物学的制約に適合する勾配型PCモデルを改良する。 修正PCネットワークは、修正されていないPCモデルやバックプロパゲーションで訓練されたネットワークと同様に、MNISTデータでも、あるいはほぼ同様に動作することを示す。
  論文  参考訳（メタデータ） (2021-04-30T17:56:00Z)
• Variational Bayes Neural Network: Posterior Consistency, Classification Accuracy and Computational Challenges [0.3867363075280544]
  本稿では,変分ベイズニューラルネットワーク推定手法と関連する統計理論について述べる。 この開発は、軽度の認知障害からアルツハイマー病へ移行するための予測ツールを構築する、重要なバイオメディカルエンジニアリングアプリケーションによって動機付けられている。
  論文  参考訳（メタデータ） (2020-11-19T00:11:27Z)
• Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
  予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。 アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。 本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-02T15:21:37Z)
• Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
  活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
  論文  参考訳（メタデータ） (2020-09-11T11:56:34Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。