論文の概要: A Theoretical Framework for Inference and Learning in Predictive Coding Networks

• arxiv url: http://arxiv.org/abs/2207.12316v1
• Date: Thu, 21 Jul 2022 04:17:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-26 13:07:31.705623
• Title: A Theoretical Framework for Inference and Learning in Predictive Coding Networks
• Title（参考訳）: 予測符号化ネットワークにおける推論と学習の理論的枠組み
• Authors: Beren Millidge, Yuhang Song, Tommaso Salvatori, Thomas Lukasiewicz, Rafal Bogacz
• Abstract要約: 予測符号化(PC)は、計算神経科学において重要な理論である。 予測構成で訓練されたPCNの特性に関する包括的理論的解析を行う。
• 参考スコア（独自算出の注目度）: 41.58529335439799
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Predictive coding (PC) is an influential theory in computational neuroscience, which argues that the cortex forms unsupervised world models by implementing a hierarchical process of prediction error minimization. PC networks (PCNs) are trained in two phases. First, neural activities are updated to optimize the network's response to external stimuli. Second, synaptic weights are updated to consolidate this change in activity -- an algorithm called \emph{prospective configuration}. While previous work has shown how in various limits, PCNs can be found to approximate backpropagation (BP), recent work has demonstrated that PCNs operating in this standard regime, which does not approximate BP, nevertheless obtain competitive training and generalization performance to BP-trained networks while outperforming them on tasks such as online, few-shot, and continual learning, where brains are known to excel. Despite this promising empirical performance, little is understood theoretically about the properties and dynamics of PCNs in this regime. In this paper, we provide a comprehensive theoretical analysis of the properties of PCNs trained with prospective configuration. We first derive analytical results concerning the inference equilibrium for PCNs and a previously unknown close connection relationship to target propagation (TP). Secondly, we provide a theoretical analysis of learning in PCNs as a variant of generalized expectation-maximization and use that to prove the convergence of PCNs to critical points of the BP loss function, thus showing that deep PCNs can, in theory, achieve the same generalization performance as BP, while maintaining their unique advantages.
• Abstract（参考訳）: 予測符号化 (predictive coding, pc) は計算神経科学において影響力のある理論であり、予測誤差最小化の階層的プロセスを実装することによって皮質は教師なしの世界モデルを形成すると主張する。 PCネットワーク(PCN)は2つのフェーズで訓練される。 まず、外部刺激に対するネットワークの反応を最適化するために神経活動が更新される。 第二に、シナプス重みが更新され、このアクティビティの変化が強化される -- \emph{prospective configuration} と呼ばれるアルゴリズム。 過去の研究では、PCNがバックプロパゲーション(BP)を近似する方法が示されているが、最近の研究は、BPを近似しないこの標準体制で動作しているPCNが、BP訓練ネットワークに対する競争訓練や一般化性能を得られる一方で、オンライン、少数ショット、継続学習などのタスクでは優れており、脳が興奮することが知られている。 この有望な実証的性能にもかかわらず、この体制におけるpcnの性質とダイナミクスについて理論的にはほとんど理解されていない。 本稿では,予測構成で訓練されたPCNの特性に関する包括的理論的解析を行う。 本研究はまず,PCNの推論平衡とターゲット伝搬(TP)との密接な関係について解析的な結果を得る。 次に,一般化期待最大化の変種としてpcnsにおける学習の理論的解析を行い,bp損失関数の臨界点へのpcnの収束を証明し,理論上はbpと同一の一般化性能を達成できることを示した。

関連論文リスト

• Tight Stability, Convergence, and Robustness Bounds for Predictive Coding Networks [60.3634789164648]
  予測符号化(PC)のようなエネルギーベースの学習アルゴリズムは、機械学習コミュニティにおいて大きな注目を集めている。 動的システム理論のレンズを用いて,PCの安定性,堅牢性,収束性を厳密に解析する。
  論文  参考訳（メタデータ） (2024-10-07T02:57:26Z)
• Predictive Coding Networks and Inference Learning: Tutorial and Survey [0.7510165488300368]
  予測符号化ネットワーク(PCN)は、予測符号化の神経科学的な枠組みに基づいている。 バックプロパゲーション(BP)で訓練された従来のニューラルネットワークとは異なり、PCNは推論学習(IL)を利用する。 本質的に確率的(グラフィック的)潜在変数モデルとして、PCNは教師付き学習と教師なし(生成的)モデリングの両方に汎用的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:20Z)
• Residual-based attention and connection to information bottleneck theory in PINNs [0.393259574660092]
  近年,物理インフォームドニューラルネットワーク(PINN)への関心が高まっている。 本稿では,動的システムや静的システムの収束を加速する,PINNの効率的な勾配なし重み付け手法を提案する。
  論文  参考訳（メタデータ） (2023-07-01T16:29:55Z)
• On the Convergence of Certified Robust Training with Interval Bound Propagation [147.77638840942447]
  IBPトレーニングの収束に関する理論的解析を行った。 IBPトレーニングを用いてランダムに2層ReLUニューラルネットワークをロジスティック損失でトレーニングする場合、勾配降下はゼロロバストトレーニングエラーに線形収束可能であることを示す。
  論文  参考訳（メタデータ） (2022-03-16T21:49:13Z)
• A Theoretical View of Linear Backpropagation and Its Convergence [55.69505060636719]
  バックプロパゲーション(BP)はディープニューラルネットワーク(DNN)の勾配を計算するために広く用いられている 最近では、NinBPと呼ばれるBPの線形変種が導入され、ブラックボックス攻撃を行うためのより伝達可能な逆の例が生み出された。 本稿では,LinBPのニューラルネットワーク関連学習課題における理論的解析について述べる。
  論文  参考訳（メタデータ） (2021-12-21T07:18:00Z)
• Predictive Coding Can Do Exact Backpropagation on Convolutional and Recurrent Neural Networks [40.51949948934705]
  予測符号化ネットワーク(PCN)は、脳内の情報処理に影響を及ぼすモデルである。 BPは現代の機械学習において最も成功した学習方法と考えられている。 生物学的に妥当なアルゴリズムは複雑なアーキテクチャ上でBPの精度を正確に再現できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T14:57:01Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)
• Continual Weight Updates and Convolutional Architectures for Equilibrium Propagation [69.87491240509485]
  Equilibrium Propagation (EP)は、ニューラルネットワークのトレーニングのためのバックプロパゲーション(BP)に対する生物学的にインスパイアされた代替アルゴリズムである。 本稿では,方程式の簡易化,学習の高速化,CNNへのEP拡張を可能にするEPの離散時間定式化を提案する。 我々のCNNモデルは、EPでMNISTで報告された最高のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-04-29T12:14:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。