論文の概要: On the Infinite Width and Depth Limits of Predictive Coding Networks

• arxiv url: http://arxiv.org/abs/2602.07697v1
• Date: Sat, 07 Feb 2026 20:47:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:24.763139
• Title: On the Infinite Width and Depth Limits of Predictive Coding Networks
• Title（参考訳）: 予測符号化ネットワークの無限幅と深さ限界について
• Authors: Francesco Innocenti, El Mehdi Achour, Rafal Bogacz,
• Abstract要約: 予測符号化(PC)は、標準バックプロパゲーション(BP)の生物学的に妥当な代替品である 最近の研究は深層PCネットワークのトレーニング安定性を改善している。 我々はPCNの無限の幅と深さの限界について検討する。
• 参考スコア（独自算出の注目度）: 8.779034498638826
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predictive coding (PC) is a biologically plausible alternative to standard backpropagation (BP) that minimises an energy function with respect to network activities before updating weights. Recent work has improved the training stability of deep PC networks (PCNs) by leveraging some BP-inspired reparameterisations. However, the full scalability and theoretical basis of these approaches remains unclear. To address this, we study the infinite width and depth limits of PCNs. For linear residual networks, we show that the set of width- and depth-stable feature-learning parameterisations for PC is exactly the same as for BP. Moreover, under any of these parameterisations, the PC energy with equilibrated activities converges to the BP loss in a regime where the model width is much larger than the depth, resulting in PC computing the same gradients as BP. Experiments show that these results hold in practice for deep nonlinear networks, as long as an activity equilibrium seem to be reached. Overall, this work unifies various previous theoretical and empirical results and has potentially important implications for the scaling of PCNs.
• Abstract（参考訳）: 予測符号化(英: Predictive coding、PC)は、標準バックプロパゲーション(BP)に代わる生物学的に妥当な代替品であり、重みを更新する前にネットワーク活動に関してエネルギー関数を最小化する。 最近の研究は、BPにインスパイアされた再パラメータ化を利用して、深層PCN(Deep PC Network)のトレーニング安定性を改善している。 しかし、これらのアプローチの完全なスケーラビリティと理論的基盤は未だ不明である。 そこで本研究では,PCNの無限幅と深さ限界について検討する。 線形残差ネットワークでは,PC の幅と深さの安定な特徴学習パラメータの集合が BP と全く同じであることを示す。 さらに、これらのパラメータ化のいずれかの下で、平衡活性を持つPCエネルギーは、モデル幅が深さよりもはるかに大きい状態においてBP損失に収束し、その結果、PCはBPと同じ勾配を計算する。 実験により、これらの結果は、活性平衡が到達しているように見える限り、深い非線形ネットワークに対して実践可能であることが示された。 全体として、この研究は様々な理論的および実証的な結果を統一し、PCNのスケーリングに潜在的に重要な意味を持つ。

関連論文リスト

• Towards Scaling Deep Neural Networks with Predictive Coding: Theory and Practice [1.2691047660244335]
  バックプロパゲーション(BP)は、現代の人工知能を支えるディープニューラルネットワークをトレーニングするための標準アルゴリズムである。 この論文は、予測符号化(PC)という、より効率的な脳誘発アルゴリズムの研究である。
  論文  参考訳（メタデータ） (2025-10-24T14:47:49Z)
• Local Loss Optimization in the Infinite Width: Stable Parameterization of Predictive Coding Networks and Target Propagation [8.35644084613785]
  局所目標の2つの代表的設計に対して、無限幅極限における最大更新パラメータ化(mu$P)を導入する。 深層線形ネットワークを解析した結果,PCの勾配は1次勾配とガウス・ニュートン様勾配の間に介在していることが判明した。 我々は、特定の標準設定において、無限幅制限のPCは、一階勾配とよりよく似た振る舞いをすることを示した。
  論文  参考訳（メタデータ） (2024-11-04T11:38:27Z)
• Tight Stability, Convergence, and Robustness Bounds for Predictive Coding Networks [60.3634789164648]
  予測符号化(PC)のようなエネルギーベースの学習アルゴリズムは、機械学習コミュニティにおいて大きな注目を集めている。 動的システム理論のレンズを用いて,PCの安定性,堅牢性,収束性を厳密に解析する。
  論文  参考訳（メタデータ） (2024-10-07T02:57:26Z)
• A Theoretical Framework for Inference and Learning in Predictive Coding Networks [41.58529335439799]
  予測符号化(PC)は、計算神経科学において重要な理論である。 予測構成で訓練されたPCNの特性に関する包括的理論的解析を行う。
  論文  参考訳（メタデータ） (2022-07-21T04:17:55Z)
• A Theoretical View of Linear Backpropagation and Its Convergence [55.69505060636719]
  バックプロパゲーション(BP)はディープニューラルネットワーク(DNN)の勾配を計算するために広く用いられている 最近では、NinBPと呼ばれるBPの線形変種が導入され、ブラックボックス攻撃を行うためのより伝達可能な逆の例が生み出された。 本稿では,LinBPのニューラルネットワーク関連学習課題における理論的解析について述べる。
  論文  参考訳（メタデータ） (2021-12-21T07:18:00Z)
• Towards Evaluating and Training Verifiably Robust Neural Networks [81.39994285743555]
  We study the relationship between IBP and CROWN, and prove that CROWN are always tight than IBP when select each bounding lines。 線形結合伝播(LBP) CROWNの緩やかなバージョンを提案する。これは、大きなネットワークを検証して、より低い検証エラーを得るのに使用できる。
  論文  参考訳（メタデータ） (2021-04-01T13:03:48Z)
• Predictive Coding Can Do Exact Backpropagation on Convolutional and Recurrent Neural Networks [40.51949948934705]
  予測符号化ネットワーク(PCN)は、脳内の情報処理に影響を及ぼすモデルである。 BPは現代の機械学習において最も成功した学習方法と考えられている。 生物学的に妥当なアルゴリズムは複雑なアーキテクチャ上でBPの精度を正確に再現できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T14:57:01Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [62.43908463620527]
  実際には、EPはMNISTよりも難しい視覚タスクにスケールしない。 我々は、有限なヌーディングの使用に固有のEPの勾配推定のバイアスがこの現象に責任があることを示しています。 これらの結果は、EPをディープニューラルネットワークにおける誤差勾配を計算するスケーラブルなアプローチとして強調し、ハードウェア実装を動機付けている。
  論文  参考訳（メタデータ） (2021-01-14T10:23:40Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [65.13042449121411]
  実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。 有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。 これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
  論文  参考訳（メタデータ） (2020-06-06T09:36:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。