論文の概要: Towards Scaling Deep Neural Networks with Predictive Coding: Theory and Practice

• arxiv url: http://arxiv.org/abs/2510.23323v2
• Date: Wed, 29 Oct 2025 16:59:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 13:34:45.447735
• Title: Towards Scaling Deep Neural Networks with Predictive Coding: Theory and Practice
• Title（参考訳）: 予測符号化によるディープニューラルネットワークのスケーリング:理論と実践
• Authors: Francesco Innocenti,
• Abstract要約: バックプロパゲーション(BP)は、現代の人工知能を支えるディープニューラルネットワークをトレーニングするための標準アルゴリズムである。 この論文は、予測符号化(PC)という、より効率的な脳誘発アルゴリズムの研究である。
• 参考スコア（独自算出の注目度）: 1.2691047660244335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Backpropagation (BP) is the standard algorithm for training the deep neural networks that power modern artificial intelligence including large language models. However, BP is energy inefficient and unlikely to be implemented by the brain. This thesis studies an alternative, potentially more efficient brain-inspired algorithm called predictive coding (PC). Unlike BP, PC networks (PCNs) perform inference by iterative equilibration of neuron activities before learning or weight updates. Recent work has suggested that this iterative inference procedure provides a range of benefits over BP, such as faster training. However, these advantages have not been consistently observed, the inference and learning dynamics of PCNs are still poorly understood, and deep PCNs remain practically untrainable. Here, we make significant progress towards scaling PCNs by taking a theoretical approach grounded in optimisation theory. First, we show that the learning dynamics of PC can be understood as an approximate trust-region method using second-order information, despite explicitly using only first-order local updates. Second, going beyond this approximation, we show that PC can in principle make use of arbitrarily higher-order information, such that for feedforward networks the effective landscape on which PC learns is far more benign and robust to vanishing gradients than the (mean squared error) loss landscape. Third, motivated by a study of the inference dynamics of PCNs, we propose a new parameterisation called "$\mu$PC", which for the first time allows stable training of 100+ layer networks with little tuning and competitive performance on simple tasks. Overall, this thesis significantly advances our fundamental understanding of the inference and learning dynamics of PCNs, while highlighting the need for future research to focus on hardware co-design if PC is to compete with BP at scale.
• Abstract（参考訳）: バックプロパゲーション(BP)は、大規模言語モデルを含む現代の人工知能を駆動するディープニューラルネットワークをトレーニングするための標準アルゴリズムである。 しかし、BPはエネルギー非効率であり、脳によって実装される可能性は低い。 この論文は、予測符号化(PC)と呼ばれる、より効率的な脳誘発アルゴリズムの研究である。 BPと異なり、PCN(PC Network)は学習や体重更新の前に神経活動の反復的平衡によって推論を行う。 最近の研究は、この反復推論手順が、高速なトレーニングなど、BPよりも幅広い利点をもたらすことを示唆している。 しかし、これらの利点は一貫して観察されておらず、PCNの推論と学習のダイナミクスはいまだに理解されておらず、深層PCNは事実上訓練不能のままである。 ここでは、最適化理論に基づく理論的なアプローチを採り、PCNのスケーリングに向けて大きな進歩を遂げる。 まず,第1次ローカル更新のみを明示的に用いながら,第2次情報を用いた近似信頼領域法としてPCの学習力学が理解可能であることを示す。 第二に、この近似を超えて、PCは原則として、フィードフォワードネットワークにおいて、PCが学習する効果的な景観は、(平均二乗誤差)損失ランドスケープよりもはるかに良質で堅牢であることを示す。 第3に、PCNの推論力学の研究を動機として、100以上のネットワークを安定的にトレーニングできる「$\mu$PC」という新しいパラメータ化を提案する。 全体として、この論文はPCNの推論と学習のダイナミクスに関する根本的な理解を著しく向上させ、PCがBPと大規模に競合するならば、ハードウェア共同設計に重点を置くことの必要性を強調している。

関連論文リスト

• Tight Stability, Convergence, and Robustness Bounds for Predictive Coding Networks [60.3634789164648]
  予測符号化(PC)のようなエネルギーベースの学習アルゴリズムは、機械学習コミュニティにおいて大きな注目を集めている。 動的システム理論のレンズを用いて,PCの安定性,堅牢性,収束性を厳密に解析する。
  論文  参考訳（メタデータ） (2024-10-07T02:57:26Z)
• Predictive Coding Networks and Inference Learning: Tutorial and Survey [0.7510165488300368]
  予測符号化ネットワーク(PCN)は、予測符号化の神経科学的な枠組みに基づいている。 バックプロパゲーション(BP)で訓練された従来のニューラルネットワークとは異なり、PCNは推論学習(IL)を利用する。 本質的に確率的(グラフィック的)潜在変数モデルとして、PCNは教師付き学習と教師なし(生成的)モデリングの両方に汎用的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:20Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Understanding Predictive Coding as an Adaptive Trust-Region Method [0.0]
  我々は,2次情報を用いた適応信頼領域(TR)アルゴリズムとしてPCの理論を開発する。 我々は,PCの学習力学を,BPの損失勾配方向とPC推論のTR方向との補間と解釈できることを示した。
  論文  参考訳（メタデータ） (2023-05-29T16:25:55Z)
• A Theoretical Framework for Inference and Learning in Predictive Coding Networks [41.58529335439799]
  予測符号化(PC)は、計算神経科学において重要な理論である。 予測構成で訓練されたPCNの特性に関する包括的理論的解析を行う。
  論文  参考訳（メタデータ） (2022-07-21T04:17:55Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• Predictive Coding Can Do Exact Backpropagation on Convolutional and Recurrent Neural Networks [40.51949948934705]
  予測符号化ネットワーク(PCN)は、脳内の情報処理に影響を及ぼすモデルである。 BPは現代の機械学習において最も成功した学習方法と考えられている。 生物学的に妥当なアルゴリズムは複雑なアーキテクチャ上でBPの精度を正確に再現できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T14:57:01Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。