論文の概要: ePC: Overcoming Exponential Signal Decay in Deep Predictive Coding Networks

• arxiv url: http://arxiv.org/abs/2505.20137v3
• Date: Mon, 29 Sep 2025 15:58:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 17:47:08.987956
• Title: ePC: Overcoming Exponential Signal Decay in Deep Predictive Coding Networks
• Title（参考訳）: ePC:Deep Predictive Coding Networksにおける指数信号の減少を乗り越える
• Authors: Cédric Goemaere, Gaspard Oliviers, Rafal Bogacz, Thomas Demeester,
• Abstract要約: Predictive Coding (PC)は、ニューラルネットワークトレーニングのバックプロパゲーションに生物学的に妥当な代替手段を提供する。 本稿では根本原因を特定し,原理的解法を提案する。
• 参考スコア（独自算出の注目度）: 9.400040788307223
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Predictive Coding (PC) offers a biologically plausible alternative to backpropagation for neural network training, yet struggles with deeper architectures. This paper identifies the root cause and provides a principled solution. We uncover that the canonical state-based formulation of PC (sPC) is, by design, deeply inefficient on digital hardware, due to an inherent signal decay problem that scales exponentially with depth. To address this fundamental limitation, we introduce a novel reparameterization of PC, named error-based PC (ePC), which does not suffer from signal decay. By optimizing over prediction errors rather than states, ePC enables signals to reach all layers simultaneously and unattenuated, converging orders of magnitude faster than sPC. Experiments across multiple architectures and datasets demonstrate that ePC matches backpropagation's performance even for deeper models where sPC struggles. Besides practical improvements, our work provides theoretical insight into PC dynamics and establishes a foundation for scaling bio-inspired learning to deeper architectures on digital hardware and beyond.
• Abstract（参考訳）: Predictive Coding (PC)は、ニューラルネットワークトレーニングのバックプロパゲーションに生物学的に妥当な代替手段を提供するが、より深いアーキテクチャに苦しむ。 本稿では根本原因を特定し,原理的解法を提案する。 我々は,PC (sPC) の標準状態に基づく定式化が,設計上,設計上,デジタルハードウェアに深く非効率であることを明らかにする。 この基本的限界に対処するために,信号減衰に悩まされないエラーベースのPC (ePC) を新たに導入する。 状態よりも予測エラーを最適化することにより、ePCは信号がすべての層に同時に到達し、不適合で、sPCよりも桁違いに早く収束することを可能にする。 複数のアーキテクチャとデータセットにわたる実験は、ePCがバックプロパゲーションのパフォーマンスにマッチすることを示した。 実践的な改善に加えて、我々の研究はPCのダイナミクスに関する理論的知見を提供し、バイオインスパイアされた学習をデジタルハードウェアのより深いアーキテクチャに拡張するための基盤を確立する。

関連論文リスト

• Optimal Depth of Neural Networks [2.1756081703276]
  本稿では,ニューラルネットワークの最適深さの決定に対処する公式な理論的枠組みを提案する。 我々は、シーケンシャルな決定プロセスとして、隠蔽表現の層間進化をモデル化する。 本稿では,ネットワークが効率よく早期終了可能な表現を学習することを奨励する,新規で実用的な正規化用語である$mathcalL_rm depth$を提案する。
  論文  参考訳（メタデータ） (2025-06-20T09:26:01Z)
• Neural Collapse is Globally Optimal in Deep Regularized ResNets and Transformers [33.441694038617506]
  クロスエントロピーや平均二乗誤差損失で訓練されたLayerNormを用いたディープ・正規化変圧器と残留ネットワーク(ResNet)のグローバル最適性がほぼ崩壊していることを証明する。 我々の理論的結果は、コンピュータビジョンと言語データセットの実験によって支持されており、深さが大きくなるにつれて神経崩壊が実際に顕著になることを示している。
  論文  参考訳（メタデータ） (2025-05-21T08:16:03Z)
• Local Loss Optimization in the Infinite Width: Stable Parameterization of Predictive Coding Networks and Target Propagation [8.35644084613785]
  局所目標の2つの代表的設計に対して、無限幅極限における最大更新パラメータ化(mu$P)を導入する。 深層線形ネットワークを解析した結果,PCの勾配は1次勾配とガウス・ニュートン様勾配の間に介在していることが判明した。 我々は、特定の標準設定において、無限幅制限のPCは、一階勾配とよりよく似た振る舞いをすることを示した。
  論文  参考訳（メタデータ） (2024-11-04T11:38:27Z)
• Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
  ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。 この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
  論文  参考訳（メタデータ） (2022-12-29T15:10:59Z)
• Consistency Training of Multi-exit Architectures for Sensor Data [0.07614628596146598]
  本稿では,一貫した出口訓練(Continuous exit training)と呼ばれるマルチエクイットアーキテクチャの堅牢なトレーニングのための,新規かつアーキテクチャに依存しないアプローチを提案する。 弱監督を利用して、モデルの出力を整合性トレーニングと整合させ、ネットワーク内の出口に対してマルチタスク学習方式で二重空間を協調的に最適化する。
  論文  参考訳（メタデータ） (2021-09-27T17:11:25Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• Phase Retrieval using Expectation Consistent Signal Recovery Algorithm based on Hypernetwork [73.94896986868146]
  位相検索は現代の計算イメージングシステムにおいて重要な要素である。 近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。 我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
  論文  参考訳（メタデータ） (2021-01-12T08:36:23Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。