論文の概要: Error Optimization: Overcoming Exponential Signal Decay in Deep Predictive Coding Networks

• arxiv url: http://arxiv.org/abs/2505.20137v1
• Date: Mon, 26 May 2025 15:39:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.576824
• Title: Error Optimization: Overcoming Exponential Signal Decay in Deep Predictive Coding Networks
• Title（参考訳）: 誤り最適化: 深部予測符号化ネットワークにおける指数信号の減衰を克服する
• Authors: Cédric Goemaere, Gaspard Oliviers, Rafal Bogacz, Thomas Demeester,
• Abstract要約: Predictive Coding (PC)は、ニューラルネットワークトレーニングのバックプロパゲーションに生物学的に妥当な代替手段を提供するが、より深いアーキテクチャに苦しむ。 本稿では、勾配が指数関数的に深さに減衰し、数値的精度の制約により計算的に無視できる固有信号減衰問題である根本原因を同定する。 この基本的な制限に対処するため,信号減衰を除去しながらPCの理論特性を保った新しい再パラメータ化であるエラー最適化(EO)を導入する。
• 参考スコア（独自算出の注目度）: 11.970327820917761
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Predictive Coding (PC) offers a biologically plausible alternative to backpropagation for neural network training, yet struggles with deeper architectures. This paper identifies the root cause: an inherent signal decay problem where gradients attenuate exponentially with depth, becoming computationally negligible due to numerical precision constraints. To address this fundamental limitation, we introduce Error Optimization (EO), a novel reparameterization that preserves PC's theoretical properties while eliminating signal decay. By optimizing over prediction errors rather than states, EO enables signals to reach all layers simultaneously and without attenuation, converging orders of magnitude faster than standard PC. Experiments across multiple architectures and datasets demonstrate that EO matches backpropagation's performance even for deeper models where conventional PC struggles. Besides practical improvements, our work provides theoretical insight into PC dynamics and establishes a foundation for scaling biologically-inspired learning to deeper architectures on digital hardware and beyond.
• Abstract（参考訳）: Predictive Coding (PC)は、ニューラルネットワークトレーニングのバックプロパゲーションに生物学的に妥当な代替手段を提供するが、より深いアーキテクチャに苦しむ。 本稿では、勾配が指数関数的に深さに減衰し、数値的精度の制約により計算的に無視できる固有信号減衰問題である根本原因を特定する。 この基本的な制限に対処するために,信号減衰を除去しながらPCの理論特性を保ちながら再パラメータ化を行うError Optimization (EO)を導入する。 状態よりも予測エラーを最適化することにより、EOは信号がすべての層に同時に到達し、減衰することなく、標準のPCよりも桁違いに早く収束することを可能にする。 複数のアーキテクチャとデータセットにわたる実験では、従来のPCが苦労するより深いモデルであっても、EOがバックプロパゲーションのパフォーマンスにマッチすることを示した。 実践的な改善に加えて、我々の研究はPCのダイナミクスに関する理論的洞察を提供し、生物学的にインスパイアされた学習をデジタルハードウェアのより深いアーキテクチャに拡張するための基盤を確立する。

関連論文リスト

• Neural Collapse is Globally Optimal in Deep Regularized ResNets and Transformers [33.441694038617506]
  クロスエントロピーや平均二乗誤差損失で訓練されたLayerNormを用いたディープ・正規化変圧器と残留ネットワーク(ResNet)のグローバル最適性がほぼ崩壊していることを証明する。 我々の理論的結果は、コンピュータビジョンと言語データセットの実験によって支持されており、深さが大きくなるにつれて神経崩壊が実際に顕著になることを示している。
  論文  参考訳（メタデータ） (2025-05-21T08:16:03Z)
• Local Loss Optimization in the Infinite Width: Stable Parameterization of Predictive Coding Networks and Target Propagation [8.35644084613785]
  局所目標の2つの代表的設計に対して、無限幅極限における最大更新パラメータ化(mu$P)を導入する。 深層線形ネットワークを解析した結果,PCの勾配は1次勾配とガウス・ニュートン様勾配の間に介在していることが判明した。 我々は、特定の標準設定において、無限幅制限のPCは、一階勾配とよりよく似た振る舞いをすることを示した。
  論文  参考訳（メタデータ） (2024-11-04T11:38:27Z)
• Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
  ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。 この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
  論文  参考訳（メタデータ） (2022-12-29T15:10:59Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• Phase Retrieval using Expectation Consistent Signal Recovery Algorithm based on Hypernetwork [73.94896986868146]
  位相検索は現代の計算イメージングシステムにおいて重要な要素である。 近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。 我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
  論文  参考訳（メタデータ） (2021-01-12T08:36:23Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。