論文の概要: Error Highways: Scaling Predictive Coding to Very Deep Networks
- arxiv url: http://arxiv.org/abs/2606.22744v1
- Date: Mon, 22 Jun 2026 01:12:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 04:52:52.85078
- Title: Error Highways: Scaling Predictive Coding to Very Deep Networks
- Title（参考訳）: エラーハイウェイ: 非常に深いネットワークへの予測的コーディングのスケーリング
- Authors: Amirhossein Mohammadi, Alexander G. Ororbia,
- Abstract要約: 予測符号化ネットワーク(PCN)は、生物学的に証明可能な、局所学習の代替として、エラーのバックプロパゲーション(バックプロップ)を提供する
PCNのスケーリングにおける中心的な障害は、学習信号がひび割れた境界から遠ざかるにつれて急速に減衰することである。
予測符号化(PC)に基づく自由エネルギー関数を,その神経構造を変化させることで拡張する手法であるハイウェイエラー伝搬(HEP)を提案する。
- 参考スコア（独自算出の注目度）: 45.88028371034407
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Predictive coding networks (PCNs) offer a biologically-plausible, local-learning alternative to back-propagation of errors (backprop). Nevertheless, they have remained largely confined to shallow architectures and evaluated on simple machine intelligence benchmarks. A central obstacle to scaling PCNs is that the learning signal decays rapidly as it propagates away from the clamped boundaries, leaving interior layers effectively unchanged. To directly counter this problem, we propose highway error propagation (HEP), a scheme that augments the free energy function underlying predictive coding (PC) by altering its neural structure with feedback matrices $V_{L\to i}$ that couple selected hidden states directly to the clamped output error. Since this coupling is linear in the hidden state, the highway pathway delivers a correction at every inference step whose magnitude is independent of depth, in contrast to vanilla PC where the output error reaches the $i$-th hidden layer with attenuation that decays exponentially in depth. This bypasses the Jacobian chain while preserving the local PC synaptic update rule. On MNIST and Fashion-MNIST, we show that HEP effectively trains MLPs of up to 128 layers with accuracy that is robust with respect to depth.
- Abstract（参考訳）: 予測符号化ネットワーク(PCN)は、生物学的に証明可能な、局所学習の代替として、エラーのバックプロパゲーション(バックプロップ)を提供する。
それでも、それらは浅いアーキテクチャに限られており、単純なマシンインテリジェンスベンチマークで評価されている。
PCNのスケーリングにおける中心的な障害は、学習信号がひび割れた境界から遠ざかるにつれて急速に減衰し、内部層は実質的に変化しないことである。
この問題を直接的に解決するために、我々は、ニューラルネットワーク構造をフィードバック行列で変更することにより、自由エネルギー関数に基づく予測符号化(PC)を強化する手法であるハイウェイエラー伝搬(HEP)を提案する。
ハイウェイ経路は、この結合が隠蔽状態において線形であるため、出力誤差が指数関数的に減衰するi$-th隠蔽層に達するバニラPCとは対照的に、大きさが深さに依存しない全ての推論ステップで補正を行う。
これは、ローカルPCシナプス更新ルールを維持しながら、ヤコビ連鎖をバイパスする。
MNIST と Fashion-MNIST では,HEP が最大128層までの MLP を,深さに対して頑健な精度で効果的に訓練できることが示されている。
関連論文リスト
- Closed-form predictive coding via hierarchical Gaussian filters [33.92034506804344]
予測符号化は、ニューラルネットワークのトレーニングにおけるバックプロパゲーションに代わる、局所的かつ生物学的に基礎付けられた代替手段を提供する。
FashionMNISTでは,エピックレベルの壁面コストを低く抑えながらバックプロパゲーションにアプローチする。
オンライン精度学習によるクローズドフォーム変分推論は、深層予測符号ネットワークの抽出可能な基盤を提供する。
論文 参考訳（メタデータ） (2026-05-19T10:11:41Z) - Accelerated Predictive Coding Networks via Direct Kolen-Pollack Feedback Alignment [7.328567184271344]
予測符号化(PC)は、局所的な更新のみに依存するニューラルネットワークをトレーニングするための生物学的にインスパイアされたアルゴリズムである。
直接コレン・ポラック予測符号化(DKP-PC)を提案する。
フィードバック遅延と指数減衰の両方に同時に対処し、より効率的でスケーラブルなPCを提供する。
論文 参考訳（メタデータ） (2026-02-17T13:29:14Z) - INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。
$mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。
大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
論文 参考訳（メタデータ） (2025-11-16T20:14:28Z) - Bio-Inspired Artificial Neural Networks based on Predictive Coding [7.500043032028289]
エラーのバックプロパゲーション(BP)は、人工ニューラルネットワーク(ANN)のバックボーントレーニングアルゴリズムである
BPはチェーンルールを使用してネットワーク階層を通して損失勾配を後方に伝播し、効率的な重み更新を可能にする。
予測符号化(PC)は、局所情報のみを使用して重みを更新する生物学的に妥当な代替手段として関心を集めている。
論文 参考訳（メタデータ） (2025-08-12T09:09:16Z) - ePC: Overcoming Exponential Signal Decay in Deep Predictive Coding Networks [9.400040788307223]
Predictive Coding (PC)は、ニューラルネットワークトレーニングのバックプロパゲーションに生物学的に妥当な代替手段を提供する。
本稿では根本原因を特定し,原理的解法を提案する。
論文 参考訳（メタデータ） (2025-05-26T15:39:16Z) - Find A Winning Sign: Sign Is All We Need to Win the Lottery [52.63674911541416]
既存のIP手法によって訓練されたスパースネットワークは,パラメータ記号と正規化層パラメータが保存されている場合,アトラクションの基盤を保持することができることを示す。
本手法により訓練されたスパースネットワークと正規化層パラメータとの線形経路における高い誤差障壁を防止し, 正規化層パラメータへの依存を緩和する。
論文 参考訳（メタデータ） (2025-04-07T09:30:38Z) - LipKernel: Lipschitz-Bounded Convolutional Neural Networks via Dissipative Layers [0.0468732641979009]
本稿では,畳み込みニューラルネットワーク(CNN)の階層的パラメータ化を提案する。
提案手法は,2次元ロエサー型状態空間モデルを用いて,散逸型畳み込みカーネルを直接パラメータ化する。
提案手法を用いた実行時間は,最先端のリプシッツ有界ネットワークよりも桁違いに高速であることを示す。
論文 参考訳（メタデータ） (2024-10-29T17:20:14Z) - Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。
最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。
我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
論文 参考訳（メタデータ） (2022-11-24T19:09:44Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳（メタデータ） (2020-10-01T17:51:49Z) - LoCo: Local Contrastive Representation Learning [93.98029899866866]
重なり合うローカルブロックが重なり合うことで、デコーダの深さを効果的に増加させ、上位ブロックが暗黙的に下位ブロックにフィードバックを送ることができることを示す。
このシンプルな設計は、ローカル学習とエンドツーエンドのコントラスト学習アルゴリズムのパフォーマンスギャップを初めて埋める。
論文 参考訳（メタデータ） (2020-08-04T05:41:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。