論文の概要: Natural Gradient Learning in Predictive Coding through Lateral Circuits
- arxiv url: http://arxiv.org/abs/2611.16666v1
- Date: Thu, 12 Nov 2026 11:42:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.460385
- Title: Natural Gradient Learning in Predictive Coding through Lateral Circuits
- Title(参考訳): 横方向回路による予測符号化における自然なグラディエント学習
- Abstract要約: 予測符号化(PC)列車は、バックプロパゲーション(BP)が必要とするグローバルエラー信号に依存しない。
Natural PCは、標準のPCを横方向の回路で拡張し、空間と時間で局所的に正確かつ効率的な自然勾配学習を可能にする。
この結果から,局所的な自然学習は,PCとBPの競合関係を再現作業における標本効率と計算コストの両面で示している。
- 参考スコア(独自算出の注目度): 3.052058286164152
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Predictive coding (PC) trains neural networks through local energy-minimization dynamics without depending on a global error signal that backpropagation (BP) requires. Although PC is a promising alternative algorithm for efficient learning, the computational cost of inference dynamics currently outweighs the resulting learning benefits in practice. In this work, we take inspiration from optimization theory to extract more learning benefit from each inference phase. We introduce Natural PC, which augments standard PC with a lateral circuit, enabling exact and efficient natural gradient learning locally in space and time. Our lateral circuit learns the activity correlations that determine the Fisher information matrix and implicitly computes its inverse, avoiding expensive matrix inversion. Across all tested image reconstruction benchmarks, Natural PC achieves state of the art in terms of sample and compute efficiency compared to existing PC approaches. Most notably, Natural PC scales to ImageNet and matches the performance of BP trained with AdamW and various second-order optimizers at an order of magnitude lower computational cost while also using two orders of magnitude fewer training samples. Our results demonstrate that local natural gradient learning makes PC competitive with BP in both sample efficiency and computational cost in reconstruction tasks.
- Abstract(参考訳): 予測符号化(PC)は、バックプロパゲーション(BP)が必要とするグローバルエラー信号に依存することなく、局所的なエネルギー最小化ダイナミクスを通じてニューラルネットワークを訓練する。
PCは効率的な学習のための有望な代替アルゴリズムであるが、推論力学の計算コストは現在、実際の学習の利点よりも優れている。
本研究では、最適化理論からインスピレーションを得て、各推論フェーズからより多くの学習効果を抽出する。
本研究では,標準PCを横方向の回路で拡張し,空間と時間で局所的に正確な,効率的な自然勾配学習を可能にするNatural PCを紹介する。
我々の横方向回路は、フィッシャー情報行列を決定するアクティビティ相関を学習し、その逆を暗黙的に計算し、高価な行列逆転を避ける。
テストされたすべての画像再構成ベンチマークにおいて、Natural PCは、既存のPCアプローチと比較して、サンプルおよび計算効率の面で最先端を達成する。
特に、Natural PCはImageNetにスケールし、AdamWと様々な2階オプティマイザでトレーニングされたBPのパフォーマンスを桁違いの計算コストで比較すると同時に、2桁のトレーニングサンプルを使用する。
この結果から,局所的な自然勾配学習は,PCとBPの競合関係を再現作業における標本効率と計算コストの両面で示している。
関連論文リスト
- Understanding Sample Efficiency in Predictive Coding [5.299779650604401]
小規模な実験により、予測符号化(PC)は、多くの文脈においてよりサンプル効率が高く効果的な学習を可能にすることが示された。
BPとPCの学習効率をターゲットアライメントと呼ばれる指標を用いて定量化する」
我々は,特に深層,狭部,事前学習ネットワークにおいて,PCでの学習がBPよりも効率的であることを示す。
論文 参考訳(メタデータ) (2026-05-12T10:24:20Z) - Efficient Online Learning with Predictive Coding Networks: Exploiting Temporal Correlations [26.073347035678342]
Predictive Coding (PC)フレームワークは、ローカルなHebbianライクな更新ルールで生物学的に妥当な代替手段を提供する。
本稿では,時間的補正を伴う予測符号化ネットワーク(PCN-TA)について述べる。
COIL-20ロボット認識データセットの実験では、PCN-TAはバックプロパゲーションよりも10%少ない重量更新を達成した。
論文 参考訳(メタデータ) (2025-10-29T22:09:53Z) - Towards Scaling Deep Neural Networks with Predictive Coding: Theory and Practice [1.2691047660244335]
バックプロパゲーション(BP)は、現代の人工知能を支えるディープニューラルネットワークをトレーニングするための標準アルゴリズムである。
この論文は、予測符号化(PC)という、より効率的な脳誘発アルゴリズムの研究である。
論文 参考訳(メタデータ) (2025-10-24T14:47:49Z) - Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。
LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。
提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
論文 参考訳(メタデータ) (2023-08-23T10:48:28Z) - ETLP: Event-based Three-factor Local Plasticity for online learning with
neuromorphic hardware [105.54048699217668]
イベントベース3要素局所塑性(ETLP)の計算複雑性に明らかな優位性を有する精度の競争性能を示す。
また, 局所的可塑性を用いた場合, スパイキングニューロンの閾値適応, 繰り返しトポロジーは, 時間的構造が豊富な時間的パターンを学習するために必要であることを示した。
論文 参考訳(メタデータ) (2023-01-19T19:45:42Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive
Coding Networks [65.34977803841007]
予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。
シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
論文 参考訳(メタデータ) (2022-11-16T00:11:04Z) - Activation Relaxation: A Local Dynamical Approximation to
Backpropagation in the Brain [62.997667081978825]
活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。
我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
論文 参考訳(メタデータ) (2020-09-11T11:56:34Z) - Predictive Coding Approximates Backprop along Arbitrary Computation
Graphs [68.8204255655161]
我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。
私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。
本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
論文 参考訳(メタデータ) (2020-06-07T15:35:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。