論文の概要: Training a Predictive Coding Network on ImageNet using Equilibrium Propagation

• arxiv url: http://arxiv.org/abs/2606.03584v1
• Date: Tue, 02 Jun 2026 12:52:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.006462
• Title: Training a Predictive Coding Network on ImageNet using Equilibrium Propagation
• Title（参考訳）: 平衡伝播を用いた画像ネット上の予測符号化ネットワークの訓練
• Authors: Tugdual Kerjan, Rasmus Høier, Benjamin Scellier,
• Abstract要約: そこで我々は, EP の集中型変種と PCN の新たな平衡スキームを組み合わせた PCN の EP ベーストレーニング手法を開発した。 私たちの知る限り、これはImageNetスケールでのPCNとEPベースのトレーニングの初めての実演です。
• 参考スコア（独自算出の注目度）: 4.588028371034407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Equilibrium Propagation (EP) is a physics-based training framework that has primarily been employed in energy-based models, including continuous Hopfield networks, nonlinear resistive networks and coupled phase oscillators. However, EP's practical applications have so far remained limited to relatively small-scale problems. Predictive coding networks (PCNs), another class of energy-based models rooted in computational neuroscience, are typically trained with a specialized algorithm and have likewise not yet been demonstrated at large scale. In this work, we develop an EP-based training method for PCNs which combines the centered variant of EP with a novel equilibration scheme for PCNs. Using this approach, we train a 10-layer convolutional PCN (VGG10) on full-size ImageNet, achieving 13.23\% test error rate on the top-5 classification task, close to the 12.2\% backpropagation baseline. To our knowledge, this is the first demonstration of both PCNs and EP-based training at ImageNet scale. These results significantly extend the scalability of both approaches and suggest that the primary challenges in scaling EP in other physical systems may come more from the computational properties of these systems than from inherent limitations of the EP framework.
• Abstract（参考訳）: Equilibrium Propagation (EP) は物理学に基づくトレーニングフレームワークであり、連続ホップフィールドネットワーク、非線形抵抗ネットワーク、結合相発振器など、主にエネルギーベースのモデルに使用されている。 しかし、EPの実用的応用はいまだに比較的小規模な問題に限られている。 予測符号化ネットワーク(PCN)は、計算神経科学に根ざした別のエネルギーベースモデルであり、通常は特殊なアルゴリズムで訓練されている。 そこで本研究では,集中型EPとPCNの新たな平衡方式を組み合わせたPCNのためのEPベースのトレーニング手法を提案する。 このアプローチを用いて、フルサイズのImageNet上で10層畳み込みPCN (VGG10) をトレーニングし、トップ5分類タスクにおいて、12.2\%のバックプロパゲーションベースラインに近い13.23\%のテストエラー率を達成する。 私たちの知る限り、これはImageNetスケールでのPCNとEPベースのトレーニングの初めての実演です。 これらの結果は、両方のアプローチのスケーラビリティを大幅に拡張し、他の物理システムにおけるEPのスケーリングにおける主な課題は、EPフレームワーク固有の制限よりも、これらのシステムの計算特性から生じる可能性があることを示唆している。

関連論文リスト

• Harnessing uncertainty when learning through Equilibrium Propagation in neural networks [0.0]
  平衡伝播(Equilibrium Propagation)は、局所的な神経活動を用いてネットワークパラメータを訓練する教師付き学習アルゴリズムである。 本研究では,物理的不確実性を含むハードウェア上でEPが学習できることを評価する。 この結果から, 深層ニューラルネットワークアーキテクチャは, 有限不確実性が存在する場合, EPを用いて順調に学習できることが示唆された。
  論文  参考訳（メタデータ） (2025-03-28T18:16:39Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• A Theoretical Framework for Inference and Learning in Predictive Coding Networks [41.58529335439799]
  予測符号化(PC)は、計算神経科学において重要な理論である。 予測構成で訓練されたPCNの特性に関する包括的理論的解析を行う。
  論文  参考訳（メタデータ） (2022-07-21T04:17:55Z)
• Training Dynamical Binary Neural Networks with Equilibrium Propagation [6.36588936481024]
  EPは2つのアクティベーションと重みで動的ネットワークをトレーニングできることを示す。 まず,MNIST 上の標準 EP で訓練された完全精度モデルと同等の精度で,二値重みと完全精度のアクティベーションを持つシステムを訓練する。 次に、本手法をMNIST上でのバイナリアクティベーションと重み付きモデルのトレーニングに拡張し、完全精度基準の1%以内の精度を達成する。
  論文  参考訳（メタデータ） (2021-03-16T10:24:13Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [62.43908463620527]
  実際には、EPはMNISTよりも難しい視覚タスクにスケールしない。 我々は、有限なヌーディングの使用に固有のEPの勾配推定のバイアスがこの現象に責任があることを示しています。 これらの結果は、EPをディープニューラルネットワークにおける誤差勾配を計算するスケーラブルなアプローチとして強調し、ハードウェア実装を動機付けている。
  論文  参考訳（メタデータ） (2021-01-14T10:23:40Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [65.13042449121411]
  実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。 有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。 これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
  論文  参考訳（メタデータ） (2020-06-06T09:36:07Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)
• Equilibrium Propagation with Continual Weight Updates [69.87491240509485]
  時間によるバックプロパゲーション(BPTT)と密接に一致する勾配を計算し、機械学習と神経科学を橋渡しする学習アルゴリズムを提案する。 理論的には、学習速度が十分に小さい場合、第2相の各段階において、BPTTが与える損失の勾配に従ってニューロンとシナプスのダイナミクスが従うことを証明している。 これらの結果からEPは,後方伝播との親密な関係を維持しつつ,ハードウェアの制約に順応し,生物学に一歩近づいた。
  論文  参考訳（メタデータ） (2020-04-29T14:54:30Z)
• Continual Weight Updates and Convolutional Architectures for Equilibrium Propagation [69.87491240509485]
  Equilibrium Propagation (EP)は、ニューラルネットワークのトレーニングのためのバックプロパゲーション(BP)に対する生物学的にインスパイアされた代替アルゴリズムである。 本稿では,方程式の簡易化,学習の高速化,CNNへのEP拡張を可能にするEPの離散時間定式化を提案する。 我々のCNNモデルは、EPでMNISTで報告された最高のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-04-29T12:14:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。