論文の概要: Scalable Equilibrium Propagation via Intermediate Error Signals for Deep Convolutional CRNNs

• arxiv url: http://arxiv.org/abs/2508.15989v1
• Date: Thu, 21 Aug 2025 22:19:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 16:42:36.202764
• Title: Scalable Equilibrium Propagation via Intermediate Error Signals for Deep Convolutional CRNNs
• Title（参考訳）: 深い畳み込みCRNNのための中間誤差信号によるスケーラブル平衡伝播
• Authors: Jiaqi Lin, Malyaban Bal, Abhronil Sengupta,
• Abstract要約: Equilibrium Propagation (EP)は、収束性リカレントニューラルネットワーク(CRNN)のために最初に提案された生物学的にインスパイアされた局所学習規則である。 EPは、バックプロパゲーション・スルー・タイム(BPTT)によって計算されたものと密接に一致する勾配を推定し、計算要求を著しく減少させる。 本稿では,中間誤差信号を組み込んだ新しいEPフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 17.067785532606724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Equilibrium Propagation (EP) is a biologically inspired local learning rule first proposed for convergent recurrent neural networks (CRNNs), in which synaptic updates depend only on neuron states from two distinct phases. EP estimates gradients that closely align with those computed by Backpropagation Through Time (BPTT) while significantly reducing computational demands, positioning it as a potential candidate for on-chip training in neuromorphic architectures. However, prior studies on EP have been constrained to shallow architectures, as deeper networks suffer from the vanishing gradient problem, leading to convergence difficulties in both energy minimization and gradient computation. To address the vanishing gradient problem in deep EP networks, we propose a novel EP framework that incorporates intermediate error signals to enhance information flow and convergence of neuron dynamics. This is the first work to integrate knowledge distillation and local error signals into EP, enabling the training of significantly deeper architectures. Our proposed approach achieves state-of-the-art performance on the CIFAR-10 and CIFAR-100 datasets, showcasing its scalability on deep VGG architectures. These results represent a significant advancement in the scalability of EP, paving the way for its application in real-world systems.
• Abstract（参考訳）: 平衡伝播(Equilibrium Propagation、EP)は、収束性リカレントニューラルネットワーク(CRNN)に初めて提案された生物学的にインスパイアされた局所学習規則であり、シナプス更新は2つの異なるフェーズからのニューロン状態にのみ依存する。 EPは、バックプロパゲーション・スルー・タイム(BPTT)によって計算されたものと密接に一致する勾配を推定し、計算要求を著しく低減し、ニューロモルフィックアーキテクチャーにおけるオンチップトレーニングの候補として位置づけている。 しかし、EPに関する先行研究は、より深いネットワークが消滅する勾配問題に悩まされ、エネルギー最小化と勾配計算の両面で収束の困難が生じたため、浅いアーキテクチャに制約されている。 深部EPネットワークにおける消失勾配問題に対処するために,中間誤差信号を組み込んだ新しいEPフレームワークを提案し,情報フローとニューロンダイナミクスの収束性を高める。 これは知識蒸留と局所誤差信号をEPに統合し、より深いアーキテクチャのトレーニングを可能にする最初の試みである。 提案手法は,CIFAR-10およびCIFAR-100データセット上での最先端性能を実現し,深層VGGアーキテクチャ上でのスケーラビリティを示す。 これらの結果は、EPのスケーラビリティが大幅に向上し、現実世界のシステムにおけるその応用の道が開けたことを示している。

関連論文リスト

• Geminet: Learning the Duality-based Iterative Process for Lightweight Traffic Engineering in Changing Topologies [53.38648279089736]
  Geminetは軽量でスケーラブルなMLベースのTEフレームワークで、トポロジの変更を処理できる。 そのニューラルネットワークサイズは、既存のスキームの0.04%から7%に過ぎない。 大規模なトポロジでトレーニングすると、Geminetは10ギB未満のメモリを消費し、HARPが要求する80ギBの8倍以下である。
  論文  参考訳（メタデータ） (2025-06-30T09:09:50Z)
• Residual resampling-based physics-informed neural network for neutron diffusion equations [7.105073499157097]
  中性子拡散方程式は原子炉の解析において重要な役割を果たす。 従来のPINNアプローチでは、完全に接続されたネットワーク(FCN)アーキテクチャを利用することが多い。 R2-PINNは、現在の方法に固有の制限を効果的に克服し、中性子拡散方程式のより正確で堅牢な解を提供する。
  論文  参考訳（メタデータ） (2024-06-23T13:49:31Z)
• Towards Interpretable Deep Local Learning with Successive Gradient Reconciliation [70.43845294145714]
  グローバルバックプロパゲーション(BP)に対するニューラルネットワークトレーニングの信頼性の回復が、注目すべき研究トピックとして浮上している。 本稿では,隣接モジュール間の勾配調整を連続的に調整する局所的学習戦略を提案する。 提案手法はローカルBPとBPフリー設定の両方に統合できる。
  論文  参考訳（メタデータ） (2024-06-07T19:10:31Z)
• Neural variational Data Assimilation with Uncertainty Quantification using SPDE priors [28.804041716140194]
  ディープラーニングコミュニティの最近の進歩は、ニューラルネットワークと変分データ同化フレームワークを通じて、この問題に対処することができる。 本研究では、部分微分方程式(SPDE)とガウス過程(GP)の理論を用いて状態の空間的および時間的共分散を推定する。
  論文  参考訳（メタデータ） (2024-02-02T19:18:12Z)
• Reparameterization through Spatial Gradient Scaling [69.27487006953852]
  リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。 本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-05T17:57:33Z)
• Holomorphic Equilibrium Propagation Computes Exact Gradients Through Finite Size Oscillations [5.279475826661643]
  平衡伝播(Equilibrium propagation、EP)は、深層ニューラルネットワークの局所学習規則によるトレーニングを可能にするバックプロパゲーション(BP)の代替である。 この拡張が有限振幅の教示信号に対しても自然に正確な勾配をもたらすことを示す。 我々は、ImageNet 32x32データセット上でEPの最初のベンチマークを確立し、BPでトレーニングされた等価ネットワークの性能と一致することを示す。
  論文  参考訳（メタデータ） (2022-09-01T15:23:49Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [62.43908463620527]
  実際には、EPはMNISTよりも難しい視覚タスクにスケールしない。 我々は、有限なヌーディングの使用に固有のEPの勾配推定のバイアスがこの現象に責任があることを示しています。 これらの結果は、EPをディープニューラルネットワークにおける誤差勾配を計算するスケーラブルなアプローチとして強調し、ハードウェア実装を動機付けている。
  論文  参考訳（メタデータ） (2021-01-14T10:23:40Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [65.13042449121411]
  実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。 有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。 これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
  論文  参考訳（メタデータ） (2020-06-06T09:36:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。