論文の概要: Scaling Equilibrium Propagation to Deeper Neural Network Architectures
- arxiv url: http://arxiv.org/abs/2509.26003v1
- Date: Tue, 30 Sep 2025 09:34:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-01 17:09:04.493876
- Title: Scaling Equilibrium Propagation to Deeper Neural Network Architectures
- Title（参考訳）: より深いニューラルネットワークアーキテクチャへの平衡伝播のスケーリング
- Authors: Sankar Vinayak. E. P, Gopalakrishnan Srinivasan,
- Abstract要約: 活性化関数として$mathrmReLU$をクリップしたホップフィールドネットワークに残差(またはスキップ)接続を組み込んだホップフィールド・レスネットアーキテクチャを導入する。
Hopfield-Resnet13はCIFAR-10で93.92%の精度を実現している。
- 参考スコア（独自算出の注目度）: 0.5565728870245015
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Equilibrium propagation has been proposed as a biologically plausible alternative to the backpropagation algorithm. The local nature of gradient computations, combined with the use of convergent RNNs to reach equilibrium states, make this approach well-suited for implementation on neuromorphic hardware. However, previous studies on equilibrium propagation have been restricted to networks containing only dense layers or relatively small architectures with a few convolutional layers followed by a final dense layer. These networks have a significant gap in accuracy compared to similarly sized feedforward networks trained with backpropagation. In this work, we introduce the Hopfield-Resnet architecture, which incorporates residual (or skip) connections in Hopfield networks with clipped $\mathrm{ReLU}$ as the activation function. The proposed architectural enhancements enable the training of networks with nearly twice the number of layers reported in prior works. For example, Hopfield-Resnet13 achieves 93.92\% accuracy on CIFAR-10, which is $\approx$3.5\% higher than the previous best result and comparable to that provided by Resnet13 trained using backpropagation.
- Abstract（参考訳）: 平衡伝播は、バックプロパゲーションアルゴリズムの生物学的に妥当な代替として提案されている。
勾配計算の局所的性質は、収束RNNを用いて平衡状態に達することと相まって、このアプローチはニューロモルフィックハードウェアの実装に適している。
しかし、従来の平衡伝播の研究は、密度層のみを含むネットワークや、少数の畳み込み層を持つ比較的小さなアーキテクチャ、そして最終的な密度層を含むネットワークに限られていた。
これらのネットワークは、バックプロパゲーションで訓練された同様の大きさのフィードフォワードネットワークと比較して、精度にかなりの差がある。
本稿では,活性化関数として$\mathrm{ReLU}$をクリップしたホップフィールドネットワークにおける残差(あるいはスキップ)接続を組み込んだホップフィールド・レスネットアーキテクチャを提案する。
提案されたアーキテクチャ拡張により、以前の作業で報告されたレイヤ数の約2倍のネットワークのトレーニングが可能になる。
例えば、Hopfield-Resnet13はCIFAR-10で93.92\%の精度を実現している。
関連論文リスト
- Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。
本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
論文 参考訳（メタデータ） (2024-06-06T23:19:57Z) - Towards Generalized Entropic Sparsification for Convolutional Neural Networks [0.0]
畳み込みニューラルネットワーク(CNN)は過度にパラメータ化されていると報告されている。
本稿では,計算可能エントロピー緩和を目的とした数学的アイデアに基づく層間データ駆動プルーニング手法を提案する。
スパースサブネットワークは、ネットワークエントロピー最小化をスペーサ性制約として使用した、事前訓練された(フル)CNNから得られる。
論文 参考訳（メタデータ） (2024-04-06T21:33:39Z) - Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。
LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。
提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
論文 参考訳（メタデータ） (2023-08-23T10:48:28Z) - Set-based Neural Network Encoding Without Weight Tying [91.37161634310819]
本稿では,ネットワーク特性予測のためのニューラルネットワーク重み符号化手法を提案する。
我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。
ニューラルネットワークのプロパティ予測には,クロスデータセットとクロスアーキテクチャという,2つの新しいタスクを導入する。
論文 参考訳（メタデータ） (2023-05-26T04:34:28Z) - Scalable Lipschitz Residual Networks with Convex Potential Flows [120.27516256281359]
残差ネットワーク勾配流における凸ポテンシャルを用いることで,1ドルのLipschitz変換が組み込まれていることを示す。
CIFAR-10の包括的な実験は、アーキテクチャのスケーラビリティと、証明可能な防御に$ell$のアプローチの利点を実証している。
論文 参考訳（メタデータ） (2021-10-25T07:12:53Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳（メタデータ） (2021-08-28T20:39:54Z) - Pruning Neural Networks with Interpolative Decompositions [5.377278489623063]
本稿では,ニューラルネットワークのプルーニングに対する原理的アプローチを導入し,その問題を低ランク行列近似として定式化する。
まず、プリミティブのセットを構築して、1つの完全に接続された畳み込み層をプルークする方法を実証する。
我々は,CIFAR-10上でVGG-16を用いて93.62$pm$0.36%の精度を実現し,FLOPSを51%削減した。
論文 参考訳（メタデータ） (2021-07-30T20:13:49Z) - Gradient-trained Weights in Wide Neural Networks Align Layerwise to
Error-scaled Input Correlations [11.176824373696324]
我々は、勾配降下によって訓練された非線形活性化を伴う無限幅ニューラルネットワークの層方向の重みダイナミクスを導出する。
我々は、バックプロパゲーションと同じアライメントを理論的に達成するバックプロパゲーションフリー学習ルール、Align-zeroとAlign-adaを定式化した。
論文 参考訳（メタデータ） (2021-06-15T21:56:38Z) - Convolutional Neural Network Training with Distributed K-FAC [14.2773046188145]
Kronecker-factored Approximate Curvature (K-FAC)はFisher Information Matrixの近似として最近提案されている。
本稿では、大規模畳み込みニューラルネットワーク(CNN)トレーニングにおけるスケーラブルなK-FAC設計とその適用性について検討する。
論文 参考訳（メタデータ） (2020-07-01T22:00:53Z) - Fitting the Search Space of Weight-sharing NAS with Graph Convolutional
Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。
この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文 参考訳（メタデータ） (2020-04-17T19:12:39Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。