論文の概要: Toward Practical Equilibrium Propagation: Brain-inspired Recurrent Neural Network with Feedback Regulation and Residual Connections

• arxiv url: http://arxiv.org/abs/2508.11659v1
• Date: Tue, 05 Aug 2025 15:07:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-24 10:27:26.480338
• Title: Toward Practical Equilibrium Propagation: Brain-inspired Recurrent Neural Network with Feedback Regulation and Residual Connections
• Title（参考訳）: 実践的平衡伝播に向けて:フィードバック制御と残差接続による脳誘発リカレントニューラルネットワーク
• Authors: Zhuo Liu, Tao Chen,
• Abstract要約: 生物学的にプラウブルなフィードバック制御型Residual Recurrent Neural Network (FRE-RNN) を提案し,その学習性能について検討した。 収束特性の改善は、EPの計算コストと列車運行時間を桁違いに削減する。 提案手法は,人工知能を駆使しない大規模ネットワークにおけるEPの適用性と実用性を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 7.464380138405363
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Brain-like intelligent systems need brain-like learning methods. Equilibrium Propagation (EP) is a biologically plausible learning framework with strong potential for brain-inspired computing hardware. However, existing im-plementations of EP suffer from instability and prohibi-tively high computational costs. Inspired by the structure and dynamics of the brain, we propose a biologically plau-sible Feedback-regulated REsidual recurrent neural network (FRE-RNN) and study its learning performance in EP framework. Feedback regulation enables rapid convergence by reducing the spectral radius. The improvement in con-vergence property reduces the computational cost and train-ing time of EP by orders of magnitude, delivering perfor-mance on par with backpropagation (BP) in benchmark tasks. Meanwhile, residual connections with brain-inspired topologies help alleviate the vanishing gradient problem that arises when feedback pathways are weak in deep RNNs. Our approach substantially enhances the applicabil-ity and practicality of EP in large-scale networks that un-derpin artificial intelligence. The techniques developed here also offer guidance to implementing in-situ learning in physical neural networks.
• Abstract（参考訳）: 脳のような知的なシステムは、脳のような学習方法を必要とする。 Equilibrium Propagation (EP)は、脳にインスパイアされたコンピューティングハードウェアに強い可能性を持つ生物学的に実証可能な学習フレームワークである。 しかし、既存のEPの補充は不安定さと不当に高い計算コストに悩まされている。 脳の構造と動力学に触発されて, 生物学的にプラウアブルなフィードバック制御型Residual Recurrent Neural Network (FRE-RNN) を提案し, EPフレームワークにおける学習性能について検討した。 フィードバック制御は、スペクトル半径を減少させることで、迅速な収束を可能にする。 コンバージェンス特性の改善により、EPの計算コストと列車運行時間を桁違いに削減し、ベンチマークタスクにおけるバックプロパゲーション(BP)と同等のパーフォルマンスを提供する。 一方、脳にインスパイアされたトポロジーとの残りの接続は、フィードバック経路が深いRNNで弱いときに生じる、消滅する勾配問題を緩和する。 提案手法は,人工知能を駆使しない大規模ネットワークにおけるEPの適用性と実用性を大幅に向上させる。 ここで開発されたテクニックは、物理ニューラルネットワークでその場学習を実装するためのガイダンスも提供する。

関連論文リスト

• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• Contribute to balance, wire in accordance: Emergence of backpropagation from a simple, bio-plausible neuroplasticity rule [0.0]
  我々は,脳にBPを実装するための潜在的なメカニズムを提供する新しい神経可塑性規則を導入する。 我々は,我々の学習規則が階層型ニューラルネットワークのBPを近似なしで正確に再現できることを数学的に証明した。
  論文  参考訳（メタデータ） (2024-05-23T03:28:52Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• An Unsupervised STDP-based Spiking Neural Network Inspired By Biologically Plausible Learning Rules and Connections [10.188771327458651]
  スパイク刺激依存性可塑性(STDP)は脳の一般的な学習規則であるが、STDPだけで訓練されたスパイクニューラルネットワーク(SNN)は非効率であり、性能が良くない。 我々は適応的なシナプスフィルタを設計し、SNNの表現能力を高めるために適応的なスパイキングしきい値を導入する。 我々のモデルは、MNISTおよびFashionMNISTデータセットにおける教師なしSTDPベースのSNNの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-06T14:53:32Z)
• Minimizing Control for Credit Assignment with Strong Feedback [65.59995261310529]
  ディープニューラルネットワークにおける勾配に基づくクレジット割り当ての現在の手法は、無限小のフィードバック信号を必要とする。 我々は、神経活動に対する強いフィードバックと勾配に基づく学習を組み合わせることで、ニューラルネットワークの最適化に関する新たな視点を自然に導き出すことを示す。 DFCにおける強いフィードバックを用いることで、空間と時間において完全に局所的な学習規則を用いることで、前向きとフィードバックの接続を同時に学習できることを示す。
  論文  参考訳（メタデータ） (2022-04-14T22:06:21Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• Learning in Deep Neural Networks Using a Biologically Inspired Optimizer [5.144809478361604]
  人工神経(ANN)とスパイクニューラルネット(SNN)にインスパイアされた新しい生物モデルを提案する。 GRAPESは、ニューラルネットワークの各ノードにおけるエラー信号の重量分布依存変調を実装している。 生物学的にインスパイアされたこのメカニズムは,ネットワークの収束率を体系的に改善し,ANNやSNNの分類精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2021-04-23T13:50:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。