論文の概要: Evolutionary algorithms as an alternative to backpropagation for
supervised training of Biophysical Neural Networks and Neural ODEs
- arxiv url: http://arxiv.org/abs/2311.10869v1
- Date: Tue, 21 Nov 2023 02:49:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 13:44:18.675794
- Title: Evolutionary algorithms as an alternative to backpropagation for
supervised training of Biophysical Neural Networks and Neural ODEs
- Title（参考訳）: バックプロパゲーションに代わる進化的アルゴリズムによる生体物理ニューラルネットワークとニューラルネットワークの教師あり学習
- Authors: James Hazelden, Yuhan Helena Liu, Eli Shlizerman, Eric Shea-Brown
- Abstract要約: 本稿では,生物物理学に基づくニューラルネットワークの学習における「段階的推定」進化アルゴリズムの利用について検討する。
EAにはいくつかのアドバンテージがあり、直接BPよりも望ましいことが分かりました。
以上の結果から,生体物理学ニューロンはBP法の限界をテストする上で有用なベンチマークを提供する可能性が示唆された。
- 参考スコア（独自算出の注目度）: 12.357635939839696
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training networks consisting of biophysically accurate neuron models could
allow for new insights into how brain circuits can organize and solve tasks. We
begin by analyzing the extent to which the central algorithm for neural network
learning -- stochastic gradient descent through backpropagation (BP) -- can be
used to train such networks. We find that properties of biophysically based
neural network models needed for accurate modelling such as stiffness, high
nonlinearity and long evaluation timeframes relative to spike times makes BP
unstable and divergent in a variety of cases. To address these instabilities
and inspired by recent work, we investigate the use of "gradient-estimating"
evolutionary algorithms (EAs) for training biophysically based neural networks.
We find that EAs have several advantages making them desirable over direct BP,
including being forward-pass only, robust to noisy and rigid losses, allowing
for discrete loss formulations, and potentially facilitating a more global
exploration of parameters. We apply our method to train a recurrent network of
Morris-Lecar neuron models on a stimulus integration and working memory task,
and show how it can succeed in cases where direct BP is inapplicable. To expand
on the viability of EAs in general, we apply them to a general neural ODE
problem and a stiff neural ODE benchmark and find again that EAs can
out-perform direct BP here, especially for the over-parameterized regime. Our
findings suggest that biophysical neurons could provide useful benchmarks for
testing the limits of BP-adjacent methods, and demonstrate the viability of EAs
for training networks with complex components.
- Abstract（参考訳）: 生体物理学的に正確なニューロンモデルからなるトレーニングネットワークは、脳回路がタスクを編成し解決する方法に関する新たな洞察を与えることができる。
まず,ニューラルネットワーク学習の中心的なアルゴリズム -- バックプロパゲーション(bp)による確率的勾配降下 -- が,そのネットワークのトレーニングにどの程度用いられるかを分析する。
スパイク時間に対する剛性,高非線形性,長期評価時間などの正確なモデリングに必要な生体物理ベースニューラルネットワークモデルの特性は,BPを不安定にし,様々なケースで発散させる。
これらの不安定性に対処し、最近の研究に触発された我々は、生物物理学に基づくニューラルネットワークのトレーニングに「段階的推定」進化的アルゴリズム(EA)を用いて検討する。
EAには、直接BPよりも望ましい利点がいくつかあり、例えば、フォワードパスのみであり、ノイズに強い、硬い損失であり、離散的な損失の定式化を可能にし、パラメータのよりグローバルな探索を促進する可能性がある。
本稿では,刺激統合とワーキングメモリタスクにおけるモリス・レカーニューロンモデルの繰り返しネットワークのトレーニングに適用し,直接BPが適用不可能な場合にどのように成功するかを示す。
一般に、EAの生存可能性を高めるために、一般のニューラルODE問題と堅いニューラルODEベンチマークに適用し、EAが直接BP、特に過度にパラメータ化された状態に対して優れた性能を発揮することを発見した。
以上の結果から, 生体物理学ニューロンはBP-adjacent法の限界をテストする上で有用なベンチマークを提供し, 複雑なコンポーネントを持つネットワークをトレーニングするためのEAの生存可能性を示す可能性が示唆された。
関連論文リスト
- Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。
本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文 参考訳（メタデータ） (2024-09-17T04:48:45Z) - Exploiting Heterogeneity in Timescales for Sparse Recurrent Spiking Neural Networks for Energy-Efficient Edge Computing [16.60622265961373]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングの最前線である。
本稿では,SNNのパフォーマンスに革命をもたらす3つの画期的な研究をまとめる。
論文 参考訳（メタデータ） (2024-07-08T23:33:12Z) - Biologically-Plausible Topology Improved Spiking Actor Network for Efficient Deep Reinforcement Learning [15.143466733327566]
近年の神経科学の進歩により、ヒトの脳は報酬に基づく効果的な学習を達成していることが明らかになった。
Deep Reinforcement Learning (DRL)の成功は主に、関数近似器としてArtificial Neural Networks (ANN)を活用することによる。
そこで我々は,機能近似の新たな代替手法として,生物学的に証明可能なトポロジー改良スパイキング・アクター・ネットワーク(BPT-SAN)を提案する。
論文 参考訳（メタデータ） (2024-03-29T13:25:19Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳（メタデータ） (2023-03-30T02:40:28Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - SPICEprop: Backpropagating Errors Through Memristive Spiking Neural
Networks [2.8971214387667494]
BPTT学習規則を用いて訓練した新しい間質ニューロンからなる完全間質性スパイクニューラルネットワーク(MSNN)を提案する。
アナログSPICE回路モデルを用いて設計したMIFニューロンに直接グラディエント降下を適用する。
MNISTテストデータセットでは97.58%、Fashion-MNISTテストデータセットでは75.26%の精度で達成しています。
論文 参考訳（メタデータ） (2022-03-02T21:34:43Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳（メタデータ） (2021-09-20T15:12:16Z) - Towards Evaluating and Training Verifiably Robust Neural Networks [81.39994285743555]
We study the relationship between IBP and CROWN, and prove that CROWN are always tight than IBP when select each bounding lines。
線形結合伝播(LBP) CROWNの緩やかなバージョンを提案する。これは、大きなネットワークを検証して、より低い検証エラーを得るのに使用できる。
論文 参考訳（メタデータ） (2021-04-01T13:03:48Z) - Predictive Coding Can Do Exact Backpropagation on Any Neural Network [40.51949948934705]
計算グラフ上で直接定義することで(ILと)Z-ILを一般化する。
これは、任意のニューラルネットワーク上のパラメータを更新する方法でBPと同等であることが示されている最初の生物学的に実行可能なアルゴリズムです。
論文 参考訳（メタデータ） (2021-03-08T11:52:51Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。