論文の概要: Biologically-Informed Excitatory and Inhibitory Balance for Robust Spiking Neural Network Training

• arxiv url: http://arxiv.org/abs/2404.15627v1
• Date: Wed, 24 Apr 2024 03:29:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-25 14:43:50.806216
• Title: Biologically-Informed Excitatory and Inhibitory Balance for Robust Spiking Neural Network Training
• Title（参考訳）: ロバストスパイクニューラルネットワークトレーニングのための生物学的インフォームド励起と抑制バランス
• Authors: Joseph A. Kilgore, Jeffrey D. Kopsick, Giorgio A. Ascoli, Gina C. Adam,
• Abstract要約: 脳の生物学的制約からインスピレーションを得るニューラルネットワークは、人工知能のエネルギー効率の良いパラダイムを約束する。 本研究では,スパイキングネットワークを訓練する能力を決定する,低初期発火率や多様な抑制スパイキングパターンなど,いくつかの重要な要因を同定する。 その結果、生物学的に現実的な80:20の興奮性:抑制的バランスを持つネットワークは、低活動レベルおよび騒音環境下で確実にトレーニングできることがわかった。
• 参考スコア（独自算出の注目度）: 0.40498500266986387
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking neural networks drawing inspiration from biological constraints of the brain promise an energy-efficient paradigm for artificial intelligence. However, challenges exist in identifying guiding principles to train these networks in a robust fashion. In addition, training becomes an even more difficult problem when incorporating biological constraints of excitatory and inhibitory connections. In this work, we identify several key factors, such as low initial firing rates and diverse inhibitory spiking patterns, that determine the overall ability to train spiking networks with various ratios of excitatory to inhibitory neurons on AI-relevant datasets. The results indicate networks with the biologically realistic 80:20 excitatory:inhibitory balance can reliably train at low activity levels and in noisy environments. Additionally, the Van Rossum distance, a measure of spike train synchrony, provides insight into the importance of inhibitory neurons to increase network robustness to noise. This work supports further biologically-informed large-scale networks and energy efficient hardware implementations.
• Abstract（参考訳）: 脳の生物学的制約からインスピレーションを得るニューラルネットワークは、人工知能のエネルギー効率の良いパラダイムを約束する。 しかし、これらのネットワークを堅牢にトレーニングする指針の特定には課題がある。 さらに、興奮性および抑制性接続の生物学的制約を組み込む場合、トレーニングはさらに難しい問題となる。 本研究では,AI関連データセット上で,刺激ニューロンと抑制ニューロンの比率の異なるスパイキングネットワークを訓練する全体的な能力を決定する,低初期発火率や多様な抑制スパイキングパターンなど,いくつかの重要な要因を同定する。 その結果、生物学的に現実的な80:20の興奮性:抑制的バランスを持つネットワークは、低活動レベルおよび騒音環境下で確実にトレーニングできることがわかった。 さらに、スパイクトレイン同期の尺度であるヴァン・ロッシャム距離は、ノイズに対するネットワークの堅牢性を高めるために阻害ニューロンの重要性についての洞察を与える。 この研究は、生物学的にインフォームドされた大規模ネットワークとエネルギー効率の良いハードウェアの実装をサポートする。

関連論文リスト

• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
  本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。 本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。 本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T09:40:07Z)
• Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
  我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。 これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:54Z)
• Expanding memory in recurrent spiking networks [2.8237889121096034]
  リカレントスパイキングニューラルネットワーク(RSNN)は、スパイクのバイナリの性質によって強化される、消失する勾配問題のために訓練が難しいことで知られている。 我々はこれらの制限を回避する新しいスパイクニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-10-29T16:46:26Z)
• Expressivity of Spiking Neural Networks [15.181458163440634]
  本研究では,ニューロンの発射時間内に情報を符号化したスパイクニューラルネットワークの能力について検討する。 ReLUネットワークとは対照的に、スパイクニューラルネットワークは連続関数と不連続関数の両方を実現することができる。
  論文  参考訳（メタデータ） (2023-08-16T08:45:53Z)
• Approximating nonlinear functions with latent boundaries in low-rank excitatory-inhibitory spiking networks [5.955727366271805]
  スパイクに基づく興奮抑制スパイクネットワークのための新しいフレームワークを考案した。 本研究は,生体スパイクに基づく計算の力学的理解の出発点となるスパイクネットワークの新しい視点を提案する。
  論文  参考訳（メタデータ） (2023-07-18T15:17:00Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Latent Equilibrium: A unified learning theory for arbitrarily fast computation with arbitrarily slow neurons [0.7340017786387767]
  遅いコンポーネントのネットワークにおける推論と学習のための新しいフレームワークであるLatent Equilibriumを紹介する。 我々は, ニューロンとシナプスのダイナミクスを, 将来的なエネルギー関数から導出する。 本稿では,大脳皮質微小循環の詳細なモデルに我々の原理を適用する方法について述べる。
  論文  参考訳（メタデータ） (2021-10-27T16:15:55Z)
• The distribution of inhibitory neurons in the C. elegans connectome facilitates self-optimization of coordinated neural activity [78.15296214629433]
  線虫Caenorhabditis elegansの神経系は、昆虫のサイズが小さいにもかかわらず著しく複雑である。 一般的な課題は、システムレベルでの神経組織と神経活動の関係をよりよく理解することである。 我々は,各ニューロンの神経伝達物質同定を近似した,C. elegans Connectomeの抽象シミュレーションモデルを実装した。
  論文  参考訳（メタデータ） (2020-10-28T23:11:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。