論文の概要: BioLeaF: A Bio-plausible Learning Framework for Training of Spiking
Neural Networks
- arxiv url: http://arxiv.org/abs/2111.13188v1
- Date: Sun, 14 Nov 2021 10:32:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-06 03:29:59.487190
- Title: BioLeaF: A Bio-plausible Learning Framework for Training of Spiking
Neural Networks
- Title（参考訳）: BioLeaF: スパイクニューラルネットワークのトレーニングのための生物工学的学習フレームワーク
- Authors: Yukun Yang, Peng Li
- Abstract要約: 本稿では,新しいアーキテクチャと学習ルールをサポートする2つのコンポーネントからなる,生物工学的な新しい学習フレームワークを提案する。
マイクロ回路アーキテクチャでは,Spyke-Timing-Dependent-Plasticity(STDP)ルールをローカルコンパートメントで運用し,シナプス重みを更新する。
実験の結果,提案手法はBP法則に匹敵する学習精度を示す。
- 参考スコア（独自算出の注目度）: 4.698975219970009
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Our brain consists of biological neurons encoding information through
accurate spike timing, yet both the architecture and learning rules of our
brain remain largely unknown. Comparing to the recent development of
backpropagation-based (BP-based) methods that are able to train spiking neural
networks (SNNs) with high accuracy, biologically plausible methods are still in
their infancy. In this work, we wish to answer the question of whether it is
possible to attain comparable accuracy of SNNs trained by BP-based rules with
bio-plausible mechanisms. We propose a new bio-plausible learning framework,
consisting of two components: a new architecture, and its supporting learning
rules. With two types of cells and four types of synaptic connections, the
proposed local microcircuit architecture can compute and propagate error
signals through local feedback connections and support training of multi-layers
SNNs with a globally defined spiking error function. Under our microcircuit
architecture, we employ the Spike-Timing-Dependent-Plasticity (STDP) rule
operating in local compartments to update synaptic weights and achieve
supervised learning in a biologically plausible manner. Finally, We interpret
the proposed framework from an optimization point of view and show the
equivalence between it and the BP-based rules under a special circumstance. Our
experiments show that the proposed framework demonstrates learning accuracy
comparable to BP-based rules and may provide new insights on how learning is
orchestrated in biological systems.
- Abstract（参考訳）: 私たちの脳は、正確なスパイクタイミングを通して情報をコードする生物学的ニューロンで構成されています。
スパイキングニューラルネットワーク(SNN)を高い精度で訓練できるバックプロパゲーションベース(BPベース)手法の最近の開発と比較すると、生物学的に妥当な手法はまだ初期段階にある。
本研究は, BP法則で訓練されたSNNと同等の精度を生検機構で達成できるかどうかを問うものである。
本稿では,新しいアーキテクチャと学習ルールをサポートする2つのコンポーネントからなる,生物工学的な新しい学習フレームワークを提案する。
2種類のセルと4種類のシナプス接続により、局所的なフィードバック接続を通じてエラー信号を計算・伝播し、グローバルに定義されたスパイクエラー関数を持つ多層SNNのトレーニングを支援することができる。
当社のマイクロサーキットアーキテクチャでは,局所的なコンパートメントで動作するspike-timing-dependent-plasticity(stdp)ルールを用いてシナプス重みを更新し,生物学的に妥当な方法で教師あり学習を実現する。
最後に,提案フレームワークを最適化の観点から解釈し,特別な状況下でbpルールと等価性を示す。
実験の結果,本フレームワークはbpベースのルールに匹敵する学習精度を示し,生体システムにおける学習の体系化に関する新たな知見を与える可能性が示唆された。
関連論文リスト
- Evolutionary algorithms as an alternative to backpropagation for
supervised training of Biophysical Neural Networks and Neural ODEs [12.357635939839696]
本稿では,生物物理学に基づくニューラルネットワークの学習における「段階的推定」進化アルゴリズムの利用について検討する。
EAにはいくつかのアドバンテージがあり、直接BPよりも望ましいことが分かりました。
以上の結果から,生体物理学ニューロンはBP法の限界をテストする上で有用なベンチマークを提供する可能性が示唆された。
論文 参考訳（メタデータ） (2023-11-17T20:59:57Z) - Biologically inspired structure learning with reverse knowledge
distillation for spiking neural networks [19.33517163587031]
スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性から感覚情報認識タスクにおいて非常に優れた特徴を持つ。
現在のスパイクベースのモデルの性能は、完全に接続された構造か深すぎる構造かによって制限されている。
本稿では,より合理的なSNNを構築するための進化的構造構築法を提案する。
論文 参考訳（メタデータ） (2023-04-19T08:41:17Z) - A Computational Framework of Cortical Microcircuits Approximates
Sign-concordant Random Backpropagation [7.601127912271984]
本稿では,新しいマイクロ回路アーキテクチャとヘビアン学習規則の支持からなる仮説的枠組みを提案する。
我々は, 局所的な区画内でのヘビアン則を用いて, シナプス重みを更新し, 生物学的に妥当な方法で教師あり学習を実現する。
提案するフレームワークは、MNISTやCIFAR10などいくつかのデータセットでベンチマークされ、BP互換の有望な精度を示す。
論文 参考訳（メタデータ） (2022-05-15T14:22:03Z) - Towards Scaling Difference Target Propagation by Learning Backprop
Targets [64.90165892557776]
Different Target Propagationは,Gauss-Newton(GN)最適化と密接な関係を持つ生物学的に証明可能な学習アルゴリズムである。
本稿では、DTPがBPを近似し、階層的なフィードバックウェイトトレーニングを復元できる新しいフィードバックウェイトトレーニング手法を提案する。
CIFAR-10 と ImageNet 上で DTP が達成した最高の性能について報告する。
論文 参考訳（メタデータ） (2022-01-31T18:20:43Z) - FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。
FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
論文 参考訳（メタデータ） (2021-06-24T15:38:34Z) - Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。
学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。
さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
論文 参考訳（メタデータ） (2021-06-15T05:30:17Z) - Learning Structures for Deep Neural Networks [99.8331363309895]
我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。
スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。
公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
論文 参考訳（メタデータ） (2021-05-27T12:27:24Z) - Predictive Coding Can Do Exact Backpropagation on Any Neural Network [40.51949948934705]
計算グラフ上で直接定義することで(ILと)Z-ILを一般化する。
これは、任意のニューラルネットワーク上のパラメータを更新する方法でBPと同等であることが示されている最初の生物学的に実行可能なアルゴリズムです。
論文 参考訳（メタデータ） (2021-03-08T11:52:51Z) - A More Biologically Plausible Local Learning Rule for ANNs [6.85316573653194]
提案した学習規則は, 塑性と神経関連性に依存するスパイクタイミングの概念から導かれる。
MNISTとIRISデータセットのバイナリ分類に関する予備評価は、バックプロパゲーションと同等の性能を示す。
学習のローカルな性質は、ネットワークにおける大規模分散学習と並列学習の可能性をもたらす。
論文 参考訳（メタデータ） (2020-11-24T10:35:47Z) - A Theoretical Framework for Target Propagation [75.52598682467817]
我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。
提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。
我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
論文 参考訳（メタデータ） (2020-06-25T12:07:06Z) - Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。
本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。
我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文 参考訳（メタデータ） (2020-06-16T18:45:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。