論文の概要: Training Spiking Neural Networks Using Lessons From Deep Learning

• arxiv url: http://arxiv.org/abs/2109.12894v5
• Date: Mon, 15 May 2023 21:25:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-17 20:14:03.553755
• Title: Training Spiking Neural Networks Using Lessons From Deep Learning
• Title（参考訳）: ディープラーニングの教訓を用いたニューラルネットワークの学習
• Authors: Jason K. Eshraghian and Max Ward and Emre Neftci and Xinxin Wang and Gregor Lenz and Girish Dwivedi and Mohammed Bennamoun and Doo Seok Jeong and Wei D. Lu
• Abstract要約: シナプスとニューロンの内部構造は、ディープラーニングの未来を垣間見ることができます。 いくつかのアイデアはニューロモルフィックエンジニアリングコミュニティでよく受け入れられ、一般的に使われているが、他のアイデアはここで初めて提示または正当化されている。 PythonパッケージであるsnnTorchを使って、この論文を補完する一連のインタラクティブチュートリアルも利用可能である。
• 参考スコア（独自算出の注目度）: 26.933693168729334
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The brain is the perfect place to look for inspiration to develop more efficient neural networks. The inner workings of our synapses and neurons provide a glimpse at what the future of deep learning might look like. This paper serves as a tutorial and perspective showing how to apply the lessons learnt from several decades of research in deep learning, gradient descent, backpropagation and neuroscience to biologically plausible spiking neural neural networks. We also explore the delicate interplay between encoding data as spikes and the learning process; the challenges and solutions of applying gradient-based learning to spiking neural networks (SNNs); the subtle link between temporal backpropagation and spike timing dependent plasticity, and how deep learning might move towards biologically plausible online learning. Some ideas are well accepted and commonly used amongst the neuromorphic engineering community, while others are presented or justified for the first time here. The fields of deep learning and spiking neural networks evolve very rapidly. We endeavour to treat this document as a 'dynamic' manuscript that will continue to be updated as the common practices in training SNNs also change. A series of companion interactive tutorials complementary to this paper using our Python package, snnTorch, are also made available. See https://snntorch.readthedocs.io/en/latest/tutorials/index.html .
• Abstract（参考訳）: 脳はより効率的なニューラルネットワークを開発するためのインスピレーションを探すのに最適な場所だ。 シナプスやニューロンの内部活動は、ディープラーニングの未来がどのようなものになるのかを垣間見せてくれる。 本論文は, 深層学習, 勾配降下, バックプロパゲーション, 神経科学における数十年の研究から学んだ教訓を, 生物学的にもっともらしいスパイクニューラルネットワークに適用する方法を示すチュートリアルおよび視点として機能する。 また、データをスパイクとしてエンコーディングすることと学習プロセスの間の繊細な相互作用、勾配ベースの学習をスパイクニューラルネットワーク(snn)に適用することの課題と解決策、時間的バックプロパゲーションとスパイクタイミング依存可塑性との微妙な関連、そして深層学習が生物学的に妥当なオンライン学習にどのように移行するかについても検討する。 いくつかのアイデアは広く受け入れられ、神経形工学のコミュニティで広く使われていますが、他のアイデアはここで初めて提示または正当化されます。 ディープラーニングとスパイクニューラルネットワークの分野は急速に進化している。 我々は、この文書を"動的"な原稿として扱い、SNNのトレーニングの一般的な実践が変わるにつれて、引き続き更新し続けます。 この論文を補完する一連のコンパニオンインタラクティブチュートリアルも,pythonパッケージであるsnntorchを使って公開しています。 https://snntorch.readthedocs.io/en/latest/tutorials/index.htmlを参照。

関連論文リスト

• Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
  我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
  論文  参考訳（メタデータ） (2024-02-19T09:29:37Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Learning to learn online with neuromodulated synaptic plasticity in spiking neural networks [0.0]
  神経科学からの神経調節性シナプス可塑性のモデルは、勾配降下を通して学習するために訓練可能であることを示す。 このフレームワークは、神経科学にインスパイアされたオンライン学習アルゴリズムを開発するための新しい道を開く。
  論文  参考訳（メタデータ） (2022-06-25T00:28:40Z)
• Neuro-Symbolic Learning of Answer Set Programs from Raw Data [54.56905063752427]
  Neuro-Symbolic AIは、シンボリックテクニックの解釈可能性と、生データから学ぶ深層学習の能力を組み合わせることを目的としている。 本稿では,ニューラルネットワークを用いて生データから潜在概念を抽出するNSIL(Neuro-Symbolic Inductive Learner)を提案する。 NSILは表現力のある知識を学習し、計算的に複雑な問題を解き、精度とデータ効率の観点から最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-05-25T12:41:59Z)
• How and what to learn:The modes of machine learning [7.085027463060304]
  本稿では, 重み経路解析(WPA)と呼ばれる新しい手法を提案し, 多層ニューラルネットワークのメカニズムについて検討する。 WPAは、ニューラルネットワークが情報を「ホログラフィック」な方法で保存し、活用していることを示し、ネットワークはすべてのトレーニングサンプルをコヒーレントな構造にエンコードする。 隠れた層状ニューロンは学習過程の後半で異なるクラスに自己組織化することが判明した。
  論文  参考訳（メタデータ） (2022-02-28T14:39:06Z)
• Ten Quick Tips for Deep Learning in Biology [116.78436313026478]
  機械学習は、データのパターンを認識し、予測モデリングに使用するアルゴリズムの開発と応用に関係している。 ディープラーニングは、独自の機械学習のサブフィールドになっている。 生物学的研究の文脈において、ディープラーニングは高次元の生物学的データから新しい洞察を導き出すためにますます使われてきた。
  論文  参考訳（メタデータ） (2021-05-29T21:02:44Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Applications of Deep Neural Networks with Keras [0.0]
  ディープラーニングにより、ニューラルネットワークは人間の脳の機能のような方法で情報の階層を学習することができる。 本コースでは,従来のニューラルネットワーク構造であるConversa Neural Networks (CNN), Long Short-Term Memory (LSTM), Gated Recurrent Neural Networks (GRU), General Adrial Networks (GAN)を紹介する。
  論文  参考訳（メタデータ） (2020-09-11T22:09:10Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)
• Deep learning approaches for neural decoding: from CNNs to LSTMs and spikes to fMRI [2.0178765779788495]
  神経信号から直接の行動、知覚、認知状態の復号化は、脳-コンピュータインタフェースの研究に応用されている。 過去10年間で、ディープラーニングは多くの機械学習タスクにおいて最先端の手法になっている。 ディープラーニングは、幅広いタスクにわたるニューラルデコーディングの正確性と柔軟性を改善するための有用なツールであることが示されている。
  論文  参考訳（メタデータ） (2020-05-19T18:10:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。