論文の概要: Smooth Exact Gradient Descent Learning in Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2309.14523v1
• Date: Mon, 25 Sep 2023 20:51:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 15:45:24.453211
• Title: Smooth Exact Gradient Descent Learning in Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークにおけるSmooth Exact Gradient Descent Learning
• Authors: Christian Klos, Raoul-Martin Memmesheimer
• Abstract要約: 連続的にしか変化しないスパイキングダイナミクスに基づく厳密な勾配降下学習を実証する。 その結果, 離散的なスパイクにもかかわらず, 非破壊的学習がいかに可能かが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Artificial neural networks are highly successfully trained with backpropagation. For spiking neural networks, however, a similar gradient descent scheme seems prohibitive due to the sudden, disruptive (dis-)appearance of spikes. Here, we demonstrate exact gradient descent learning based on spiking dynamics that change only continuously. These are generated by neuron models whose spikes vanish and appear at the end of a trial, where they do not influence other neurons anymore. This also enables gradient-based spike addition and removal. We apply our learning scheme to induce and continuously move spikes to desired times, in single neurons and recurrent networks. Further, it achieves competitive performance in a benchmark task using deep, initially silent networks. Our results show how non-disruptive learning is possible despite discrete spikes.
• Abstract（参考訳）: ニューラルネットワークはバックプロパゲーションによって高度に訓練される。 しかし、スパイクニューラルネットワークでは、スパイクの突然の破壊的(非)出現により、同様の勾配降下スキームが禁止されているように思われる。 本稿では,連続的に変化するスパイキングダイナミクスに基づく勾配降下学習について示す。 これらは、他のニューロンに影響を与えない実験の最後にスパイクが消えて現れるニューロンモデルによって生成される。 これにより勾配に基づくスパイクの追加と除去が可能になる。 学習方式を応用して,スパイクを希望する時間,すなわち単一ニューロンや再帰的ネットワークに誘導し,連続的に移動させる。 さらに、深い初期サイレントネットワークを用いて、ベンチマークタスクにおける競合性能を実現する。 離散的なスパイクにもかかわらず,非破壊的学習がいかに可能かを示す。

関連論文リスト

• Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
  我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
  論文  参考訳（メタデータ） (2024-02-19T09:29:37Z)
• Learning fixed points of recurrent neural networks by reparameterizing the network model [0.0]
  計算神経科学において、リカレントニューラルネットワークの固定点は、静的またはゆっくりと変化する刺激に対する神経反応をモデル化するために一般的に用いられる。 自然なアプローチは、シナプス重みのユークリッド空間上の勾配勾配を利用することである。 この手法は, 損失面に生じる特異点により, 学習性能が低下する可能性があることを示す。
  論文  参考訳（メタデータ） (2023-07-13T13:09:11Z)
• Spike-based computation using classical recurrent neural networks [1.9171404264679484]
  スパイキングニューラルネットワーク(英: Spiking Neural Network)は、ニューロン間の通信が、スパイクと呼ばれるイベントのみによって構成される人工ニューラルネットワークである。 我々は、よく知られた、訓練が容易なリカレントニューラルネットワークのダイナミクスを変更して、イベントベースにする。 この新ネットワークは,MNISTベンチマークにおいて,他の種類のスパイクネットワークに匹敵する性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-06T12:19:12Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Benign Overfitting in Two-layer Convolutional Neural Networks [90.75603889605043]
  2層畳み込みニューラルネットワーク(CNN)の訓練における良性過剰適合現象の検討 信号対雑音比が一定の条件を満たすと、勾配降下により訓練された2層CNNが任意に小さな訓練と試験損失を達成できることを示す。 一方、この条件が保たない場合、オーバーフィッティングは有害となり、得られたCNNは一定レベルのテスト損失しか達成できない。
  論文  参考訳（メタデータ） (2022-02-14T07:45:51Z)
• Plateau Phenomenon in Gradient Descent Training of ReLU networks: Explanation, Quantification and Avoidance [0.0]
  一般に、ニューラルネットワークは勾配型最適化法によって訓練される。 トレーニング開始時に損失関数は急速に低下するが,比較的少数のステップの後に著しく低下する。 本研究の目的は,高原現象の根本原因の同定と定量化である。
  論文  参考訳（メタデータ） (2020-07-14T17:33:26Z)
• Optimized spiking neurons classify images with high accuracy through temporal coding with two spikes [1.7767466724342065]
  スパイクベースのニューロモルフィックハードウェアは、画像分類やその他のディープラーニング応用のエネルギー消費を減らすことを約束する。 トレーニング済みの人工ニューラルネットワークをスパイクニューロンに変換する方法は、ニューロンがスパイクを多すぎるため、非効率であった。 このような目的のために、スパイキングニューロンモデルを最適化すると、より効率的な変換が起こることが示される。
  論文  参考訳（メタデータ） (2020-01-31T10:11:45Z)
• Frosting Weights for Better Continual Training [22.554993259239307]
  ニューラルネットワークモデルをトレーニングすることは、生涯にわたる学習プロセスであり、計算集約的なプロセスである。 ディープニューラルネットワークモデルは、新しいデータの再トレーニング中に破滅的な忘れに悩まされる可能性がある。 そこで我々は,この問題を解決するために,勾配向上とメタラーニングという2つの一般的なアンサンブルアプローチを提案する。
  論文  参考訳（メタデータ） (2020-01-07T00:53:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。