論文の概要: Smooth Exact Gradient Descent Learning in Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2309.14523v1
• Date: Mon, 25 Sep 2023 20:51:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 15:45:24.453211
• Title: Smooth Exact Gradient Descent Learning in Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークにおけるSmooth Exact Gradient Descent Learning
• Authors: Christian Klos, Raoul-Martin Memmesheimer
• Abstract要約: 連続的にしか変化しないスパイキングダイナミクスに基づく厳密な勾配降下学習を実証する。 その結果, 離散的なスパイクにもかかわらず, 非破壊的学習がいかに可能かが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Artificial neural networks are highly successfully trained with backpropagation. For spiking neural networks, however, a similar gradient descent scheme seems prohibitive due to the sudden, disruptive (dis-)appearance of spikes. Here, we demonstrate exact gradient descent learning based on spiking dynamics that change only continuously. These are generated by neuron models whose spikes vanish and appear at the end of a trial, where they do not influence other neurons anymore. This also enables gradient-based spike addition and removal. We apply our learning scheme to induce and continuously move spikes to desired times, in single neurons and recurrent networks. Further, it achieves competitive performance in a benchmark task using deep, initially silent networks. Our results show how non-disruptive learning is possible despite discrete spikes.
• Abstract（参考訳）: ニューラルネットワークはバックプロパゲーションによって高度に訓練される。 しかし、スパイクニューラルネットワークでは、スパイクの突然の破壊的(非)出現により、同様の勾配降下スキームが禁止されているように思われる。 本稿では,連続的に変化するスパイキングダイナミクスに基づく勾配降下学習について示す。 これらは、他のニューロンに影響を与えない実験の最後にスパイクが消えて現れるニューロンモデルによって生成される。 これにより勾配に基づくスパイクの追加と除去が可能になる。 学習方式を応用して,スパイクを希望する時間,すなわち単一ニューロンや再帰的ネットワークに誘導し,連続的に移動させる。 さらに、深い初期サイレントネットワークを用いて、ベンチマークタスクにおける競合性能を実現する。 離散的なスパイクにもかかわらず,非破壊的学習がいかに可能かを示す。

関連論文リスト

• Topological obstruction to the training of shallow ReLU neural networks [0.0]
  損失ランドスケープの幾何学と単純なニューラルネットワークの最適化軌跡との相互作用について検討する。 本稿では,勾配流を用いた浅部ReLUニューラルネットワークの損失景観におけるトポロジカル障害物の存在を明らかにする。
  論文  参考訳（メタデータ） (2024-10-18T19:17:48Z)
• Take A Shortcut Back: Mitigating the Gradient Vanishing for Training Spiking Neural Networks [15.691263438655842]
  Spiking Neural Network(SNN)は生物学的にインスパイアされたニューラルネットワーク基盤であり、最近大きな注目を集めている。 SNNの訓練は、発射スパイクプロセスの未定義の勾配のため、直接的に挑戦する。 本論文では,損失から浅い層に直接勾配を伝達する手法を提案する。
  論文  参考訳（メタデータ） (2024-01-09T10:54:41Z)
• Learning fixed points of recurrent neural networks by reparameterizing the network model [0.0]
  計算神経科学において、リカレントニューラルネットワークの固定点は、静的またはゆっくりと変化する刺激に対する神経反応をモデル化するために一般的に用いられる。 自然なアプローチは、シナプス重みのユークリッド空間上の勾配勾配を利用することである。 この手法は, 損失面に生じる特異点により, 学習性能が低下する可能性があることを示す。
  論文  参考訳（メタデータ） (2023-07-13T13:09:11Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• Dynamics-aware Adversarial Attack of Adaptive Neural Networks [75.50214601278455]
  適応型ニューラルネットワークの動的対向攻撃問題について検討する。 本稿では,LGM(Leaded Gradient Method)を提案する。 我々のLGMは、動的無意識攻撃法と比較して、優れた敵攻撃性能を達成している。
  論文  参考訳（メタデータ） (2022-10-15T01:32:08Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Backward Gradient Normalization in Deep Neural Networks [68.8204255655161]
  ニューラルネットワークトレーニングにおける勾配正規化のための新しい手法を提案する。 勾配は、ネットワークアーキテクチャ内の特定の点で導入された正規化レイヤを使用して、後方通過中に再スケールされる。 非常に深いニューラルネットワークを用いたテストの結果、新しい手法が勾配ノルムを効果的に制御できることが示されている。
  論文  参考訳（メタデータ） (2021-06-17T13:24:43Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Plateau Phenomenon in Gradient Descent Training of ReLU networks: Explanation, Quantification and Avoidance [0.0]
  一般に、ニューラルネットワークは勾配型最適化法によって訓練される。 トレーニング開始時に損失関数は急速に低下するが,比較的少数のステップの後に著しく低下する。 本研究の目的は,高原現象の根本原因の同定と定量化である。
  論文  参考訳（メタデータ） (2020-07-14T17:33:26Z)
• Frosting Weights for Better Continual Training [22.554993259239307]
  ニューラルネットワークモデルをトレーニングすることは、生涯にわたる学習プロセスであり、計算集約的なプロセスである。 ディープニューラルネットワークモデルは、新しいデータの再トレーニング中に破滅的な忘れに悩まされる可能性がある。 そこで我々は,この問題を解決するために,勾配向上とメタラーニングという2つの一般的なアンサンブルアプローチを提案する。
  論文  参考訳（メタデータ） (2020-01-07T00:53:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。