Fugu-MT 論文翻訳(概要): Smooth Exact Gradient Descent Learning in Spiking Neural Networks

論文の概要: Smooth Exact Gradient Descent Learning in Spiking Neural Networks

arxiv url: http://arxiv.org/abs/2309.14523v2
Date: Tue, 28 Jan 2025 14:01:26 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-29 16:39:17.973449
Title: Smooth Exact Gradient Descent Learning in Spiking Neural Networks
Title（参考訳）: Smooth Exact Gradient Descent Learning in Spiking Neural Networks (特集:Smooth Exact Gradient Descent Learning)
Authors: Christian Klos, Raoul-Martin Memmesheimer,
Abstract要約: 連続的に変化するスパイキングダイナミクスに基づいて、正確な勾配降下を示す。これらは、スパイクが消えてトライアルの終わりに現れるニューロンモデルによって生成され、その後のダイナミクスには影響しない。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Gradient descent prevails in artificial neural network training, but seems inept for spiking neural networks as small parameter changes can cause sudden, disruptive (dis-)appearances of spikes. Here, we demonstrate exact gradient descent based on continuously changing spiking dynamics. These are generated by neuron models whose spikes vanish and appear at the end of a trial, where it cannot influence subsequent dynamics. This also enables gradient-based spike addition and removal. We illustrate our scheme with various tasks and setups, including recurrent and deep, initially silent networks.
Abstract（参考訳）: グラディエント降下は、ニューラルネットワークのトレーニングにおいて多いが、小さなパラメータの変化が急激な(非)スパイクの出現を引き起こす可能性があるため、ニューラルネットワークをスパイクするには不適当である。ここでは、連続的に変化するスパイキングダイナミクスに基づいて、正確な勾配降下を示す。これらは、スパイクが消えてトライアルの終わりに現れるニューロンモデルによって生成され、その後のダイナミクスには影響しない。また、勾配に基づくスパイクの追加と除去も可能である。提案手法は, 繰り返し, 深く, 最初は無音なネットワークを含む, 様々なタスクやセットアップで説明できる。

関連論文リスト

Topological obstruction to the training of shallow ReLU neural networks [0.0]
損失ランドスケープの幾何学と単純なニューラルネットワークの最適化軌跡との相互作用について検討する。本稿では,勾配流を用いた浅部ReLUニューラルネットワークの損失景観におけるトポロジカル障害物の存在を明らかにする。
論文参考訳（メタデータ） (2024-10-18T19:17:48Z)
Take A Shortcut Back: Mitigating the Gradient Vanishing for Training Spiking Neural Networks [15.691263438655842]
Spiking Neural Network(SNN)は生物学的にインスパイアされたニューラルネットワーク基盤であり、最近大きな注目を集めている。 SNNの訓練は、発射スパイクプロセスの未定義の勾配のため、直接的に挑戦する。本論文では,損失から浅い層に直接勾配を伝達する手法を提案する。
論文参考訳（メタデータ） (2024-01-09T10:54:41Z)
Learning fixed points of recurrent neural networks by reparameterizing the network model [0.0]
計算神経科学において、リカレントニューラルネットワークの固定点は、静的またはゆっくりと変化する刺激に対する神経反応をモデル化するために一般的に用いられる。自然なアプローチは、シナプス重みのユークリッド空間上の勾配勾配を利用することである。この手法は, 損失面に生じる特異点により, 学習性能が低下する可能性があることを示す。
論文参考訳（メタデータ） (2023-07-13T13:09:11Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
論文参考訳（メタデータ） (2023-01-01T03:10:45Z)
Dynamics-aware Adversarial Attack of Adaptive Neural Networks [75.50214601278455]
適応型ニューラルネットワークの動的対向攻撃問題について検討する。本稿では,LGM(Leaded Gradient Method)を提案する。我々のLGMは、動的無意識攻撃法と比較して、優れた敵攻撃性能を達成している。
論文参考訳（メタデータ） (2022-10-15T01:32:08Z)
Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文参考訳（メタデータ） (2022-10-06T13:04:45Z)
Backward Gradient Normalization in Deep Neural Networks [68.8204255655161]
ニューラルネットワークトレーニングにおける勾配正規化のための新しい手法を提案する。勾配は、ネットワークアーキテクチャ内の特定の点で導入された正規化レイヤを使用して、後方通過中に再スケールされる。非常に深いニューラルネットワークを用いたテストの結果、新しい手法が勾配ノルムを効果的に制御できることが示されている。
論文参考訳（メタデータ） (2021-06-17T13:24:43Z)
Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文参考訳（メタデータ） (2020-11-18T18:52:08Z)
Plateau Phenomenon in Gradient Descent Training of ReLU networks: Explanation, Quantification and Avoidance [0.0]
一般に、ニューラルネットワークは勾配型最適化法によって訓練される。トレーニング開始時に損失関数は急速に低下するが,比較的少数のステップの後に著しく低下する。本研究の目的は,高原現象の根本原因の同定と定量化である。
論文参考訳（メタデータ） (2020-07-14T17:33:26Z)
Frosting Weights for Better Continual Training [22.554993259239307]
ニューラルネットワークモデルをトレーニングすることは、生涯にわたる学習プロセスであり、計算集約的なプロセスである。ディープニューラルネットワークモデルは、新しいデータの再トレーニング中に破滅的な忘れに悩まされる可能性がある。そこで我々は,この問題を解決するために,勾配向上とメタラーニングという2つの一般的なアンサンブルアプローチを提案する。
論文参考訳（メタデータ） (2020-01-07T00:53:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。