論文の概要: Elucidating the theoretical underpinnings of surrogate gradient learning in spiking neural networks
- arxiv url: http://arxiv.org/abs/2404.14964v2
- Date: Thu, 6 Jun 2024 12:48:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-07 20:42:53.425533
- Title: Elucidating the theoretical underpinnings of surrogate gradient learning in spiking neural networks
- Title（参考訳）: スパイクニューラルネットワークにおける代用勾配学習の理論的基盤の解明
- Authors: Julia Gygax, Friedemann Zenke,
- Abstract要約: 脳内の情報処理とニューロモルフィックコンピューティングを研究するためには、スパイクニューラルネットワークの訓練が不可欠である。
この問題を解決するために、シュロゲート勾配は実験的に成功したが、その理論的基礎は解明されていない。
我々の研究は、サロゲート勾配に関する理論基盤の欠如と、スパイキングニューラルネットワークのエンドツーエンドトレーニングのための解析的に十分に確立されたソリューションを提供する。
- 参考スコア（独自算出の注目度）: 5.271584191900265
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training spiking neural networks to approximate complex functions is essential for studying information processing in the brain and neuromorphic computing. Yet, the binary nature of spikes constitutes a challenge for direct gradient-based training. To sidestep this problem, surrogate gradients have proven empirically successful, but their theoretical foundation remains elusive. Here, we investigate the relation of surrogate gradients to two theoretically well-founded approaches. On the one hand, we consider smoothed probabilistic models, which, due to lack of support for automatic differentiation, are impractical for training deep spiking neural networks, yet provide gradients equivalent to surrogate gradients in single neurons. On the other hand, we examine stochastic automatic differentiation, which is compatible with discrete randomness but has never been applied to spiking neural network training. We find that the latter provides the missing theoretical basis for surrogate gradients in stochastic spiking neural networks. We further show that surrogate gradients in deterministic networks correspond to a particular asymptotic case and numerically confirm the effectiveness of surrogate gradients in stochastic multi-layer spiking neural networks. Finally, we illustrate that surrogate gradients are not conservative fields and, thus, not gradients of a surrogate loss. Our work provides the missing theoretical foundation for surrogate gradients and an analytically well-founded solution for end-to-end training of stochastic spiking neural networks.
- Abstract（参考訳）: 脳内の情報処理とニューロモルフィックコンピューティングを研究するためには、スパイクニューラルネットワークの訓練が不可欠である。
しかし、スパイクのバイナリの性質は、直接勾配に基づくトレーニングの課題となっている。
この問題を解決するために、シュロゲート勾配は実験的に成功したが、その理論的基礎は解明されていない。
ここでは、代理勾配と理論的に確立された2つのアプローチとの関係について検討する。
一方,スムーズな確率モデルでは, 自動微分のサポートが欠如しているため, 深部スパイクニューラルネットワークのトレーニングには実用的でないが, 単一ニューロンにおける代理勾配に相当する勾配を与える。
一方,確率的自動微分は離散的ランダム性に適合するが,スパイクニューラルネットワークトレーニングには適用されていない。
確率的スパイクニューラルネットワークにおいて、後者は代用勾配の欠落の理論的基礎を提供する。
さらに、決定論的ネットワークにおける代理勾配は特定の漸近的ケースに対応し、確率的多層スパイキングニューラルネットワークにおける代理勾配の有効性を数値的に確認する。
最後に、サロゲート勾配は保守的な場ではなく、したがってサロゲート損失の勾配ではないことを示す。
我々の研究は、サロゲート勾配に関する理論基盤の欠如と、確率スパイクニューラルネットワークのエンドツーエンドトレーニングのための解析的に十分に確立されたソリューションを提供する。
関連論文リスト
- An Analytic Solution to Covariance Propagation in Neural Networks [10.013553984400488]
本稿では,ニューラルネットワークの入出力分布を正確に特徴付けるために,サンプルフリーモーメント伝搬法を提案する。
この手法の鍵となる有効性は、非線形活性化関数を通した確率変数の共分散に対する解析解である。
学習ニューラルネットワークの入力出力分布を分析し,ベイズニューラルネットワークを訓練する実験において,提案手法の適用性およびメリットを示す。
論文 参考訳（メタデータ） (2024-03-24T14:08:24Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。
トラクタブル回路において,これを効率的に計算する方法を示す。
我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文 参考訳（メタデータ） (2023-02-28T00:04:22Z) - Stochastic Gradient Descent-Induced Drift of Representation in a
Two-Layer Neural Network [0.0]
脳や人工ネットワークで観察されているにもかかわらず、ドリフトのメカニズムとその意味は完全には理解されていない。
ピリフォーム大脳皮質における刺激依存性のドリフトに関する最近の実験結果に触発されて、我々はこの現象を2層線形フィードフォワードネットワークで研究するために理論とシミュレーションを用いた。
論文 参考訳（メタデータ） (2023-02-06T04:56:05Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z) - Analytical aspects of non-differentiable neural networks [0.0]
本稿では、量子化されたニューラルネットワークの表現性と、微分不可能なネットワークに対する近似手法について論じる。
ここでは,QNN が DNN と同じ表現性を持つことを示す。
また,Heaviside型アクティベーション関数を用いて定義されたネットワークについても検討し,スムーズなネットワークによるポイントワイズ近似の結果を証明した。
論文 参考訳（メタデータ） (2020-11-03T17:20:43Z) - Bidirectionally Self-Normalizing Neural Networks [46.20979546004718]
本研究では, ニューラルネットワークの幅が十分であれば, 消失/爆発の勾配問題は高い確率で消失することを示す厳密な結果を与える。
我々の主な考えは、新しい種類の活性化関数を通して、非線形ニューラルネットワークにおける前方信号と後方信号の伝搬を制限することである。
論文 参考訳（メタデータ） (2020-06-22T12:07:29Z) - Implicit Bias of Gradient Descent for Wide Two-layer Neural Networks
Trained with the Logistic Loss [0.0]
勾配に基づく手法によるロジスティック(クロスエントロピー)損失を最小限に抑えるために訓練されたニューラルネットワークは、多くの教師付き分類タスクでうまく機能する。
我々は、均一な活性化を伴う無限に広い2層ニューラルネットワークのトレーニングと一般化の挙動を解析する。
論文 参考訳（メタデータ） (2020-02-11T15:42:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。