論文の概要: Elucidating the theoretical underpinnings of surrogate gradient learning in spiking neural networks

• arxiv url: http://arxiv.org/abs/2404.14964v1
• Date: Tue, 23 Apr 2024 12:20:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 14:11:34.425588
• Title: Elucidating the theoretical underpinnings of surrogate gradient learning in spiking neural networks
• Title（参考訳）: スパイクニューラルネットワークにおける代用勾配学習の理論的基盤の解明
• Authors: Julia Gygax, Friedemann Zenke,
• Abstract要約: 脳内の情報処理とニューロモルフィックコンピューティングを研究するためには、スパイクニューラルネットワークの訓練が不可欠である。 この問題を解決するために、シュロゲート勾配は実験的に成功したが、その理論的基礎は解明されていない。 我々の研究は、サロゲート勾配に関する理論基盤の欠如と、スパイキングニューラルネットワークのエンドツーエンドトレーニングのための解析的に十分に確立されたソリューションを提供する。
• 参考スコア（独自算出の注目度）: 5.271584191900265
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training spiking neural networks to approximate complex functions is essential for studying information processing in the brain and neuromorphic computing. Yet, the binary nature of spikes constitutes a challenge for direct gradient-based training. To sidestep this problem, surrogate gradients have proven empirically successful, but their theoretical foundation remains elusive. Here, we investigate the relation of surrogate gradients to two theoretically well-founded approaches. On the one hand, we consider smoothed probabilistic models, which, due to lack of support for automatic differentiation, are impractical for training deep spiking neural networks, yet provide gradients equivalent to surrogate gradients in single neurons. On the other hand, we examine stochastic automatic differentiation, which is compatible with discrete randomness but has never been applied to spiking neural network training. We find that the latter provides the missing theoretical basis for surrogate gradients in stochastic spiking neural networks. We further show that surrogate gradients in deterministic networks correspond to a particular asymptotic case and numerically confirm the effectiveness of surrogate gradients in stochastic multi-layer spiking neural networks. Finally, we illustrate that surrogate gradients are not conservative fields and, thus, not gradients of a surrogate loss. Our work provides the missing theoretical foundation for surrogate gradients and an analytically well-founded solution for end-to-end training of stochastic spiking neural networks.
• Abstract（参考訳）: 脳内の情報処理とニューロモルフィックコンピューティングを研究するためには、スパイクニューラルネットワークの訓練が不可欠である。 しかし、スパイクのバイナリの性質は、直接勾配に基づくトレーニングの課題となっている。 この問題を解決するために、シュロゲート勾配は実験的に成功したが、その理論的基礎は解明されていない。 ここでは、代理勾配と理論的に確立された2つのアプローチとの関係について検討する。 一方,スムーズな確率モデルでは, 自動微分のサポートが欠如しているため, 深部スパイクニューラルネットワークのトレーニングには実用的でないが, 単一ニューロンにおける代理勾配に相当する勾配を与える。 一方,確率的自動微分は離散的ランダム性に適合するが,スパイクニューラルネットワークトレーニングには適用されていない。 確率的スパイクニューラルネットワークにおいて、後者は代用勾配の欠落の理論的基礎を提供する。 さらに、決定論的ネットワークにおける代理勾配は特定の漸近的ケースに対応し、確率的多層スパイキングニューラルネットワークにおける代理勾配の有効性を数値的に確認する。 最後に、サロゲート勾配は保守的な場ではなく、したがってサロゲート損失の勾配ではないことを示す。 我々の研究は、サロゲート勾配に関する理論基盤の欠如と、確率スパイクニューラルネットワークのエンドツーエンドトレーニングのための解析的に十分に確立されたソリューションを提供する。

関連論文リスト

• On the Hardness of Probabilistic Neurosymbolic Learning [10.180468225166441]
  ニューロシンボリックモデルにおける確率的推論の微分の複雑さについて検討する。 モデルサンプリングに基づく非バイアス勾配推定器WeightMEを紹介する。 我々の実験は、まだ正確な解が可能である場合でも、既存の偏差近似は最適化に苦慮していることを示している。
  論文  参考訳（メタデータ） (2024-06-06T19:56:33Z)
• Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data [66.1211659120882]
  好ましい性質を持つ解に対する暗黙の偏見は、勾配に基づく最適化によって訓練されたニューラルネットワークがうまく一般化できる重要な理由であると考えられている。 勾配流の暗黙バイアスは、均質ニューラルネットワーク(ReLUやリークReLUネットワークを含む)に対して広く研究されているが、勾配降下の暗黙バイアスは現在、滑らかなニューラルネットワークに対してのみ理解されている。
  論文  参考訳（メタデータ） (2023-10-29T08:47:48Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• Convergence rates for gradient descent in the training of overparameterized artificial neural networks with biases [3.198144010381572]
  近年、人工ニューラルネットワークは、古典的なソリューションが近づいている多数の問題に対処するための強力なツールに発展しています。 ランダムな勾配降下アルゴリズムが限界に達する理由はまだ不明である。
  論文  参考訳（メタデータ） (2021-02-23T18:17:47Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Bidirectionally Self-Normalizing Neural Networks [46.20979546004718]
  本研究では, ニューラルネットワークの幅が十分であれば, 消失/爆発の勾配問題は高い確率で消失することを示す厳密な結果を与える。 我々の主な考えは、新しい種類の活性化関数を通して、非線形ニューラルネットワークにおける前方信号と後方信号の伝搬を制限することである。
  論文  参考訳（メタデータ） (2020-06-22T12:07:29Z)
• Implicit Bias of Gradient Descent for Wide Two-layer Neural Networks Trained with the Logistic Loss [0.0]
  勾配に基づく手法によるロジスティック(クロスエントロピー)損失を最小限に抑えるために訓練されたニューラルネットワークは、多くの教師付き分類タスクでうまく機能する。 我々は、均一な活性化を伴う無限に広い2層ニューラルネットワークのトレーニングと一般化の挙動を解析する。
  論文  参考訳（メタデータ） (2020-02-11T15:42:09Z)
• A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks [87.23360438947114]
  重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。 これは、トレーニング損失が一定の精度まで線形に収束することを意味する。 また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
  論文  参考訳（メタデータ） (2020-02-10T18:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。