論文の概要: Elucidating the theoretical underpinnings of surrogate gradient learning in spiking neural networks

• arxiv url: http://arxiv.org/abs/2404.14964v3
• Date: Sun, 17 Nov 2024 18:42:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:29:56.827882
• Title: Elucidating the theoretical underpinnings of surrogate gradient learning in spiking neural networks
• Title（参考訳）: スパイクニューラルネットワークにおける代用勾配学習の理論的基盤の解明
• Authors: Julia Gygax, Friedemann Zenke,
• Abstract要約: 脳内の情報処理を研究するには、スパイクニューラルネットワークのトレーニングが不可欠である。 スパイクのバイナリの性質は、直接勾配に基づくトレーニングの課題となっている。 ここでは、代理勾配と理論的に確立された2つのアプローチとの関係について検討する。
• 参考スコア（独自算出の注目度）: 5.271584191900265
• License:
• Abstract: Training spiking neural networks to approximate universal functions is essential for studying information processing in the brain and for neuromorphic computing. Yet the binary nature of spikes poses a challenge for direct gradient-based training. Surrogate gradients have been empirically successful in circumventing this problem, but their theoretical foundation remains elusive. Here, we investigate the relation of surrogate gradients to two theoretically well-founded approaches. On the one hand, we consider smoothed probabilistic models, which, due to the lack of support for automatic differentiation, are impractical for training multi-layer spiking neural networks but provide derivatives equivalent to surrogate gradients for single neurons. On the other hand, we investigate stochastic automatic differentiation, which is compatible with discrete randomness but has not yet been used to train spiking neural networks. We find that the latter gives surrogate gradients a theoretical basis in stochastic spiking neural networks, where the surrogate derivative matches the derivative of the neuronal escape noise function. This finding supports the effectiveness of surrogate gradients in practice and suggests their suitability for stochastic spiking neural networks. However, surrogate gradients are generally not gradients of a surrogate loss despite their relation to stochastic automatic differentiation. Nevertheless, we empirically confirm the effectiveness of surrogate gradients in stochastic multi-layer spiking neural networks and discuss their relation to deterministic networks as a special case. Our work gives theoretical support to surrogate gradients and the choice of a suitable surrogate derivative in stochastic spiking neural networks.
• Abstract（参考訳）: スパイクニューラルネットワークのトレーニングは、脳の情報処理やニューロモルフィックコンピューティングの研究に不可欠である。 しかし、スパイクのバイナリの性質は、直接勾配に基づくトレーニングの課題となっている。 代理勾配はこの問題を回避するのに実証的に成功したが、その理論的基礎はいまだ解明されていない。 ここでは、代理勾配と理論的に確立された2つのアプローチとの関係について検討する。 一方,スムーズな確率モデルを考えると,自動微分のサポートが欠如しているため,多層スパイキングニューラルネットワークのトレーニングには実用的ではないが,単一ニューロンに対する代理勾配に相当する誘導体を提供する。 一方,確率的自動微分は離散的ランダム性に適合するが,まだスパイクニューラルネットワークの訓練には使われていない。 後者は確率的スパイクニューラルネットワークの理論的基礎として代理勾配を与えるが、そこでは代理微分が神経細胞の脱出雑音関数の導関数と一致する。 この発見は、実際に代理勾配の有効性を支持し、確率的なスパイクニューラルネットワークに適していることを示唆している。 しかし、サロゲート勾配は確率的自動微分との関係にもかかわらず、一般にサロゲート損失の勾配ではない。 それにもかかわらず、確率的多層スパイクニューラルネットワークにおける代理勾配の有効性を実証的に検証し、特に決定論的ネットワークとの関係について論じる。 我々の研究は、確率スパイクニューラルネットワークにおけるシュロゲート勾配と適切なシュロゲート誘導体の選択に対する理論的支援を与える。

関連論文リスト

• On the Hardness of Probabilistic Neurosymbolic Learning [10.180468225166441]
  ニューロシンボリックモデルにおける確率的推論の微分の複雑さについて検討する。 モデルサンプリングに基づく非バイアス勾配推定器WeightMEを紹介する。 我々の実験は、まだ正確な解が可能である場合でも、既存の偏差近似は最適化に苦慮していることを示している。
  論文  参考訳（メタデータ） (2024-06-06T19:56:33Z)
• Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data [66.1211659120882]
  好ましい性質を持つ解に対する暗黙の偏見は、勾配に基づく最適化によって訓練されたニューラルネットワークがうまく一般化できる重要な理由であると考えられている。 勾配流の暗黙バイアスは、均質ニューラルネットワーク(ReLUやリークReLUネットワークを含む)に対して広く研究されているが、勾配降下の暗黙バイアスは現在、滑らかなニューラルネットワークに対してのみ理解されている。
  論文  参考訳（メタデータ） (2023-10-29T08:47:48Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• Convergence rates for gradient descent in the training of overparameterized artificial neural networks with biases [3.198144010381572]
  近年、人工ニューラルネットワークは、古典的なソリューションが近づいている多数の問題に対処するための強力なツールに発展しています。 ランダムな勾配降下アルゴリズムが限界に達する理由はまだ不明である。
  論文  参考訳（メタデータ） (2021-02-23T18:17:47Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Bidirectionally Self-Normalizing Neural Networks [46.20979546004718]
  本研究では, ニューラルネットワークの幅が十分であれば, 消失/爆発の勾配問題は高い確率で消失することを示す厳密な結果を与える。 我々の主な考えは、新しい種類の活性化関数を通して、非線形ニューラルネットワークにおける前方信号と後方信号の伝搬を制限することである。
  論文  参考訳（メタデータ） (2020-06-22T12:07:29Z)
• Implicit Bias of Gradient Descent for Wide Two-layer Neural Networks Trained with the Logistic Loss [0.0]
  勾配に基づく手法によるロジスティック(クロスエントロピー)損失を最小限に抑えるために訓練されたニューラルネットワークは、多くの教師付き分類タスクでうまく機能する。 我々は、均一な活性化を伴う無限に広い2層ニューラルネットワークのトレーニングと一般化の挙動を解析する。
  論文  参考訳（メタデータ） (2020-02-11T15:42:09Z)
• A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks [87.23360438947114]
  重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。 これは、トレーニング損失が一定の精度まで線形に収束することを意味する。 また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
  論文  参考訳（メタデータ） (2020-02-10T18:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。