論文の概要: Exact Gradients for Stochastic Spiking Neural Networks Driven by Rough Signals

• arxiv url: http://arxiv.org/abs/2405.13587v1
• Date: Wed, 22 May 2024 12:34:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-25 00:14:28.032529
• Title: Exact Gradients for Stochastic Spiking Neural Networks Driven by Rough Signals
• Title（参考訳）: 粗信号駆動確率スパイクニューラルネットワークの厳密な勾配
• Authors: Christian Holberg, Cristopher Salvi,
• Abstract要約: 事象不連続性を持つ微分方程式としてスパイキングニューラルネットワーク(SSNN)をモデル化するための数学的に厳密な枠組み(イベントSDE)を導入する。 我々の定式化は、解軌跡と駆動雑音の両方に潜在的なジャンプが現れるのに十分である。 我々のフレームワークは、我々の知る限り、スパイクタイミングとネットワークのダイナミクスの両方に影響を与えるノイズを伴うSSNNの勾配に基づくトレーニングを可能にする最初のものである。
• 参考スコア（独自算出の注目度）: 4.272515397452792
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a mathematically rigorous framework based on rough path theory to model stochastic spiking neural networks (SSNNs) as stochastic differential equations with event discontinuities (Event SDEs) and driven by c\`adl\`ag rough paths. Our formalism is general enough to allow for potential jumps to be present both in the solution trajectories as well as in the driving noise. We then identify a set of sufficient conditions ensuring the existence of pathwise gradients of solution trajectories and event times with respect to the network's parameters and show how these gradients satisfy a recursive relation. Furthermore, we introduce a general-purpose loss function defined by means of a new class of signature kernels indexed on c\`adl\`ag rough paths and use it to train SSNNs as generative models. We provide an end-to-end autodifferentiable solver for Event SDEs and make its implementation available as part of the $\texttt{diffrax}$ library. Our framework is, to our knowledge, the first enabling gradient-based training of SSNNs with noise affecting both the spike timing and the network's dynamics.
• Abstract（参考訳）: 確率的スパイクニューラルネットワーク(SSNN)をイベント不連続性を持つ確率微分方程式(Event SDE)としてモデル化し,c\adl\`ag 粗経路で駆動する,粗経路理論に基づく数学的厳密な枠組みを導入する。 我々の定式化は、解軌跡と駆動雑音の両方に潜在的なジャンプが現れるのに十分である。 次に、解軌跡の経路勾配と事象時間の存在をネットワークのパラメータに対して保証する十分な条件のセットを特定し、これらの勾配が再帰的関係をどのように満たすかを示す。 さらに,c\`adl\`ag rough pathsにインデックスされた新しいシグネチャカーネルのクラスを用いて定義した汎用的損失関数を導入し,SSNNを生成モデルとして訓練する。 Event SDEのためのエンドツーエンドのAutodifferentiable Solutionrを提供し、その実装を$\texttt{diffrax}$ライブラリの一部として利用できるようにする。 我々のフレームワークは、我々の知る限り、スパイクタイミングとネットワークのダイナミクスの両方に影響を与えるノイズを伴うSSNNの勾配に基づくトレーニングを可能にする最初のものである。

関連論文リスト

• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• Noise in the reverse process improves the approximation capabilities of diffusion models [27.65800389807353]
  生成モデリングにおける最先端技術であるスコアベース生成モデリング(SGM)では、リバースプロセスは決定論的手法よりも優れた性能を発揮することが知られている。 本稿では,ニューラル常微分方程式 (ODE) とニューラルディメンション方程式 (SDE) を逆過程として比較し,この現象の核となる。 我々は、Fokker-Planck方程式の軌跡を近似するニューラルSDEの能力を解析し、ニューラルティの利点を明らかにする。
  論文  参考訳（メタデータ） (2023-12-13T02:39:10Z)
• On the Effect of Initialization: The Scaling Path of 2-Layer Neural Networks [21.69222364939501]
  教師付き学習では、正規化経路はゼロからの勾配降下の最適化経路の便利な理論的プロキシとして用いられることがある。 この経路がカーネルとリッチレジームの間に連続的に補間されていることを示す。
  論文  参考訳（メタデータ） (2023-03-31T05:32:11Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• A temporally and spatially local spike-based backpropagation algorithm to enable training in hardware [0.0]
  Spiking Neural Networks (SNN)は、分類タスクのためのハードウェア効率の良いアーキテクチャとして登場した。 非スパイキング人工ニューラルネットワーク(ANN)で使用される強力なバックプロパゲーション(BP)技術を採用する試みはいくつかある。
  論文  参考訳（メタデータ） (2022-07-20T08:57:53Z)
• Generalization Error Bounds for Deep Neural Networks Trained by SGD [3.148524502470734]
  勾配降下(SGD)により訓練された深度に対する一般化誤差境界を導出する。 境界は、トレーニング軌跡に沿った損失に明示的に依存する。 その結果、ニューラルネットワークとネットワークハイパースの変化により、境界は非空洞で堅牢であることが判明した。
  論文  参考訳（メタデータ） (2022-06-07T13:46:10Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Stochastic Graph Neural Networks [123.39024384275054]
  グラフニューラルネットワーク(GNN)は、分散エージェント調整、制御、計画に応用したグラフデータの非線形表現をモデル化する。 現在のGNNアーキテクチャは理想的なシナリオを前提として,環境やヒューマンファクタ,あるいは外部攻撃によるリンク変動を無視している。 これらの状況において、GNNは、トポロジカルなランダム性を考慮していない場合、その分散タスクに対処することができない。
  論文  参考訳（メタデータ） (2020-06-04T08:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。