論文の概要: Spiking Neural Networks in the Alexiewicz Topology: A New Perspective on
Analysis and Error Bounds
- arxiv url: http://arxiv.org/abs/2305.05772v1
- Date: Tue, 9 May 2023 21:22:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-11 15:25:14.663820
- Title: Spiking Neural Networks in the Alexiewicz Topology: A New Perspective on
Analysis and Error Bounds
- Title（参考訳）: Alexiewiczトポロジーにおけるニューラルネットワークのスパイク:解析とエラー境界の新しい視点
- Authors: Bernhard A. Moser and Michael Lunglmayr
- Abstract要約: スパイクトレインをスパイクトレインにマッピングする自己準同型として,スパイクニューラルネットワーク(SNN)の数学的解析の課題に対処する。
スパイク列車の空間の適切な構造と、SNNの誤差測定の設計にその意味がある。
- 参考スコア（独自算出の注目度）: 1.0152838128195467
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In order to ease the analysis of error propagation in neuromorphic computing
and to get a better understanding of spiking neural networks (SNN), we address
the problem of mathematical analysis of SNNs as endomorphisms that map spike
trains to spike trains. A central question is the adequate structure for a
space of spike trains and its implication for the design of error measurements
of SNNs including time delay, threshold deviations, and the design of the
reinitialization mode of the leaky-integrate-and-fire (LIF) neuron model. First
we identify the underlying topology by analyzing the closure of all
sub-threshold signals of a LIF model. For zero leakage this approach yields the
Alexiewicz topology, which we adopt to LIF neurons with arbitrary positive
leakage. As a result LIF can be understood as spike train quantization in the
corresponding norm. This way we obtain various error bounds and inequalities
such as a quasi isometry relation between incoming and outgoing spike trains.
Another result is a Lipschitz-style global upper bound for the error
propagation and a related resonance-type phenomenon.
- Abstract（参考訳）: ニューロモルフィック・コンピューティングにおける誤り伝播解析の容易化とスパイク・ニューラルネットワーク(SNN)の理解を深めるため,スパイク・トレインをスパイク・トレインにマッピングする自己準同型としてSNNの数学的解析の課題に対処する。
中心となる問題は、スパイク列の空間の適切な構造とその時間遅延、しきい値偏差、およびリーク積分火炎(lif)ニューロンモデルの再活性化モードの設計を含むsnsの誤差測定の設計への含意である。
まず、lifモデルの全てのサブスレッショルド信号の閉包を分析することにより、基盤となるトポロジーを特定する。
ゼロリークの場合、このアプローチは任意の正のリークを持つLIFニューロンに採用するAlexiewicz位相をもたらす。
その結果、LIFは対応するノルムのスパイクトレイン量子化として理解することができる。
これにより、入出力スパイク列間の準等長関係など、様々な誤差境界と不等式が得られる。
別の結果は、誤差伝播と関連する共鳴型現象に対するリプシッツ型大域上界である。
関連論文リスト
- Topological obstruction to the training of shallow ReLU neural networks [0.0]
損失ランドスケープの幾何学と単純なニューラルネットワークの最適化軌跡との相互作用について検討する。
本稿では,勾配流を用いた浅部ReLUニューラルネットワークの損失景観におけるトポロジカル障害物の存在を明らかにする。
論文 参考訳（メタデータ） (2024-10-18T19:17:48Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。
SGDは単純な解に偏りがあることが示される。
また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文 参考訳（メタデータ） (2021-11-03T15:14:20Z) - A global convergence theory for deep ReLU implicit networks via
over-parameterization [26.19122384935622]
暗黙の深層学習は近年注目を集めている。
本稿では,Rectified Linear Unit (ReLU) 活性化暗黙的ニューラルネットワークの勾配流れを解析する。
論文 参考訳（メタデータ） (2021-10-11T23:22:50Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳（メタデータ） (2020-12-31T18:53:25Z) - Higher-order Quasi-Monte Carlo Training of Deep Neural Networks [0.0]
本稿では,DNN (Deep Neural Network) によるDtO (Data-to-Observable) マップのトレーニングに準モンテカルロ点を用いた新しいアルゴリズム手法と誤差解析を提案する。
論文 参考訳（メタデータ） (2020-09-06T11:31:42Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。