論文の概要: Stable Learning Using Spiking Neural Networks Equipped With Affine Encoders and Decoders
- arxiv url: http://arxiv.org/abs/2404.04549v2
- Date: Wed, 18 Dec 2024 21:17:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-20 13:29:02.770369
- Title: Stable Learning Using Spiking Neural Networks Equipped With Affine Encoders and Decoders
- Title（参考訳）: アフィンエンコーダとデコーダを備えたスパイクニューラルネットワークによる安定学習
- Authors: A. Martina Neuman, Dominik Dold, Philipp Christian Petersen,
- Abstract要約: スパイクニューラルネットワークに関連する学習問題について検討する。
我々は、正のシナプス重みしか持たない単純なスパイキングニューロンからなるスパイキングニューラルネットワークに焦点を当てた。
特に、アフィンスパイクニューラルネットワークが浅いReLUニューラルネットワークを近似できるという理論とシミュレーションを示す。
- 参考スコア（独自算出の注目度）: 2.0072624123275533
- License:
- Abstract: We study the learning problem associated with spiking neural networks. Specifically, we focus on spiking neural networks composed of simple spiking neurons having only positive synaptic weights, equipped with an affine encoder and decoder. These neural networks are shown to depend continuously on their parameters, which facilitates classical covering number-based generalization statements and supports stable gradient-based training. We demonstrate that the positivity of the weights continues to enable a wide range of expressivity results, including rate-optimal approximation of smooth functions and dimension-independent approximation of Barron regular functions. In particular, we show in theory and simulations that affine spiking neural networks are capable of approximating shallow ReLU neural networks. Furthermore, we apply these neural networks to standard machine learning benchmarks, reaching competitive results. Finally, and remarkably, we observe that from a generalization perspective, contrary to feedforward neural networks or previous results for general spiking neural networks, the depth has little to no adverse effect on the generalization capabilities.
- Abstract（参考訳）: スパイクニューラルネットワークに関連する学習問題について検討する。
具体的には、正のシナプス重みしか持たない単純なスパイクニューロンからなる、アフィンエンコーダとデコーダを備えたスパイクニューラルネットワークに焦点を当てる。
これらのニューラルネットワークはパラメータに連続的に依存していることが示され、古典的な被覆数に基づく一般化文を容易にし、安定した勾配ベースのトレーニングをサポートする。
重みの肯定性は、滑らかな関数の速度-最適近似やバロン正則関数の次元非依存近似など、幅広い表現性結果を可能にすることを実証する。
特に、アフィンスパイクニューラルネットワークが浅いReLUニューラルネットワークを近似できるという理論とシミュレーションを示す。
さらに、これらのニューラルネットワークを標準的な機械学習ベンチマークに適用し、競争力のある結果を得る。
最後に、我々は、一般化の観点から、フィードフォワードニューラルネットワークや一般的なスパイクニューラルネットワークの以前の結果とは対照的に、この深さが一般化能力にほとんど悪影響を及ぼさないことを観察した。
関連論文リスト
- Expressivity of Neural Networks with Random Weights and Learned Biases [44.02417750529102]
最近の研究は、任意の関数がパラメータの小さな部分集合をチューニングすることによって同様に学習できることを示し、普遍近似の境界を推し進めている。
ランダムな重みを固定したフィードフォワードニューラルネットワークが、バイアスのみを学習することによって複数のタスクを実行することができることを示す理論的および数値的なエビデンスを提供する。
我々の結果は神経科学に関係しており、シナプスの重みを変えることなく動的に行動に関連のある変化が起こる可能性を実証している。
論文 参考訳（メタデータ） (2024-07-01T04:25:49Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree
Spectral Bias of Neural Networks [79.28094304325116]
任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。
我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。
本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
論文 参考訳（メタデータ） (2023-05-16T20:06:01Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳（メタデータ） (2022-09-16T06:36:06Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳（メタデータ） (2022-06-22T23:33:39Z) - Stochastic Neural Networks with Infinite Width are Deterministic [7.07065078444922]
使用中のニューラルネットワークの主要なタイプであるニューラルネットワークについて研究する。
最適化されたニューラルネットワークの幅が無限大になる傾向があるため、トレーニングセットの予測分散はゼロになる。
論文 参考訳（メタデータ） (2022-01-30T04:52:31Z) - Expressivity of Deep Neural Networks [2.7909470193274593]
本稿では,ニューラルネットワークの様々な近似結果について概説する。
既存の結果は、一般的なフィードフォワードアーキテクチャのためのものだが、畳み込み、残留、反復するニューラルネットワークの近似結果も記述する。
論文 参考訳（メタデータ） (2020-07-09T13:08:01Z) - A Deep Conditioning Treatment of Neural Networks [37.192369308257504]
本研究では,入力データの特定のカーネル行列の条件付けを改善することにより,ニューラルネットワークのトレーニング性を向上させることを示す。
ニューラルネットワークの上位層のみのトレーニングと、ニューラルネットワークのタンジェントカーネルを通じてすべてのレイヤをトレーニングするための学習を行うためのバージョンを提供しています。
論文 参考訳（メタデータ） (2020-02-04T20:21:36Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳（メタデータ） (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。