論文の概要: Multi-Sample Online Learning for Probabilistic Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2007.11894v2
• Date: Tue, 5 Jan 2021 11:44:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 11:37:09.990332
• Title: Multi-Sample Online Learning for Probabilistic Spiking Neural Networks
• Title（参考訳）: 確率スパイクニューラルネットワークのためのマルチサンプルオンライン学習
• Authors: Hyeryung Jang and Osvaldo Simeone
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、推論と学習のための生物学的脳の効率の一部をキャプチャする。 本稿では,一般化予測最大化(GEM)に基づくオンライン学習ルールを提案する。 標準ニューロモルフィックデータセットにおける構造化された出力記憶と分類実験の結果,ログの類似性,精度,キャリブレーションの点で大きな改善が見られた。
• 参考スコア（独自算出の注目度）: 43.8805663900608
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) capture some of the efficiency of biological brains for inference and learning via the dynamic, online, event-driven processing of binary time series. Most existing learning algorithms for SNNs are based on deterministic neuronal models, such as leaky integrate-and-fire, and rely on heuristic approximations of backpropagation through time that enforce constraints such as locality. In contrast, probabilistic SNN models can be trained directly via principled online, local, update rules that have proven to be particularly effective for resource-constrained systems. This paper investigates another advantage of probabilistic SNNs, namely their capacity to generate independent outputs when queried over the same input. It is shown that the multiple generated output samples can be used during inference to robustify decisions and to quantify uncertainty -- a feature that deterministic SNN models cannot provide. Furthermore, they can be leveraged for training in order to obtain more accurate statistical estimates of the log-loss training criterion, as well as of its gradient. Specifically, this paper introduces an online learning rule based on generalized expectation-maximization (GEM) that follows a three-factor form with global learning signals and is referred to as GEM-SNN. Experimental results on structured output memorization and classification on a standard neuromorphic data set demonstrate significant improvements in terms of log-likelihood, accuracy, and calibration when increasing the number of samples used for inference and training.
• Abstract（参考訳）: spiking neural networks(snns)は、バイナリ時系列の動的、オンライン、イベント駆動処理を通じて、推論と学習のための生物学的脳の効率の一部をキャプチャする。 SNNの既存の学習アルゴリズムの多くは、漏れた統合と火災のような決定論的神経モデルに基づいており、局所性のような制約を強制する時間を通してのバックプロパゲーションのヒューリスティックな近似に依存している。 対照的に、確率的SNNモデルは、リソース制約されたシステムに特に有効であることが証明されたオンライン、ローカル、更新ルールを介して直接訓練することができる。 本稿では、確率的SNNのもう一つの利点、すなわち、同じ入力を問うと独立した出力を生成する能力について検討する。 決定論的snモデルが提供できない機能である不確実性を定量化するために、複数の出力サンプルが推論中に使用できることが示されている。 さらに、ログロストレーニング基準のより正確な統計的推定と勾配を求めるために、トレーニングに活用することができる。 具体的には,グローバルな学習信号を持つ3要素形式に従う汎用予測最大化(GEM)に基づくオンライン学習ルールをGEM-SNNと呼ぶ。 標準のニューロモルフィックデータセットにおける構造化された出力記憶と分類の実験結果は、推論やトレーニングに使用されるサンプル数を増やす際のログの類似性、正確性、キャリブレーションの点で有意な改善を示している。

関連論文リスト

• Probabilistic Neural Networks (PNNs) for Modeling Aleatoric Uncertainty in Scientific Machine Learning [2.348041867134616]
  本稿では,確率論的ニューラルネットワーク(PNN)を用いてアレータティック不確実性をモデル化する。 PNNはターゲット変数の確率分布を生成し、回帰シナリオにおける予測平均と間隔の両方を決定できる。 実世界の科学機械学習の文脈では、PNNはR2乗のスコアが0.97に近づき、その予測間隔は0.80に近い高い相関係数を示す。
  論文  参考訳（メタデータ） (2024-02-21T17:15:47Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Spiking Generative Adversarial Networks With a Neural Network Discriminator: Local Training, Bayesian Models, and Continual Meta-Learning [31.78005607111787]
  スパイキングパターンを再現するためにニューラルネットワークを訓練することは、ニューロモルフィックコンピューティングにおける中心的な問題である。 この研究は、個々のスパイキング信号ではなく、スパイキング信号にマッチするようにSNNを訓練することを提案する。
  論文  参考訳（メタデータ） (2021-11-02T17:20:54Z)
• FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
  本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。 FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
  論文  参考訳（メタデータ） (2021-06-24T15:38:34Z)
• Multi-Sample Online Learning for Spiking Neural Networks based on Generalized Expectation Maximization [42.125394498649015]
  スパイキングニューラルネットワーク(SNN)は、バイナリニューラルダイナミックアクティベーションを通じて処理することで、生物学的脳の効率の一部をキャプチャする。 本稿では, シナプス重みを共有しながら, 独立したスパイキング信号をサンプリングする複数のコンパートメントを活用することを提案する。 鍵となる考え方は、これらの信号を使ってログライクなトレーニング基準のより正確な統計的推定と勾配を求めることである。
  論文  参考訳（メタデータ） (2021-02-05T16:39:42Z)
• Spiking Neural Networks -- Part II: Detecting Spatio-Temporal Patterns [38.518936229794214]
  スパイキングニューラルネットワーク(SNN)は、符号化された時間信号で情報を検出するユニークな能力を持つ。 SNNをリカレントニューラルネットワーク(RNN)とみなす支配的アプローチのためのモデルとトレーニングアルゴリズムについてレビューする。 スパイキングニューロンの確率モデルに頼り、勾配推定による局所学習規則の導出を可能にする別のアプローチについて述べる。
  論文  参考訳（メタデータ） (2020-10-27T11:47:42Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• VOWEL: A Local Online Learning Rule for Recurrent Networks of Probabilistic Spiking Winner-Take-All Circuits [38.518936229794214]
  WTA-SNNは、値付き多値イベントの情報を検出することができる。 WTA-SNNをトレーニングするための既存のスキームは、レートエンコーディングソリューションに限られている。 VOWEL と呼ばれる WTA-SNN のための変動型オンラインローカルトレーニングルールを開発した。
  論文  参考訳（メタデータ） (2020-04-20T16:21:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。