論文の概要: Ensembles of Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2010.14619v2
- Date: Mon, 6 Sep 2021 17:44:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 02:50:47.411231
- Title: Ensembles of Spiking Neural Networks
- Title（参考訳）: スパイクニューラルネットワークのアンサンブル
- Authors: Georgiana Neculae, Oliver Rhodes and Gavin Brown
- Abstract要約: 本稿では,最先端の結果を生み出すスパイクニューラルネットワークのアンサンブルを構築する方法について述べる。
MNIST, NMNIST, DVS Gestureデータセットの分類精度は98.71%, 100.0%, 99.09%である。
我々は、スパイキングニューラルネットワークをGLM予測器として形式化し、ターゲットドメインに適した表現を識別する。
- 参考スコア（独自算出の注目度）: 0.3007949058551534
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper demonstrates how to construct ensembles of spiking neural networks
producing state-of-the-art results, achieving classification accuracies of
98.71%, 100.0%, and 99.09%, on the MNIST, NMNIST and DVS Gesture datasets
respectively. Furthermore, this performance is achieved using simplified
individual models, with ensembles containing less than 50% of the parameters of
published reference models. We provide comprehensive exploration on the effect
of spike train interpretation methods, and derive the theoretical methodology
for combining model predictions such that performance improvements are
guaranteed for spiking ensembles. For this, we formalize spiking neural
networks as GLM predictors, identifying a suitable representation for their
target domain. Further, we show how the diversity of our spiking ensembles can
be measured using the Ambiguity Decomposition. The work demonstrates how
ensembling can overcome the challenges of producing individual SNN models which
can compete with traditional deep neural networks, and creates systems with
fewer trainable parameters and smaller memory footprints, opening the door to
low-power edge applications, e.g. implemented on neuromorphic hardware.
- Abstract（参考訳）: 本稿では,MNIST,NMNIST,DVS Gestureの各データセットに対して,それぞれ98.71%,100.0%,99.09%の分類精度を達成して,最先端の結果を生み出すスパイクニューラルネットワークのアンサンブルを構築する方法について述べる。
さらに、この性能は、公開参照モデルのパラメータの50%未満のアンサンブルを含む、単純化された個別モデルを用いて達成される。
本研究では,スパイク列車解釈法の効果を総合的に検討し,性能向上が保証されるようなモデル予測を組み合わせる理論的方法論を導出する。
本研究では,スパイクニューラルネットワークをglm予測器として定式化し,対象領域に適した表現を同定する。
さらに,Ambiguity Decompositionを用いて,スパイキングアンサンブルの多様性を測定する方法を示した。
この研究は、従来のディープニューラルネットワークと競合するsnモデルを個別に生成することの難しさを克服し、トレーニング可能なパラメータとメモリフットプリントを削減し、低消費電力のエッジアプリケーション、例えばニューロモルフィックハードウェアに実装したシステムを構築する方法を示している。
関連論文リスト
- Positional Encoder Graph Quantile Neural Networks for Geographic Data [4.277516034244117]
我々は,PE-GNN,Quantile Neural Networks,および再校正技術を完全非パラメトリックフレームワークに統合する新しい手法である,位置グラフ量子ニューラルネットワーク(PE-GQNN)を紹介する。
ベンチマークデータセットの実験では、PE-GQNNは予測精度と不確実性の定量化の両方で既存の最先端手法を著しく上回っている。
論文 参考訳（メタデータ） (2024-09-27T16:02:12Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Generative Neural Fields by Mixtures of Neural Implicit Functions [43.27461391283186]
本稿では,暗黙的ベースネットワークの線形結合によって表現される生成的ニューラルネットワークを学習するための新しいアプローチを提案する。
提案アルゴリズムは,メタラーニングや自動デコーディングのパラダイムを採用することにより,暗黙のニューラルネットワーク表現とその係数を潜在空間で学習する。
論文 参考訳（メタデータ） (2023-10-30T11:41:41Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳（メタデータ） (2023-10-17T01:05:28Z) - NAR-Former: Neural Architecture Representation Learning towards Holistic
Attributes Prediction [37.357949900603295]
本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。
実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
論文 参考訳（メタデータ） (2022-11-15T10:15:21Z) - Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution
Detection [55.028065567756066]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。
本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。
バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。
We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
論文 参考訳（メタデータ） (2022-06-26T16:00:22Z) - Fully differentiable model discovery [0.0]
ニューラルネットワークに基づくサロゲートとスパースベイズ学習を組み合わせたアプローチを提案する。
我々の研究は、PINNを様々なタイプのニューラルネットワークアーキテクチャに拡張し、ニューラルネットワークベースのサロゲートをベイズパラメータ推論のリッチフィールドに接続する。
論文 参考訳（メタデータ） (2021-06-09T08:11:23Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳（メタデータ） (2021-03-17T08:28:30Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳（メタデータ） (2021-02-27T03:17:20Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。