論文の概要: A Faster Approach to Spiking Deep Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2210.17442v1
- Date: Mon, 31 Oct 2022 16:13:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 18:54:29.280245
- Title: A Faster Approach to Spiking Deep Convolutional Neural Networks
- Title(参考訳): 深層畳み込みニューラルネットワークの高速化
- Authors: Shahriar Rezghi Shirsavar (University of Tehran, Iran), Mohammad-Reza
A. Dehaqani (University of Tehran, Iran)
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、現在のディープニューラルネットワークよりも脳に近いダイナミクスを持つ。
ネットワークのランタイムと精度を改善するために,従来の作業に基づくネットワーク構造を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking neural networks (SNNs) have closer dynamics to the brain than current
deep neural networks. Their low power consumption and sample efficiency make
these networks interesting. Recently, several deep convolutional spiking neural
networks have been proposed. These networks aim to increase biological
plausibility while creating powerful tools to be applied to machine learning
tasks. Here, we suggest a network structure based on previous work to improve
network runtime and accuracy. Improvements to the network include reducing
training iterations to only once, effectively using principal component
analysis (PCA) dimension reduction, weight quantization, timed outputs for
classification, and better hyperparameter tuning. Furthermore, the
preprocessing step is changed to allow the processing of colored images instead
of only black and white to improve accuracy. The proposed structure
fractionalizes runtime and introduces an efficient approach to deep
convolutional SNNs.
- Abstract(参考訳): スパイキングニューラルネットワーク(SNN)は、現在のディープニューラルネットワークよりも脳に近いダイナミクスを持つ。
その低消費電力とサンプル効率はこれらのネットワークを興味深いものにしている。
近年,いくつかの深部畳み込み型ニューラルネットワークが提案されている。
これらのネットワークは、機械学習タスクに適用できる強力なツールを作成しながら、生物学的な可能性を高めることを目指している。
本稿では,ネットワークのランタイムと精度を改善するために,従来の作業に基づくネットワーク構造を提案する。
ネットワークの改善には、トレーニングイテレーションを1回だけ削減すること、主成分分析(PCA)次元の削減、重み量子化、分類のためのタイムドアウトプット、高パラメータチューニングの改善などが含まれる。
さらに、前処理ステップを変更して、白黒のみでなく色付き画像の処理を可能とし、精度を向上させる。
提案した構造はランタイムを分数化し、深層畳み込みSNNへの効率的なアプローチを導入する。
関連論文リスト
- Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Deepening Neural Networks Implicitly and Locally via Recurrent Attention
Strategy [6.39424542887036]
リカレントアテンション戦略は、局所パラメータ共有により、軽量アテンションモジュールによるニューラルネットワークの深さを暗黙的に増加させる。
広く使用されている3つのベンチマークデータセットの実験は、RASがパラメータサイズと計算をわずかに増やすことで、ニューラルネットワークのパフォーマンスを向上させることを実証している。
論文 参考訳(メタデータ) (2022-10-27T13:09:02Z) - Optimizing the Consumption of Spiking Neural Networks with Activity
Regularization [15.317534913990633]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、二元活性化を用いてエネルギーを節約し、スパイクしないときにエネルギーを消費しないバイオインスパイアされた技術の例である。
本研究では、ニューラルネットワークの活性化マップに疎結合を強制するための異なる手法を検討し、最適化されたDNNとSNNの効率に対する異なるトレーニング正規化器の効果を比較する。
論文 参考訳(メタデータ) (2022-04-04T13:19:47Z) - Neural Network Quantization for Efficient Inference: A Survey [0.0]
ニューラルネットワークの量子化は、最近、ニューラルネットワークのサイズと複雑さを減らすというこの要求を満たすために発生した。
本稿では,過去10年間に開発された多くのニューラルネットワーク量子化技術について検討する。
論文 参考訳(メタデータ) (2021-12-08T22:49:39Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-12-06T23:45:58Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - A Light-Weighted Convolutional Neural Network for Bitemporal SAR Image
Change Detection [40.58864817923371]
計算と空間の複雑さを低減するために,軽量なニューラルネットワークを提案する。
提案するネットワークでは、通常の畳み込み層を、入力と出力の間に同じ数のチャネルを保持するボトルネック層に置き換える。
両時間SAR画像の4つのセット上で、重み付けされたニューラルネットワークを検証する。
論文 参考訳(メタデータ) (2020-05-29T04:01:32Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2020-04-06T15:51:00Z) - Curriculum By Smoothing [52.08553521577014]
畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。
アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。
トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
論文 参考訳(メタデータ) (2020-03-03T07:27:44Z) - Exploring the Connection Between Binary and Spiking Neural Networks [1.329054857829016]
両立ニューラルネットワークとスパイクニューラルネットワークの訓練における最近のアルゴリズムの進歩を橋渡しする。
極端量子化システムにおけるスパイキングニューラルネットワークのトレーニングは,大規模データセット上でのほぼ完全な精度向上をもたらすことを示す。
論文 参考訳(メタデータ) (2020-02-24T03:46:51Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳(メタデータ) (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。