論文の概要: Neuro-Inspired Deep Neural Networks with Sparse, Strong Activations
- arxiv url: http://arxiv.org/abs/2202.13074v1
- Date: Sat, 26 Feb 2022 06:19:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-01 17:48:24.828965
- Title: Neuro-Inspired Deep Neural Networks with Sparse, Strong Activations
- Title(参考訳): 弱く強い活性化を持つ神経インスパイアされたディープニューラルネットワーク
- Authors: Metehan Cekic, Can Bakiskan, Upamanyu Madhow
- Abstract要約: Deep Neural Networks (DNN) のエンドツーエンドトレーニングは、ますます増加するアプリケーションにおいて、技術パフォーマンスの状態を生んでいる。
ここでは、スペーサーとより強力な活性化を伴う摂動に対する有望な神経誘発アプローチについて報告する。
- 参考スコア(独自算出の注目度): 11.707981310045742
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While end-to-end training of Deep Neural Networks (DNNs) yields state of the
art performance in an increasing array of applications, it does not provide
insight into, or control over, the features being extracted. We report here on
a promising neuro-inspired approach to DNNs with sparser and stronger
activations. We use standard stochastic gradient training, supplementing the
end-to-end discriminative cost function with layer-wise costs promoting Hebbian
("fire together," "wire together") updates for highly active neurons, and
anti-Hebbian updates for the remaining neurons. Instead of batch norm, we use
divisive normalization of activations (suppressing weak outputs using strong
outputs), along with implicit $\ell_2$ normalization of neuronal weights.
Experiments with standard image classification tasks on CIFAR-10 demonstrate
that, relative to baseline end-to-end trained architectures, our proposed
architecture (a) leads to sparser activations (with only a slight compromise on
accuracy), (b) exhibits more robustness to noise (without being trained on
noisy data), (c) exhibits more robustness to adversarial perturbations (without
adversarial training).
- Abstract(参考訳): Deep Neural Networks(DNN)のエンドツーエンドのトレーニングでは、増加傾向にあるアプリケーションのパフォーマンスが向上する一方で、抽出される機能の洞察や制御は提供されない。
我々はsparserと強力なアクティベーションを持つdnnに対する有望な神経インスパイアアプローチについて報告する。
我々は、標準確率勾配トレーニングを使用し、終末判別コスト関数を補助し、高活性ニューロンに対するHebbian("fire together", "wire together")の更新と残りのニューロンに対する反Hebbianの更新を促進する。
バッチノルムの代わりに、活性化の分割正規化(強い出力で弱い出力を抑える)と暗黙の$\ell_2$ニューロン重みの正規化を用いる。
CIFAR-10の標準画像分類タスクによる実験により、ベースラインのエンドツーエンド訓練アーキテクチャと比較して、提案アーキテクチャが提案されている。
(a)スペーサーのアクティベーションにつながる(精度をわずかに損なうだけ)
(b)騒音に対する強靭性(雑音データによる訓練を受けずに)
(c) 対向的摂動に対して(対向的訓練を伴わない)強靭性を示す。
関連論文リスト
- Maxwell's Demon at Work: Efficient Pruning by Leveraging Saturation of
Neurons [27.289945121113277]
死ニューロンの増殖を動的に制御するDemPを導入する。
CIFAR10とImageNetデータセットの実験では、精度とスパーシリティのトレードオフが優れている。
論文 参考訳(メタデータ) (2024-03-12T14:28:06Z) - Fully Spiking Actor Network with Intra-layer Connections for
Reinforcement Learning [51.386945803485084]
エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。
既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。
浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
論文 参考訳(メタデータ) (2024-01-09T07:31:34Z) - Fast gradient-free activation maximization for neurons in spiking neural
networks [6.228340781801083]
このようなループを効果的に設計したフレームワークを,人工スパイクニューラルネットワーク(SNN)でテストし,実験に成功した。
本手法は, アクティベーション関数の領域における離散化の低ランクテンソル分解(テンソルトレイン, TT)に基づいて最適化した。
我々の知る限り、本研究はSNNに効果的なAMを実現するための最初の試みである。
論文 参考訳(メタデータ) (2023-12-28T18:30:13Z) - OR Residual Connection Achieving Comparable Accuracy to ADD Residual
Connection in Deep Residual Spiking Neural Networks [12.434147384452379]
スパイキングニューラルネットワーク(SNN)は、その生物学的忠実さとエネルギー効率のよいスパイク駆動操作を実行する能力のために、脳のような計算にかなりの注意を払っている。
調査では,深部スパイクニューラルネットワークの代表であるSEW-ResNetが,非イベント駆動の操作を取り入れていることを確認した。
高量子化に起因するエネルギー損失を相殺するために、アーキテクチャにORRC(OR Residual connection)を導入する。
論文 参考訳(メタデータ) (2023-11-11T13:36:27Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural
Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。
本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文 参考訳(メタデータ) (2023-02-01T04:22:59Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳(メタデータ) (2022-05-01T12:44:49Z) - BackEISNN: A Deep Spiking Neural Network with Adaptive Self-Feedback and
Balanced Excitatory-Inhibitory Neurons [8.956708722109415]
スパイクニューラルネットワーク(SNN)は離散スパイクを通して情報を伝達し、空間時間情報を処理するのによく機能する。
適応型自己フィードバックと平衡興奮性および抑制性ニューロン(BackEISNN)を用いた深部スパイクニューラルネットワークを提案する。
MNIST、FashionMNIST、N-MNISTのデータセットに対して、我々のモデルは最先端の性能を達成した。
論文 参考訳(メタデータ) (2021-05-27T08:38:31Z) - Revisiting Batch Normalization for Training Low-latency Deep Spiking
Neural Networks from Scratch [5.511606249429581]
ディープラーニングの代替手段としてスパイキングニューラルネットワーク(SNN)が登場している。
スクラッチからの高精度で低遅延のSNNは、スパイキングニューロンの非分化性の性質に悩まされる。
本稿では、時間的SNNのトレーニングのための時間的バッチ正規化(BNTT)手法を提案する。
論文 参考訳(メタデータ) (2020-10-05T00:49:30Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。