論文の概要: The fine line between dead neurons and sparsity in binarized spiking neural networks

• arxiv url: http://arxiv.org/abs/2201.11915v1
• Date: Fri, 28 Jan 2022 03:33:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 07:18:11.628442
• Title: The fine line between dead neurons and sparsity in binarized spiking neural networks
• Title（参考訳）: 双対スパイクニューラルネットワークにおける死ニューロンとスパーシティの細線
• Authors: Jason K. Eshraghian, Wei D. Lu
• Abstract要約: スパイキングニューラルネットワークは、情報を符号化したり、離散化された量を処理することによって、量子化エラーを補償することができる。 本稿では,しきい値のウォームアップ手法としてしきい値アニーリング(しきい値アニーリング)を提案する。 ニューロンの発火が止まる複数の層にスパイクを伝播させることで、4つの多様なデータセットに対して高い競争力を持つ結果が得られることを示す。
• 参考スコア（独自算出の注目度）: 1.370633147306388
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking neural networks can compensate for quantization error by encoding information either in the temporal domain, or by processing discretized quantities in hidden states of higher precision. In theory, a wide dynamic range state-space enables multiple binarized inputs to be accumulated together, thus improving the representational capacity of individual neurons. This may be achieved by increasing the firing threshold, but make it too high and sparse spike activity turns into no spike emission. In this paper, we propose the use of `threshold annealing' as a warm-up method for firing thresholds. We show it enables the propagation of spikes across multiple layers where neurons would otherwise cease to fire, and in doing so, achieve highly competitive results on four diverse datasets, despite using binarized weights. Source code is available at https://github.com/jeshraghian/snn-tha/
• Abstract（参考訳）: スパイキングニューラルネットワークは、時間領域の情報を符号化したり、より高精度な隠蔽状態の離散化量を処理することによって量子化誤差を補償することができる。 理論上、広いダイナミックレンジ状態空間は複数の二項化入力をまとめることを可能にし、個々のニューロンの表現能力を向上させる。 これは発射しきい値を増加させることによって達成されるが、過度に高くなり、スパーススパイク活性はスパイク放出しない。 本稿では,しきい値のウォームアップ手法として'Threshold annealing'を提案する。 複数の層にまたがってスパイクを伝播させることで、ニューロンが火を放つのを防ぎ、その結果、二項化重みを使いながら4つの異なるデータセットに対して高い競争力を発揮することを示す。 ソースコードはhttps://github.com/jeshraghian/snn-tha/で入手できる。

関連論文リスト

• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• Ternary Spike: Learning Ternary Spikes for Spiking Neural Networks [19.304952813634994]
  Spiking Neural Network(SNN)は、生物学的にインスパイアされたニューラルネットワーク基盤である。 本稿では,情報伝達のための3次スパイクニューロンを提案する。 3次スパイクは、常に最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-11T13:28:54Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Astrocytes mediate analogous memory in a multi-layer neuron-astrocytic network [52.77024349608834]
  情報の一部が数秒間堅牢な活動パターンとして維持され、他の刺激が来なければ完全に消滅することを示す。 この種の短期記憶は、操作情報を数秒保存し、次のパターンとの重複を避けるために完全に忘れてしまう。 任意のパターンをロードし、一定の間隔で保存し、適切な手掛かりパターンを入力に適用した場合に検索する方法について示す。
  論文  参考訳（メタデータ） (2021-08-31T16:13:15Z)
• Hessian Aware Quantization of Spiking Neural Networks [1.90365714903665]
  ニューロモルフィックアーキテクチャは、可変ビット精度と局所ビット精度の大規模並列計算を可能にする。 SNNトレーニングの現在の勾配に基づく方法は、複数の状態変数を持つ複雑なニューロンモデルを使用する。 我々は、勾配に基づくトレーニングと互換性を保ちつつ、状態変数の数を4倍に削減する単純化されたニューロンモデルを提案する。
  論文  参考訳（メタデータ） (2021-04-29T05:27:34Z)
• Efficient bit encoding of neural networks for Fock states [77.34726150561087]
  ニューラルネットワークの複雑さは、最大ボソン数ではなくビット符号化されたニューロンの数でしかスケールしない。 高占有状態においては、情報圧縮効率は最大に最適化された密度行列の実装を超えることが示されている。
  論文  参考訳（メタデータ） (2021-03-15T11:24:40Z)
• Artificial Neural Networks generated by Low Discrepancy Sequences [59.51653996175648]
  我々は、高密度ネットワークグラフ上のランダムウォーキングとして、人工ニューラルネットワークを生成する。 このようなネットワークはスクラッチからスパースを訓練することができ、高密度ネットワークをトレーニングし、その後圧縮する高価な手順を避けることができる。 我々は,低差分シーケンスで生成された人工ニューラルネットワークが,より低い計算複雑性で,密度の高いニューラルネットワークの到達範囲内で精度を達成できることを実証した。
  論文  参考訳（メタデータ） (2021-03-05T08:45:43Z)
• Neuron Merging: Compensating for Pruned Neurons [3.441021278275805]
  構造的ネットワークプルーニングは、ニューロン全体やフィルターを破棄し、精度を低下させる。 完全連結層と畳み込み層の両方に適用可能なニューロン融合の概念を提案する。 我々は93.16%の精度を達成し、微調整なしで総パラメータの64%を削減した。
  論文  参考訳（メタデータ） (2020-10-25T16:50:26Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)
• Optimized spiking neurons classify images with high accuracy through temporal coding with two spikes [1.7767466724342065]
  スパイクベースのニューロモルフィックハードウェアは、画像分類やその他のディープラーニング応用のエネルギー消費を減らすことを約束する。 トレーニング済みの人工ニューラルネットワークをスパイクニューロンに変換する方法は、ニューロンがスパイクを多すぎるため、非効率であった。 このような目的のために、スパイキングニューロンモデルを最適化すると、より効率的な変換が起こることが示される。
  論文  参考訳（メタデータ） (2020-01-31T10:11:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。