論文の概要: Towards Understanding the Effect of Leak in Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2006.08761v1
• Date: Mon, 15 Jun 2020 20:56:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 02:13:52.184084
• Title: Towards Understanding the Effect of Leak in Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークにおける漏れの影響の理解に向けて
• Authors: Sayeed Shafayet Chowdhury, Chankyu Lee and Kaushik Roy
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、人間の脳の能力をエミュレートするために研究されている。 様々なスパイキングニューロンモデルが生物学的神経機能に類似するように提案されている。 生体密度の異なるモデルでは、しばしば膜電位と呼ばれる内部状態の漏れ経路を含む。
• 参考スコア（独自算出の注目度）: 7.434017279117782
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) are being explored to emulate the astounding capabilities of human brain that can learn and compute functions robustly and efficiently with noisy spiking activities. A variety of spiking neuron models have been proposed to resemble biological neuronal functionalities. With varying levels of bio-fidelity, these models often contain a leak path in their internal states, called membrane potentials. While the leaky models have been argued as more bioplausible, a comparative analysis between models with and without leak from a purely computational point of view demands attention. In this paper, we investigate the questions regarding the justification of leak and the pros and cons of using leaky behavior. Our experimental results reveal that leaky neuron model provides improved robustness and better generalization compared to models with no leak. However, leak decreases the sparsity of computation contrary to the common notion. Through a frequency domain analysis, we demonstrate the effect of leak in eliminating the high-frequency components from the input, thus enabling SNNs to be more robust against noisy spike-inputs.
• Abstract（参考訳）: スパイクニューラルネットワーク(snn)は、ノイズの多いスパイク活動で機能を堅牢かつ効率的に学習し計算できる人間の脳の驚くべき能力を模倣するために研究されている。 様々なスパイキングニューロンモデルが生物学的神経機能に類似するように提案されている。 生体適合性のレベルが異なるため、これらのモデルは膜電位と呼ばれる内部状態のリーク経路を含むことが多い。 リークモデルはより生物学的に証明可能であると議論されているが、純粋に計算的な観点からのリークのないモデル間の比較分析には注意が必要である。 本稿では,漏洩の正当性に関する問題点と,漏洩挙動を利用した場合の利点と欠点について考察する。 その結果, 漏洩ニューロンモデルにより, 漏れのないモデルに比べ, 堅牢性が向上し, 一般化性が向上することがわかった。 しかし、リークは共通の概念に反して計算のスパーシティを減少させる。 周波数領域解析により,入力からの高周波成分の除去における漏洩の影響を実証し,雑音のスパイク入力に対してsnがより頑健になることを示す。

関連論文リスト

• Unleashing the Potential of Spiking Neural Networks for Sequential Modeling with Contextual Embedding [32.25788551849627]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、長期的な時間的関係をモデル化する上で、生物学的に競合するものと一致しようと苦労してきた。 本稿では,新しい文脈埋め込みLeaky Integrate-and-Fire(CE-LIF)スパイキングニューロンモデルを提案する。
  論文  参考訳（メタデータ） (2023-08-29T09:33:10Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Cross-Model Comparative Loss for Enhancing Neuronal Utility in Language Understanding [82.46024259137823]
  幅広いタスクに対するクロスモデル比較損失を提案する。 3つの異なるNLUタスクから14のデータセットに対する広範な実験により比較損失の普遍的有効性を示す。
  論文  参考訳（メタデータ） (2023-01-10T03:04:27Z)
• Impact of spiking neurons leakages and network recurrences on event-based spatio-temporal pattern recognition [0.0]
  ニューロモルフィックハードウェアとイベントベースのセンサーを組み合わせたスパイクニューラルネットワークは、エッジにおける低レイテンシと低パワー推論への関心が高まっている。 スパイキングニューロンにおけるシナプスおよび膜漏れの影響について検討する。
  論文  参考訳（メタデータ） (2022-11-14T21:34:02Z)
• Single-phase deep learning in cortico-cortical networks [1.7249361224827535]
  バーストCCNは,バースト活動,短期可塑性,樹状突起を対象とする神経介在物を統合した新しいモデルである。 以上の結果から,脳内皮下,細胞下,マイクロサーキット,システムレベルでの皮質的特徴は,脳内単相効率の深層学習と一致していることが示唆された。
  論文  参考訳（メタデータ） (2022-06-23T15:10:57Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Low-activity supervised convolutional spiking neural networks applied to speech commands recognition [6.6389732792316005]
  スパイキングニューラルネットワーク(SNN)は、教師付き方法で効率的に訓練することができる。 本稿では,拡張畳み込みスパイク層からなるモデルが,標準ディープニューラルネットワーク(DNN)に非常に近い誤差率に達することを示す。 また、LIFモデルが非リーキーモデルよりも優れており、ニューロン膜電位の漏洩をモデル化することが有用であることを示す。
  論文  参考訳（メタデータ） (2020-11-13T10:29:35Z)
• Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
  ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。 本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。 NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
  論文  参考訳（メタデータ） (2020-04-29T01:28:32Z)
• One Neuron to Fool Them All [12.107259467873094]
  我々は、そのニューロンの出力の直接摂動に対するモデル出力の頑健さの観点から、個々のニューロンの感度を評価する。 単一感受性ニューロンのみを標的とする損失関数を用いた攻撃は、完全なモデルをターゲットにしたものと同じくらい効果的に敵の例を見つける。
  論文  参考訳（メタデータ） (2020-03-20T16:49:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。