論文の概要: GLIF: A Unified Gated Leaky Integrate-and-Fire Neuron for Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2210.13768v1
• Date: Tue, 25 Oct 2022 05:07:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 12:53:22.764131
• Title: GLIF: A Unified Gated Leaky Integrate-and-Fire Neuron for Spiking Neural Networks
• Title（参考訳）: GLIF: ニューラルネットワークをスパイクするための統合型漏れニューロン
• Authors: Xingting Yao, Fanrong Li, Zitao Mo, Jian Cheng
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、生物の可視性を取り入れ、将来的なエネルギー効率を活用するために何十年も研究されてきた。 既存のSNNを通して、スパイキングニューロンを定式化するために、漏洩統合火災モデル(LIF)が一般的に採用されている。 我々は、異なるニューロンの挙動に異なる生体機能を統合するために、統一されたスパイクニューロンであるGLIFを提案する。
• 参考スコア（独自算出の注目度）: 12.727906985789165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) have been studied over decades to incorporate their biological plausibility and leverage their promising energy efficiency. Throughout existing SNNs, the leaky integrate-and-fire (LIF) model is commonly adopted to formulate the spiking neuron and evolves into numerous variants with different biological features. However, most LIF-based neurons support only single biological feature in different neuronal behaviors, limiting their expressiveness and neuronal dynamic diversity. In this paper, we propose GLIF, a unified spiking neuron, to fuse different bio-features in different neuronal behaviors, enlarging the representation space of spiking neurons. In GLIF, gating factors, which are exploited to determine the proportion of the fused bio-features, are learnable during training. Combining all learnable membrane-related parameters, our method can make spiking neurons different and constantly changing, thus increasing the heterogeneity and adaptivity of spiking neurons. Extensive experiments on a variety of datasets demonstrate that our method obtains superior performance compared with other SNNs by simply changing their neuronal formulations to GLIF. In particular, we train a spiking ResNet-19 with GLIF and achieve $77.35\%$ top-1 accuracy with six time steps on CIFAR-100, which has advanced the state-of-the-art. Codes are available at \url{https://github.com/Ikarosy/Gated-LIF}.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、生物の可視性を取り入れ、将来的なエネルギー効率を活用するために何十年も研究されてきた。 既存のSNNを通して、漏洩統合火災モデル(LIF)はスパイキングニューロンを定式化し、様々な生物学的特徴を持つ多くの変種へと進化する。 しかし、ほとんどの LIF 系ニューロンは、異なる神経行動において単一の生物学的特徴しかサポートせず、その表現性と神経の動的多様性を制限している。 本稿では, 刺激ニューロンの表現空間を拡大し, 異なるニューロンの挙動に異なる生体機能を持たせるための統合スパイキングニューロンであるGLIFを提案する。 GLIFでは、融合した生体機能の割合を決定するために利用されるゲーティング因子を訓練中に学習することができる。 全ての学習可能な膜関連パラメータを組み合わせることで、スパイキングニューロンの異質性や適応性を高めることができる。 本手法は, ニューロンのGLIFへの変更によって, 他のSNNと比較して優れた性能が得られることを示す。 特に、GLIFでスパイクするResNet-19を訓練し、CIFAR-100の6ステップで7.35 %$ top-1の精度を達成する。 コードは \url{https://github.com/ikarosy/gated-lif} で入手できる。

関連論文リスト

• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
  我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。 これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:54Z)
• Fast gradient-free activation maximization for neurons in spiking neural networks [5.805438104063613]
  このようなループのための効率的な設計のフレームワークを提案する。 トレーニング中の人工ニューロンの最適刺激の変化を追跡する。 この洗練された最適刺激の形成は、分類精度の増大と関連している。
  論文  参考訳（メタデータ） (2023-12-28T18:30:13Z)
• Dive into the Power of Neuronal Heterogeneity [8.6837371869842]
  進化戦略(ES)を用いて、スパイキングニューラルネットワーク(SNN)を最適化し、ランダムネットワークにおける異種ニューロンのより堅牢な最適化を実現するためのバックプロパゲーションベースの手法が直面する課題を示す。 膜時間定数は神経異質性において重要な役割を担っており、その分布は生物学的実験で観察されたものと類似している。
  論文  参考訳（メタデータ） (2023-05-19T07:32:29Z)
• A Neural Network Based Automated IFT-20 Sensory Neuron Classifier for Caenorhabditis elegans [0.0]
  組織間比較は、機能ネットワークの全脳分析を含む幅広い研究を可能にする。 線虫 Caenorhabditis elegans における単細胞分解能のパンニューロンイメージングの最近の進歩は、すべての到達範囲におけるニューロンの同定、追跡、活動監視をもたらした。 高い精度で神経細胞を同定する主な障壁は、成人のC. elegansでは神経細胞の体の位置がステレオタイプ化されていないことである。 単色蛍光画像のみを用いた別の神経細胞識別手法を提案する。
  論文  参考訳（メタデータ） (2022-10-24T00:17:26Z)
• Simple and complex spiking neurons: perspectives and analysis in a simple STDP scenario [0.7829352305480283]
  スパイキングニューラルネットワーク(SNN)は、生物学や神経科学にヒントを得て、高速で効率的な学習システムを構築する。 この研究は、文学における様々なニューロンモデルを考察し、単変数で効率的な計算ニューロンモデルを選択し、様々な種類の複雑さを提示する。 我々は, LIF, Quadratic I&F (QIF) および Exponential I&F (EIF) の3つの単純なI&Fニューロンモデルの比較研究を行い, より複雑なモデルの使用によってシステムの性能が向上するかどうかを検証した。
  論文  参考訳（メタデータ） (2022-06-28T10:01:51Z)
• Event-based Video Reconstruction via Potential-assisted Spiking Neural Network [48.88510552931186]
  バイオインスパイアされたニューラルネットワークは、イベント駆動ハードウェア上での計算効率の向上につながる可能性がある。 完全スパイキングニューラルネットワーク(EVSNN)に基づくイベントベースビデオ再構成フレームワークを提案する。 スパイクニューロンは、そのような時間依存タスクを完了させるために有用な時間情報(メモリ)を格納する可能性がある。
  論文  参考訳（メタデータ） (2022-01-25T02:05:20Z)
• Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis [91.3755431537592]
  本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。 このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。 実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
  論文  参考訳（メタデータ） (2021-04-22T04:01:32Z)
• Comparisons among different stochastic selection of activation layers for convolutional neural networks for healthcare [77.99636165307996]
  ニューラルネットワークのアンサンブルを用いて生体医用画像の分類を行う。 ReLU, leaky ReLU, Parametric ReLU, ELU, Adaptive Piecewice Linear Unit, S-Shaped ReLU, Swish, Mish, Mexican Linear Unit, Parametric Deformable Linear Unit, Soft Root Sign。
  論文  参考訳（メタデータ） (2020-11-24T01:53:39Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。