論文の概要: ILIF: Temporal Inhibitory Leaky Integrate-and-Fire Neuron for Overactivation in Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2505.10371v1
• Date: Thu, 15 May 2025 14:56:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.369595
• Title: ILIF: Temporal Inhibitory Leaky Integrate-and-Fire Neuron for Overactivation in Spiking Neural Networks
• Title（参考訳）: ILIF: スパイクニューラルネットワークの過剰活性化のための時間的抑制リーク
• Authors: Kai Sun, Peibo Duan, Levin Kuhlmann, Beilun Wang, Bin Zhang,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率、イベント駆動処理、生物学的妥当性に注目が集まっている。 バックプロパゲーションを介してSNNを訓練するために、非微分可能なスパイク関数を近似するために代理勾配を用いる。 我々はガンマのジレンマと呼ばれる大きな課題を同定し、比較的大きなガンマは過剰なニューロンの発火を特徴とする過剰な活性化を引き起こす。
• 参考スコア（独自算出の注目度）: 7.9207501627846675
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Spiking Neural Network (SNN) has drawn increasing attention for its energy-efficient, event-driven processing and biological plausibility. To train SNNs via backpropagation, surrogate gradients are used to approximate the non-differentiable spike function, but they only maintain nonzero derivatives within a narrow range of membrane potentials near the firing threshold, referred to as the surrogate gradient support width gamma. We identify a major challenge, termed the dilemma of gamma: a relatively large gamma leads to overactivation, characterized by excessive neuron firing, which in turn increases energy consumption, whereas a small gamma causes vanishing gradients and weakens temporal dependencies. To address this, we propose a temporal Inhibitory Leaky Integrate-and-Fire (ILIF) neuron model, inspired by biological inhibitory mechanisms. This model incorporates interconnected inhibitory units for membrane potential and current, effectively mitigating overactivation while preserving gradient propagation. Theoretical analysis demonstrates ILIF effectiveness in overcoming the gamma dilemma, and extensive experiments on multiple datasets show that ILIF improves energy efficiency by reducing firing rates, stabilizes training, and enhances accuracy. The code is available at github.com/kaisun1/ILIF.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率、事象駆動処理、生物学的妥当性に注目が集まっている。 バックプロパゲーションを介してSNNを訓練するために、サロゲート勾配は非微分スパイク関数を近似するために使用されるが、サロゲート勾配支持幅ガンマと呼ばれる焼成閾値付近の狭い膜電位の範囲内では非ゼロ微分しか維持しない。 比較的大きなガンマは過剰なニューロンの発火を特徴とし、エネルギー消費を増大させる一方、小さなガンマは勾配を消失させ、時間的依存を弱める。 そこで本研究では, 生物学的阻害機構に着想を得て, 時間的抑制Leaky Integrate-and-Fire(ILIF)ニューロンモデルを提案する。 このモデルは膜電位と電流を相互に抑制するユニットを組み込み、勾配伝播を保ちながら過剰活性化を効果的に緩和する。 理論解析により、ガンマジレンマを克服するILIFの有効性が示され、複数のデータセットでの広範な実験により、ILIFは発火率を低減し、訓練を安定化し、精度を高めることが示されている。 コードはgithub.com/kaisun1/ILIFで入手できる。

関連論文リスト

• Spiking Meets Attention: Efficient Remote Sensing Image Super-Resolution with Attention Spiking Neural Networks [57.17129753411926]
  従来の人工ニューラルネットワーク(ANN)の代替手段としてスパイキングニューラルネットワーク(SNN)が登場 本稿では,AID,DOTA,DIORなどのリモートセンシングベンチマークにおいて,最先端の性能を実現するSpikeSRを提案する。
  論文  参考訳（メタデータ） (2025-03-06T09:06:06Z)
• ProAct: Progressive Training for Hybrid Clipped Activation Function to Enhance Resilience of DNNs [0.4660328753262075]
  State-of-the-artメソッドは、ニューロンワイドまたは層ワイドクリッピングアクティベーション機能を提供する。 層単位で切断されたアクティベーション関数はDNNのレジリエンスを高いビット誤り率で保持することはできない。 本稿では,ニューロンワイド法とレイヤバイ層法を統合したハイブリッドクリップ型アクティベーション関数を提案する。
  論文  参考訳（メタデータ） (2024-06-10T14:31:38Z)
• Spiking Neural Networks with Consistent Mapping Relations Allow High-Accuracy Inference [9.667807887916132]
  スパイクベースのニューロモルフィックハードウェアは、低エネルギー消費と効率的な推論において大きな可能性を証明している。 ディープスパイクニューラルネットワークの直接トレーニングは困難であり、変換ベースの手法では未解決の変換エラーのため、かなりの遅延が必要になる。
  論文  参考訳（メタデータ） (2024-06-08T06:40:00Z)
• Fast gradient-free activation maximization for neurons in spiking neural networks [5.805438104063613]
  このようなループのための効率的な設計のフレームワークを提案する。 トレーニング中の人工ニューロンの最適刺激の変化を追跡する。 この洗練された最適刺激の形成は、分類精度の増大と関連している。
  論文  参考訳（メタデータ） (2023-12-28T18:30:13Z)
• Butterfly Effects of SGD Noise: Error Amplification in Behavior Cloning and Autoregression [70.78523583702209]
  深層ニューラルネットワークを用いた行動クローニングの訓練不安定性について検討した。 トレーニング中のSGD更新の最小化は,長期的報奨の急激な振動をもたらすことが観察された。
  論文  参考訳（メタデータ） (2023-10-17T17:39:40Z)
• TC-LIF: A Two-Compartment Spiking Neuron Model for Long-Term Sequential Modelling [54.97005925277638]
  潜在的な可能性や危険に関連する感覚的手がかりの同定は、長期間の遅延によって有用な手がかりを分離する無関係な事象によってしばしば複雑になる。 SNN(State-of-the-art spiking Neural Network)は、遠方のキュー間の長期的な時間的依存関係を確立する上で、依然として困難な課題である。 そこで本研究では,T-LIFとよばれる,生物学的にインスパイアされたTwo-compartment Leaky Integrate- and-Fireのスパイキングニューロンモデルを提案する。
  論文  参考訳（メタデータ） (2023-08-25T08:54:41Z)
• Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
  LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。 実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。 したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
  論文  参考訳（メタデータ） (2023-07-14T08:51:03Z)
• MSAT: Biologically Inspired Multi-Stage Adaptive Threshold for Conversion of Spiking Neural Networks [11.392893261073594]
  スパイキングニューラルネットワーク(SNN)はそのスパイク間隔のために低消費電力で推測できる。 ANN-SNN変換は、よく訓練されたニューラルネットワーク(ANN)を変換することでディープSNNを実現する効率的な方法である 既存の方法は、ニューロンがより深い層にスパイクを素早く届けるのを防ぐ変換に一定の閾値を使用するのが一般的である。
  論文  参考訳（メタデータ） (2023-03-23T07:18:08Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Backpropagated Neighborhood Aggregation for Accurate Training of Spiking Neural Networks [14.630838296680025]
  そこで我々は,重み更新を導く誤差勾配を高精度に計算するBP型手法である,近傍集約(NA)を提案する。 NAはこの目的を達成するために、各ニューロンの現在の膜電位の近傍にある摂動膜電位波形による損失の有限差を集約する。 実験の結果,提案したNAアルゴリズムは,複数のデータセットを対象としたSNNトレーニングの最先端性能を提供することがわかった。
  論文  参考訳（メタデータ） (2021-06-22T16:42:48Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。