論文の概要: Quadratic integrate-and-fire neurons exhibit less fragmented loss landscapes and outperform leaky integrate-and-fire neurons in spike-based gradient descent

• arxiv url: http://arxiv.org/abs/2606.03935v1
• Date: Tue, 02 Jun 2026 17:26:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.214474
• Title: Quadratic integrate-and-fire neurons exhibit less fragmented loss landscapes and outperform leaky integrate-and-fire neurons in spike-based gradient descent
• Title（参考訳）: クアドラティック・インテリジェンス・アンド・ファイアニューロンは、断片的なロスランドスケープを減らし、スパイク・ベースの勾配降下において漏れたインテリジェンス・アンド・ファイアニューロンより優れている
• Authors: Carlo Wenig, Raoul-Martin Memmesheimer, Christian Klos,
• Abstract要約: 最近の研究では、二次統合火災(QIF)ニューロンを含むニューロンのクラスが、勾配降下時の不連続性を回避することが示されている。 ここでは、一般的なSpking Heidelberg Digitsデータセット上で、LIFとQIFのニューロンのネットワークの制御された比較によってそれを実証する。 その結果、不連続なLIFニューロンの損失景観は断片化され、関連する勾配が不安定になることがわかった。
• 参考スコア（独自算出の注目度）: 1.2744523252873352
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ability to train spiking neural networks is essential for modeling biological neural networks as well as for neuromorphic computing. However, for the extensively used leaky integrate-and-fire (LIF) neurons, arbitrarily small parameter changes can induce spike (dis)appearances that disrupt subsequent activity, leading to unstable neural representations and permanently silent neurons during exact spike-based gradient descent. Recent work shows that a class of neuron models, which includes the quadratic integrate-and-fire (QIF) neuron, avoids these discontinuities and enables continuous and even smooth spike-based gradient descent. However, it remains unclear whether these advantages translate into practice. Here, we demonstrate that they do so via a controlled comparison between networks of LIF and QIF neurons on the popular Spiking Heidelberg Digits dataset. Specifically, in a first step, we perform a thorough hyperparameter search to optimize both models, revealing a clear performance advantage of QIF neurons. In a second step, we visualize the loss and gradient landscapes. Consistent with their inferior performance, we find that the loss landscapes of LIF neurons, which are discontinuous, appear more fragmented and the related gradients more erratic. An analysis of the landscapes of single samples indicates that these features arise from changes in the temporal order of spikes, which often cause disruptive spike (dis)appearances. Overall, our results advocate replacing LIF neurons with neuron models exhibiting continuous spiking dynamics, such as QIF neurons, for gradient descent training.
• Abstract（参考訳）: スパイクニューラルネットワークを訓練する能力は、生物学的ニューラルネットワークのモデリングだけでなく、ニューロモルフィックコンピューティングにも不可欠である。 しかし、広範囲に使われているLIFニューロンに対して、任意に小さなパラメータの変化は、その後の活動を妨害するスパイク(dis)出現を誘導し、正確なスパイクベースの勾配降下中に不安定な神経表現と永久的に無声ニューロンを誘導する。 最近の研究は、二次統合火災(QIF)ニューロンを含むニューロンのクラスがこれらの不連続性を避け、連続的かつスムーズなスパイクベースの勾配降下を可能にしていることを示している。 しかし、これらの利点が実際に通じるかどうかは定かではない。 ここでは、一般的なSpking Heidelberg Digitsデータセット上で、LIFとQIFのニューロンのネットワークの制御された比較によってそれを実証する。 具体的には、まず第一段階として、両方のモデルを最適化するために、徹底したハイパーパラメータ探索を行い、QIFニューロンの明確な性能上の利点を明らかにした。 第2のステップでは、損失と勾配の風景を可視化する。 不連続であるLIFニューロンの損失景観は, より断片化され, 関連する勾配が不安定であることが判明した。 単一サンプルの風景を解析したところ、これらの特徴はスパイクの時間的順序の変化から生じ、しばしば破壊的なスパイク(ディス)の出現を引き起こすことが示されている。 総じて, LIFニューロンをQIFニューロンなどの連続的なスパイクダイナミクスを示すニューロンモデルに置き換えて, 勾配降下訓練を行うことを提唱した。

関連論文リスト

• Discretized Quadratic Integrate-and-Fire Neuron Model for Deep Spiking Neural Networks [0.08749675983608168]
  スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワークに代わるエネルギー効率の良い代替手段として登場した。 本稿では,高性能深部スパイクニューラルネットに適した準積分ファイア(QIF)ニューロンモデルの最初の離散化を提案する。
  論文  参考訳（メタデータ） (2025-10-05T02:30:10Z)
• Fractional Spike Differential Equations Neural Network with Efficient Adjoint Parameters Training [63.3991315762955]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンからインスピレーションを得て、脳に似た計算の現実的なモデルを作成する。 既存のほとんどのSNNは、マルコフ特性を持つ一階常微分方程式(ODE)によってモデル化された、神経細胞膜電圧ダイナミクスの単一時間定数を仮定している。 本研究では, 膜電圧およびスパイク列車の長期依存性を分数次力学により捉えるフラクタルSPIKE微分方程式ニューラルネットワーク (fspikeDE) を提案する。
  論文  参考訳（メタデータ） (2025-07-22T18:20:56Z)
• Gated Parametric Neuron for Spike-based Audio Recognition [26.124844943674407]
  スパイキングニューラルネットワーク(SNN)は、生物学的に可塑性ニューロンを持つヒト脳内の実際のニューラルネットワークをシミュレートすることを目的としている。 本稿では,ゲーティング機構を用いて時間的情報を効率的に処理するための漏れパラメトリックニューロン(GPN)を提案する。
  論文  参考訳（メタデータ） (2024-12-02T03:46:26Z)
• Fractional-order spike-timing-dependent gradient descent for multi-layer spiking neural networks [18.142378139047977]
  本稿では,数次スパイクタイピング依存勾配勾配(FOSTDGD)学習モデルを提案する。 TheNISTとDVS128 Gestureデータセットでテストし、その精度を異なるネットワーク構造と分数順序で分析する。
  論文  参考訳（メタデータ） (2024-10-20T05:31:34Z)
• Smooth Exact Gradient Descent Learning in Spiking Neural Networks [0.0]
  連続的に変化するスパイキングダイナミクスに基づいて、正確な勾配降下を示す。 これらは、スパイクが消えてトライアルの終わりに現れるニューロンモデルによって生成され、その後のダイナミクスには影響しない。
  論文  参考訳（メタデータ） (2023-09-25T20:51:00Z)
• Synaptic Stripping: How Pruning Can Bring Dead Neurons Back To Life [0.0]
  我々は、致命的な神経細胞問題に対処する手段として、シナプスストリッピングを導入する。 トレーニング中に問題のある接続を自動的に取り除くことで、死んだ神経細胞を再生することができる。 我々は,ネットワーク幅と深さの関数として,これらのダイナミクスを研究するために,いくつかのアブレーション研究を行っている。
  論文  参考訳（メタデータ） (2023-02-11T23:55:50Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。