論文の概要: Fractional Spike Differential Equations Neural Network with Efficient Adjoint Parameters Training
- arxiv url: http://arxiv.org/abs/2507.16937v1
- Date: Tue, 22 Jul 2025 18:20:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-24 22:33:14.732923
- Title: Fractional Spike Differential Equations Neural Network with Efficient Adjoint Parameters Training
- Title（参考訳）: 効率的な随伴パラメータ学習を用いたフラクタルスパイク微分方程式ニューラルネットワーク
- Authors: Chengjie Ge, Yufeng Peng, Xueyang Fu, Qiyu Kang, Xuhao Li, Qixin Zhang, Junhao Ren, Zheng-Jun Zha,
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンからインスピレーションを得て、脳に似た計算の現実的なモデルを作成する。
既存のほとんどのSNNは、マルコフ特性を持つ一階常微分方程式(ODE)によってモデル化された、神経細胞膜電圧ダイナミクスの単一時間定数を仮定している。
本研究では, 膜電圧およびスパイク列車の長期依存性を分数次力学により捉えるフラクタルSPIKE微分方程式ニューラルネットワーク (fspikeDE) を提案する。
- 参考スコア（独自算出の注目度）: 63.3991315762955
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking Neural Networks (SNNs) draw inspiration from biological neurons to create realistic models for brain-like computation, demonstrating effectiveness in processing temporal information with energy efficiency and biological realism. Most existing SNNs assume a single time constant for neuronal membrane voltage dynamics, modeled by first-order ordinary differential equations (ODEs) with Markovian characteristics. Consequently, the voltage state at any time depends solely on its immediate past value, potentially limiting network expressiveness. Real neurons, however, exhibit complex dynamics influenced by long-term correlations and fractal dendritic structures, suggesting non-Markovian behavior. Motivated by this, we propose the Fractional SPIKE Differential Equation neural network (fspikeDE), which captures long-term dependencies in membrane voltage and spike trains through fractional-order dynamics. These fractional dynamics enable more expressive temporal patterns beyond the capability of integer-order models. For efficient training of fspikeDE, we introduce a gradient descent algorithm that optimizes parameters by solving an augmented fractional-order ODE (FDE) backward in time using adjoint sensitivity methods. Extensive experiments on diverse image and graph datasets demonstrate that fspikeDE consistently outperforms traditional SNNs, achieving superior accuracy, comparable energy efficiency, reduced training memory usage, and enhanced robustness against noise. Our approach provides a novel open-sourced computational toolbox for fractional-order SNNs, widely applicable to various real-world tasks.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンからインスピレーションを得て、脳のような計算の現実的なモデルを作成し、エネルギー効率と生物学的リアリズムによる時間情報の処理の有効性を実証する。
既存のほとんどのSNNは、マルコフ特性を持つ一階常微分方程式(ODE)によってモデル化された、神経細胞膜電圧ダイナミクスの単一時間定数を仮定している。
したがって、任意の時点での電圧状態は、その直近の過去の値にのみ依存し、潜在的にネットワーク表現性を制限する。
しかし、実際のニューロンは長期の相関とフラクタル樹状構造の影響を受け、非マルコフ的挙動を示唆している。
そこで本研究では, 膜電圧とスパイク列車の長期依存性を分数次力学により捉えるフラクタルSPIKE微分方程式ニューラルネットワーク (fspikeDE) を提案する。
これらの分数的ダイナミクスは、整数階数モデルの能力を超えたより表現力のある時間的パターンを可能にする。
本稿では,fspikeDE の効率よく学習するために,拡張分数次ODE (FDE) を随伴感度法を用いて時間内に解き,パラメータを最適化する勾配降下アルゴリズムを提案する。
多様な画像とグラフデータセットに関する大規模な実験により、fspikeDEは従来のSNNよりも一貫して優れており、優れた精度、同等のエネルギー効率、トレーニングメモリ使用量の削減、ノイズに対する堅牢性の向上を実現している。
我々の手法は、様々な実世界のタスクに広く適用可能な、分数次SNNのための新しいオープンソースの計算ツールボックスを提供する。
関連論文リスト
- Langevin Flows for Modeling Neural Latent Dynamics [81.81271685018284]
逐次変分自動エンコーダであるLangevinFlowを導入し、潜伏変数の時間的進化をアンダーダム化したLangevin方程式で制御する。
われわれのアプローチは、慣性、減衰、学習されたポテンシャル関数、力などの物理的事前を組み込んで、ニューラルネットワークにおける自律的および非自律的プロセスの両方を表現する。
本手法は,ロレンツ誘引器によって生成される合成神経集団に対する最先端のベースラインより優れる。
論文 参考訳（メタデータ） (2025-07-15T17:57:48Z) - Neural Variable-Order Fractional Differential Equation Networks [26.06048802504022]
NvoFDE(Neural Variable-Order Fractional Differential Equation Network)を導入する。
NvoFDEは、可変次分数微分と学習可能なニューラルネットワークを統合する、新しいニューラルネットワークフレームワークである。
以上の結果から,NvoFDEは従来の定階分数モデルや整数モデルよりも多くのタスクをこなすことが示された。
論文 参考訳（メタデータ） (2025-03-20T14:54:19Z) - Channel-wise Parallelizable Spiking Neuron with Multiplication-free Dynamics and Large Temporal Receptive Fields [32.349167886062105]
スパイキングニューラルネットワーク(SNN)は、生物学的ニューラルネットワークにインスパイアされた洗練された神経力学とスパースバイナリアクティベーション(スパイクス)によって、ニューラルネットワーク(ANN)と区別される。
従来のニューロンモデルは反復的なステップバイステップのダイナミクスを使用し、シリアル計算とSNNの遅いトレーニング速度をもたらす。
最近の並列化可能なスパイクニューロンモデルは、SNNの訓練を加速するために、グラフィックス処理ユニットの大規模並列計算能力をフル活用するために提案されている。
論文 参考訳（メタデータ） (2025-01-24T13:44:08Z) - Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。
複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。
変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
論文 参考訳（メタデータ） (2024-12-05T09:41:33Z) - Advancing Spatio-Temporal Processing in Spiking Neural Networks through Adaptation [6.233189707488025]
ニューロモルフィックハードウェア上のニューラルネットワークは、非喫煙者よりも消費電力の少ないオーダーを約束する。
このようなシステム上でのスパイクベースの計算のための標準的なニューロンモデルは、長い間、統合と火災(LIF)ニューロンであった。
いわゆるアダプティブLIFニューロンの根源はよく分かっていない。
論文 参考訳（メタデータ） (2024-08-14T12:49:58Z) - Temporal Spiking Neural Networks with Synaptic Delay for Graph Reasoning [91.29876772547348]
スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされたニューラルネットワークモデルとして研究されている。
本稿では,SNNがシナプス遅延と時間符号化とを併用すると,グラフ推論の実行(知識)に長けていることを明らかにする。
論文 参考訳（メタデータ） (2024-05-27T05:53:30Z) - Neural Delay Differential Equations: System Reconstruction and Image
Classification [14.59919398960571]
我々はニューラル遅延微分方程式 (Neural Delay Differential Equations, NDDEs) という,遅延を伴う連続深度ニューラルネットワークの新しいクラスを提案する。
NODE と比較して、NDDE はより強い非線形表現能力を持つ。
我々は、合成されたデータだけでなく、よく知られた画像データセットであるCIFAR10に対しても、損失の低減と精度の向上を実現している。
論文 参考訳（メタデータ） (2023-04-11T16:09:28Z) - Neural Piecewise-Constant Delay Differential Equations [17.55759866368141]
本稿では,PCDDE(Neural Piecewise-Constant Delay Differential Equations)と呼ばれる,新しい連続深度ニューラルネットワークを紹介する。
ニューラルネットワークPCDDEは,1次元の離散遅延人口動態と実世界のデータセットにおいて,既存の連続深度ニューラルネットワークフレームワークよりも優れていることを示す。
論文 参考訳（メタデータ） (2022-01-04T03:44:15Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳（メタデータ） (2020-06-08T09:53:35Z) - Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
時変重みを持つニューラルODEの新しいファミリーを提案する。
我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
論文 参考訳（メタデータ） (2020-05-05T01:41:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。