論文の概要: HM-DF SNN: Transcending Conventional Online Learning with Advanced Training and Deployment

• arxiv url: http://arxiv.org/abs/2410.07547v2
• Date: Wed, 07 May 2025 10:08:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-08 19:07:35.738675
• Title: HM-DF SNN: Transcending Conventional Online Learning with Advanced Training and Deployment
• Title（参考訳）: HM-DF SNN: 高度なトレーニングと展開による従来型オンライン学習の超越
• Authors: Zecheng Hao, Yifan Huang, Zijie Xu, Wenxuan Liu, Yuanhong Tang, Zhaofei Yu, Tiejun Huang,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、人工知能の将来の発展において大きな可能性を秘めていると考えられている。 現在のオンライン学習フレームワークは、時間依存勾配の不分離問題に対処できない。 本稿では,それぞれ異なるスパイキング計算方式を採用する高度なモデル群であるHM-DF(Hybrid Mechanism-Driven Firing)モデルを提案する。
• 参考スコア（独自算出の注目度）: 39.6783548791379
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) are considered to have enormous potential in the future development of Artificial Intelligence due to their brain-inspired and energy-efficient properties. Compared to vanilla Spatial-Temporal Back-propagation (STBP) training methods, online training can effectively overcome the risk of GPU memory explosion. However, current online learning framework cannot tackle the inseparability problem of temporal dependent gradients and merely aim to optimize the training memory, resulting in no performance advantages compared to the STBP training models in the inference phase. To address the aforementioned challenges, we propose Hybrid Mechanism-Driven Firing (HM-DF) model, which is a family of advanced models that respectively adopt different spiking calculation schemes in the upper-region and lower-region of the firing threshold. We point out that HM-DF model can effectively separate temporal gradients and tackle the mismatch problem of surrogate gradients, as well as achieving full-stage optimization towards computation speed and memory footprint. Experimental results have demonstrated that HM-DF model can be flexibly combined with various techniques to achieve state-of-the-art performance in the field of online learning, without triggering further power consumption.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率の良い性質のために、人工知能の将来の発展に大きな可能性を秘めていると考えられている。 バニラ空間時間バックプロパゲーション(STBP)トレーニング手法と比較して、オンライントレーニングはGPUメモリの爆発のリスクを効果的に克服することができる。 しかし、現在のオンライン学習フレームワークは、時間依存勾配の不分離問題に対処できず、単にトレーニングメモリの最適化を目的とせず、推論フェーズにおけるSTBPトレーニングモデルと比較してパフォーマンス上の優位性はない。 以上の課題に対処するため, 上域と下域でそれぞれ異なるスパイキング計算方式を採用する先進モデルのファミリーであるハイブリッドメカニズム駆動フィリング(HM-DF)モデルを提案する。 我々は,HM-DFモデルが時間勾配を効果的に分離し,サロゲート勾配のミスマッチ問題に対処し,計算速度とメモリフットプリントに対するフルステージ最適化を実現することを指摘した。 実験の結果,HM-DFモデルと様々な手法を柔軟に組み合わせることで,オンライン学習の分野での最先端性能を実現することができることがわかった。

関連論文リスト

• Implicit Neural Differential Model for Spatiotemporal Dynamics [5.1854032131971195]
  In-PiNDiffは、安定時間力学のための新しい暗黙の物理積分型ニューラル微分可能解法である。 深い平衡モデルにインスパイアされたIm-PiNDiffは、暗黙の固定点層を用いて状態を前進させ、堅牢な長期シミュレーションを可能にする。 Im-PiNDiffは優れた予測性能、数値安定性の向上、メモリとコストの大幅な削減を実現している。
  論文  参考訳（メタデータ） (2025-04-03T04:07:18Z)
• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• Harnessing Nonidealities in Analog In-Memory Computing Circuits: A Physical Modeling Approach for Neuromorphic Systems [5.582327246405357]
  インメモリコンピューティング(IMC)は、従来のディープラーニングアクセラレータに固有のフォン・ノイマンのボトルネックに対処することで、有望なソリューションを提供する。 本稿では、一般微分方程式(ODE)に基づく物理ニューラルネットワーク(PNN)として定式化されたIMCの物理モデルを直接訓練する新しい手法を提案する。 大規模ネットワークのトレーニングを可能にするため,DSTDと呼ばれる手法を提案し,ODEベースのPNNの計算コストを最大20倍、メモリ100倍に削減する。
  論文  参考訳（メタデータ） (2024-12-12T07:22:23Z)
• Online Pseudo-Zeroth-Order Training of Neuromorphic Spiking Neural Networks [69.2642802272367]
  スパイクニューラルネットワーク(SNN)を用いた脳誘発ニューロモルフィックコンピューティングは、有望なエネルギー効率の計算手法である。 最近の手法では、空間的および時間的バックプロパゲーション(BP)を利用しており、ニューロモルフィックの性質に固執していない。 オンライン擬似ゼロオーダートレーニング(OPZO)を提案する。
  論文  参考訳（メタデータ） (2024-07-17T12:09:00Z)
• Efficient Online Learning for Networks of Two-Compartment Spiking Neurons [23.720523101102593]
  本稿では,TC-LIFニューロンのネットワークに適した新しいオンライン学習手法を提案する。 我々はまた、時間情報統合を強化するために慎重に設計された適応型TC-LIFニューロンモデル(Adaptive TC-LIF)を提案する。 本手法は, オンライン学習のトレーニング効率とハードウェアフレンドリさを両立させながら, TC-LIFニューロンの優れた逐次モデリング能力の維持に成功している。
  論文  参考訳（メタデータ） (2024-02-25T03:15:12Z)
• Parallel Spiking Unit for Efficient Training of Spiking Neural Networks [8.912926151352888]
  スパイキングニューラルネットワーク(SNN)は、人工知能の進歩に使用される。 SNNは、その固有の逐次計算依存によって妨げられている。 本稿では、革新的なParallel Spiking Unit(PSU)とその2つの誘導体、IPSU(IPSU)とRPSU(RPSU)を紹介する。 これらの変種は、リセットプロセスを確率的に管理しながら、スパイキングニューロンの漏れた積分と発火機構を巧みに分離する。
  論文  参考訳（メタデータ） (2024-02-01T09:36:26Z)
• Online Calibration of Deep Learning Sub-Models for Hybrid Numerical Modeling Systems [34.50407690251862]
  本稿では,ハイブリッドシステムのための効率的かつ実用的なオンライン学習手法を提案する。 オイラー勾配近似(Euler Gradient Approximation)のEGA(Euler Gradient Approximation)と呼ばれる手法は、無限に小さな時間ステップの極限における正確な勾配に収束することを示した。 その結果、オフライン学習よりも大幅に改善され、ハイブリッドモデリングにおけるエンド・ツー・エンドのオンライン学習の可能性を強調した。
  論文  参考訳（メタデータ） (2023-11-17T17:36:26Z)
• Estimating Post-Synaptic Effects for Online Training of Feed-Forward SNNs [0.27016900604393124]
  スパイクニューラルネットワーク(SNN)におけるオンライン学習の実現は、イベントベースのモデルを開発する上で重要なステップである。 本稿では, フィードフォワードSNNのトレーニングのためのOTPE(Online Training with Postsynaptic Estimates)を提案する。 本研究では, 時間的効果の新たな近似法を用いて, マルチ層ネットワークのスケーリング改善を示す。
  論文  参考訳（メタデータ） (2023-11-07T16:53:39Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Dual adaptive training of photonic neural networks [30.86507809437016]
  フォトニックニューラルネットワーク(PNN)は、低レイテンシ、高エネルギー効率、高並列性を特徴とする電子の代わりに光子を用いて計算する。 既存のトレーニングアプローチでは、大規模PNNにおける体系的エラーの広範な蓄積には対処できない。 そこで本研究では,PNNモデルが実質的な系統的誤りに適応できるように,DAT(Dual Adaptive Training)を提案する。
  論文  参考訳（メタデータ） (2022-12-09T05:03:45Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Online Training of Spiking Recurrent Neural Networks with Phase-Change Memory Synapses [1.9809266426888898]
  専用のニューロモルフィックハードウェア上でのスパイクニューラルネットワーク(RNN)のトレーニングは、依然としてオープンな課題である。 本稿では,PCMデバイスモデルに基づく差分構造アレイのシミュレーションフレームワークを提案する。 我々は,最近提案されたe-prop学習規則を用いて,提案したシミュレーションフレームワークに重みをエミュレートしたスパイクRNNを訓練する。
  論文  参考訳（メタデータ） (2021-08-04T01:24:17Z)
• Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
  本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。 我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
  論文  参考訳（メタデータ） (2021-06-03T00:02:05Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。