論文の概要: CADE: Cosine Annealing Differential Evolution for Spiking Neural Network

• arxiv url: http://arxiv.org/abs/2406.02349v1
• Date: Tue, 4 Jun 2024 14:24:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 16:00:43.772551
• Title: CADE: Cosine Annealing Differential Evolution for Spiking Neural Network
• Title（参考訳）: CADE: スパイクニューラルネットワークの差分進化を補うコサイン
• Authors: Runhua Jiang, Guodong Du, Shuyang Yu, Yifei Guo, Sim Kuan Goh, Ho-Kin Tang,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングとエネルギー効率のよい人工知能のポテンシャルで有名になった。 本稿では,CADE(Cosine Annealing Differential Evolution)を導入して課題に挑戦する。 CADEは、SNNモデル、すなわちスパイキング要素ワイズ(SEW)ResNetの差分進化の突然変異因子(F)とクロスオーバー率(CR)を変調する。
• 参考スコア（独自算出の注目度）: 3.933578042941731
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking neural networks (SNNs) have gained prominence for their potential in neuromorphic computing and energy-efficient artificial intelligence, yet optimizing them remains a formidable challenge for gradient-based methods due to their discrete, spike-based computation. This paper attempts to tackle the challenges by introducing Cosine Annealing Differential Evolution (CADE), designed to modulate the mutation factor (F) and crossover rate (CR) of differential evolution (DE) for the SNN model, i.e., Spiking Element Wise (SEW) ResNet. Extensive empirical evaluations were conducted to analyze CADE. CADE showed a balance in exploring and exploiting the search space, resulting in accelerated convergence and improved accuracy compared to existing gradient-based and DE-based methods. Moreover, an initialization method based on a transfer learning setting was developed, pretraining on a source dataset (i.e., CIFAR-10) and fine-tuning the target dataset (i.e., CIFAR-100), to improve population diversity. It was found to further enhance CADE for SNN. Remarkably, CADE elevates the performance of the highest accuracy SEW model by an additional 0.52 percentage points, underscoring its effectiveness in fine-tuning and enhancing SNNs. These findings emphasize the pivotal role of a scheduler for F and CR adjustment, especially for DE-based SNN. Source Code on Github: https://github.com/Tank-Jiang/CADE4SNN.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングとエネルギー効率のよい人工知能のポテンシャルで有名になったが、それらを最適化することは、その離散的なスパイクベースの計算のため、勾配ベースの手法にとって深刻な課題である。 本稿では,SNNモデルに対する差分進化(DE)の変異係数(F)とクロスオーバー率(CR)を変調するために設計されたCADE(Cosine Annealing Differential Evolution)を導入することで,課題に対処する。 CADEを解析するために大規模な実験評価を行った。 CADEは探索空間の探索と活用のバランスを示し、既存の勾配法やD法と比較して収束の加速と精度の向上を実現した。 さらに、移動学習環境に基づく初期化手法を開発し、ソースデータセット(CIFAR-10)を事前学習し、ターゲットデータセット(CIFAR-100)を微調整し、人口多様性を改善した。 SNNのCADEをさらに強化することが判明した。 注目すべきことに、CADEは高い精度のSEWモデルの性能を0.52ポイント向上させ、SNNの微調整と強化の有効性を裏付ける。 これらの知見は、特にD-based SNNにおいて、FとCR調整のためのスケジューラの役割の重要性を強調した。 Source Code on Github: https://github.com/Tank-Jiang/CADE4SNN.com

関連論文リスト

• Randomized Forward Mode Gradient for Spiking Neural Networks in Scientific Machine Learning [4.178826560825283]
  スパイキングニューラルネットワーク(SNN)は、ディープニューラルネットワークの階層的学習能力とスパイクベースの計算のエネルギー効率を組み合わせた、機械学習における有望なアプローチである。 SNNの伝統的なエンドツーエンドトレーニングは、しばしばバックプロパゲーションに基づいており、重み更新はチェーンルールによって計算された勾配から導かれる。 この手法は, 生体適合性に限界があり, ニューロモルフィックハードウェアの非効率性のため, 課題に遭遇する。 本研究では,SNNの代替トレーニング手法を導入する。後方伝搬の代わりに,前方モード内での重量摂動手法を活用する。
  論文  参考訳（メタデータ） (2024-11-11T15:20:54Z)
• BKDSNN: Enhancing the Performance of Learning-based Spiking Neural Networks Training with Blurred Knowledge Distillation [20.34272550256856]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューラルネットワークを模倣し、離散スパイクを介して情報を伝達する。 本研究は,静的およびニューロモルフィックなデータセット上でSNNをトレーニングするための最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-07-12T08:17:24Z)
• Directly Training Temporal Spiking Neural Network with Sparse Surrogate Gradient [8.516243389583702]
  脳にインスパイアされたスパイキングニューラルネットワーク(SNN)は、イベントベースのコンピューティングとエネルギー効率の良い機能によって、多くの注目を集めている。 本研究では,SNNの一般化能力を向上させるため,MSG(Masked Surrogate Gradients)を提案する。
  論文  参考訳（メタデータ） (2024-06-28T04:21:32Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• KLIF: An optimized spiking neuron unit for tuning surrogate gradient slope and membrane potential [0.0]
  スパイキングニューラルネットワーク(SNN)は、時間情報を処理する能力によって、多くの注目を集めている。 SNNのための効率的かつ高性能な学習アルゴリズムを開発することは依然として困難である。 我々は,SNNの学習能力を向上させるため,新しいk-based leaky Integrate-and-Fireneurnモデルを提案する。
  論文  参考訳（メタデータ） (2023-02-18T05:18:18Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Enhanced physics-constrained deep neural networks for modeling vanadium redox flow battery [62.997667081978825]
  本稿では,物理制約付き深部ニューラルネットワーク(PCDNN)による高精度電圧予測手法を提案する。 ePCDNNは、電圧放電曲線のテール領域を含む電荷放電サイクルを通して、電圧応答を正確にキャプチャすることができる。
  論文  参考訳（メタデータ） (2022-03-03T19:56:24Z)
• Adaptive Degradation Process with Deep Learning-Driven Trajectory [5.060233857860902]
  RUL(Remaining useful Life)推定は、インテリジェントな予測保守と健康管理の実装において重要な要素である。 本論文では, ハイブリットDNNベースの予後予測モデルを開発し, 適応ドリフトを用いてシステム劣化を特徴づける。 LSTM-CNNエンコーダデコーダを開発し、ノイズ係数とドリフト係数を併用して将来の劣化軌道を予測し、ベイズ推論により適応ドリフトを更新する。
  論文  参考訳（メタデータ） (2021-03-22T06:00:42Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。