論文の概要: ALADE-SNN: Adaptive Logit Alignment in Dynamically Expandable Spiking Neural Networks for Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2412.12696v1
• Date: Tue, 17 Dec 2024 09:13:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:58:41.870355
• Title: ALADE-SNN: Adaptive Logit Alignment in Dynamically Expandable Spiking Neural Networks for Class Incremental Learning
• Title（参考訳）: ALADE-SNN:クラスインクリメンタル学習のための動的拡張可能なスパイクニューラルネットワークにおける適応ロジットアライメント
• Authors: Wenyao Ni, Jiangrong Shen, Qi Xu, Huajin Tang,
• Abstract要約: クラスインクリメンタルラーニング(CIL)のための動的構造を持つスパイキングニューラルネットワーク(SNN)を開発した。 このフレームワークは、バランスの取れた特徴表現のための適応ロジットアライメントと、凍結した古い特徴をトレーニング中に新しいクラスにマッピングする重み管理のためのOtoN抑制を含む。 実験の結果、ALADE-SNNはCIFAR100-B0ベンチマークで平均75.42のインクリメンタル精度を10段階以上達成していることがわかった。
• 参考スコア（独自算出の注目度）: 15.022211557367273
• License:
• Abstract: Inspired by the human brain's ability to adapt to new tasks without erasing prior knowledge, we develop spiking neural networks (SNNs) with dynamic structures for Class Incremental Learning (CIL). Our comparative experiments reveal that limited datasets introduce biases in logits distributions among tasks. Fixed features from frozen past-task extractors can cause overfitting and hinder the learning of new tasks. To address these challenges, we propose the ALADE-SNN framework, which includes adaptive logit alignment for balanced feature representation and OtoN suppression to manage weights mapping frozen old features to new classes during training, releasing them during fine-tuning. This approach dynamically adjusts the network architecture based on analytical observations, improving feature extraction and balancing performance between new and old tasks. Experiment results show that ALADE-SNN achieves an average incremental accuracy of 75.42 on the CIFAR100-B0 benchmark over 10 incremental steps. ALADE-SNN not only matches the performance of DNN-based methods but also surpasses state-of-the-art SNN-based continual learning algorithms. This advancement enhances continual learning in neuromorphic computing, offering a brain-inspired, energy-efficient solution for real-time data processing.
• Abstract（参考訳）: 従来の知識を消さずに新しいタスクに適応する人間の脳の能力にインスパイアされた我々は、クラスインクリメンタルラーニング(CIL)のための動的構造を持つスパイキングニューラルネットワーク(SNN)を開発した。 我々の比較実験では、限られたデータセットはタスク間のログ分布にバイアスをもたらすことがわかった。 凍ったパスタスク抽出機からの固定された特徴は、過度に適合し、新しいタスクの学習を妨げる可能性がある。 これらの課題に対処するために、バランスの取れた特徴表現のための適応ロジットアライメントと、凍結した古い特徴をトレーニング中に新しいクラスにマッピングし、微調整中にそれらを解放するOtoN抑制を含むALADE-SNNフレームワークを提案する。 このアプローチは、分析観測に基づいてネットワークアーキテクチャを動的に調整し、特徴抽出を改善し、新しいタスクと古いタスクのバランスをとる。 実験の結果、ALADE-SNNはCIFAR100-B0ベンチマークで平均75.42のインクリメンタル精度を10段階以上達成していることがわかった。 ALADE-SNNは、DNNベースの手法の性能だけでなく、最先端のSNNベースの連続学習アルゴリズムを超越している。 この進歩は、ニューロモルフィックコンピューティングにおける継続的な学習を促進し、リアルタイムデータ処理のための脳にインスパイアされたエネルギー効率の高いソリューションを提供する。

関連論文リスト

• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• BKDSNN: Enhancing the Performance of Learning-based Spiking Neural Networks Training with Blurred Knowledge Distillation [20.34272550256856]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューラルネットワークを模倣し、離散スパイクを介して情報を伝達する。 本研究は,静的およびニューロモルフィックなデータセット上でSNNをトレーニングするための最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-07-12T08:17:24Z)
• Enhancing Efficient Continual Learning with Dynamic Structure Development of Spiking Neural Networks [6.407825206595442]
  子どもは複数の認知タスクを逐次学習する能力を持っている。 既存の連続学習フレームワークは通常、ディープニューラルネットワーク(DNN)に適用できる。 本研究では,効率的な適応型連続学習のためのスパイキングニューラルネットワーク(DSD-SNN)の動的構造開発を提案する。
  論文  参考訳（メタデータ） (2023-08-09T07:36:40Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Spiking Neural Networks with Improved Inherent Recurrence Dynamics for Sequential Learning [6.417011237981518]
  漏れた統合と発火(LIF)ニューロンを持つニューラルネットワーク(SNN)は、イベント駆動方式で操作できる。 我々は,SNNを逐次的なタスクのために訓練し,LIFニューロンのネットワークへの修正を提案する。 そこで我々は,提案するSNNのトレーニング手法を開発し,本質的な再帰ダイナミクスを改良した。
  論文  参考訳（メタデータ） (2021-09-04T17:13:28Z)
• Self-Supervised Learning of Event-Based Optical Flow with Spiking Neural Networks [3.7384509727711923]
  ニューロモルフィックコンピューティングの大きな課題は、従来の人工ニューラルネットワーク(ANN)の学習アルゴリズムがスパイクニューラルネットワーク(SNN)に直接転送されないことである。 本稿では,イベントベースカメラ入力からの光フロー推定における自己教師型学習問題に着目した。 提案するANNとSNNの性能は,自己教師型で訓練された現在の最先端のANNと同等であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T14:03:41Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。