論文の概要: CATFormer: When Continual Learning Meets Spiking Transformers With Dynamic Thresholds

• arxiv url: http://arxiv.org/abs/2603.15184v1
• Date: Mon, 16 Mar 2026 12:20:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 18:28:58.209053
• Title: CATFormer: When Continual Learning Meets Spiking Transformers With Dynamic Thresholds
• Title（参考訳）: CATFormer: ダイナミックな閾値を持つスパイクトランスフォーマーとの連続学習
• Authors: Vaishnavi Nagabhushana, Kartikay Agrawal, Ayon Borthakur,
• Abstract要約: クラスインクリメンタルラーニング(CIL)のための既存のスパイクニューラルネットワーク(SNN)は、タスクの蓄積に伴って大幅にパフォーマンス低下する。 この制限を克服するスケーラブルなフレームワークであるCATFormerを紹介します。 SNNにおける忘れの防止の鍵はシナプスの可塑性だけでなく、ニューロンの興奮性も調節できることを観察する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although deep neural networks perform extremely well in controlled environments, they fail in real-world scenarios where data isn't available all at once, and the model must adapt to a new data distribution that may or may not follow the initial distribution. Previously acquired knowledge is lost during subsequent updates based on new data. a phenomenon commonly known as catastrophic forgetting. In contrast, the brain can learn without such catastrophic forgetting, irrespective of the number of tasks it encounters. Existing spiking neural networks (SNNs) for class-incremental learning (CIL) suffer a sharp performance drop as tasks accumulate. We here introduce CATFormer (Context Adaptive Threshold Transformer), a scalable framework that overcomes this limitation. We observe that the key to preventing forgetting in SNNs lies not only in synaptic plasticity but also in modulating neuronal excitability. At the core of CATFormer is the Dynamic Threshold Leaky Integrate-and-Fire (DTLIF) neuron model, which leverages context-adaptive thresholds as the primary mechanism for knowledge retention. This is paired with a Gated Dynamic Head Selection (G-DHS) mechanism for task-agnostic inference. Extensive evaluation on both static (CIFAR-10/100/Tiny-ImageNet) and neuromorphic (CIFAR10-DVS/SHD) datasets reveals that CATFormer outperforms existing rehearsal-free CIL algorithms across various task splits, establishing it as an ideal architecture for energy-efficient, true-class incremental learning.
• Abstract（参考訳）: 深層ニューラルネットワークは、制御された環境では非常によく機能するが、データを一度にすべて利用できない現実世界のシナリオでは失敗する。 以前取得した知識は、新しいデータに基づいたその後の更新の間に失われる。 破滅的な忘れ物として知られる現象。 対照的に、脳は、遭遇するタスクの数に関係なく、破滅的な忘れ物なしで学習することができる。 クラスインクリメンタルラーニング(CIL)のための既存のスパイクニューラルネットワーク(SNN)は、タスクの蓄積に伴って大幅にパフォーマンス低下する。 この制限を克服するスケーラブルなフレームワークであるCATFormer(Context Adaptive Threshold Transformer)を紹介します。 SNNにおける忘れの防止の鍵はシナプスの可塑性だけでなく、ニューロンの興奮性も調節できることを観察する。 CATFormerのコアとなるのはDynamic Threshold Leaky Integrate-and-Fire(DTLIF)ニューロンモデルである。 これは、タスク非依存推論のためのGated Dynamic Head Selection(G-DHS)メカニズムと組み合わせられる。 静的(CIFAR-10/100/Tiny-ImageNet)およびニューロモルフィック(CIFAR10-DVS/SHD)データセットの広範な評価により、CATFormerは様々なタスク分割で既存のリハーサルフリーCILアルゴリズムより優れており、エネルギー効率、真のクラスインクリメンタルラーニングのための理想的なアーキテクチャとして確立されていることが明らかになった。

関連論文リスト

• SAFA-SNN: Sparsity-Aware On-Device Few-Shot Class-Incremental Learning with Fast-Adaptive Structure of Spiking Neural Network [19.73335869722781]
  エッジデバイスがデータプライバシを保持し、動的環境における信頼性の高いパフォーマンスを維持するためには、新しいクラスの継続的学習が不可欠である。 本研究では,SNNを用いたデバイス上でのFSCIL(Sparsity-Aware)とFast Adaptive SNN(Fast Adaptive SNN)を提案する。
  論文  参考訳（メタデータ） (2025-10-04T03:21:31Z)
• Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
  大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。 NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。 我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
  論文  参考訳（メタデータ） (2025-09-22T15:13:14Z)
• ALADE-SNN: Adaptive Logit Alignment in Dynamically Expandable Spiking Neural Networks for Class Incremental Learning [15.022211557367273]
  クラスインクリメンタルラーニング(CIL)のための動的構造を持つスパイキングニューラルネットワーク(SNN)を開発した。 このフレームワークは、バランスの取れた特徴表現のための適応ロジットアライメントと、凍結した古い特徴をトレーニング中に新しいクラスにマッピングする重み管理のためのOtoN抑制を含む。 実験の結果、ALADE-SNNはCIFAR100-B0ベンチマークで平均75.42のインクリメンタル精度を10段階以上達成していることがわかった。
  論文  参考訳（メタデータ） (2024-12-17T09:13:22Z)
• Harnessing Neural Unit Dynamics for Effective and Scalable Class-Incremental Learning [38.09011520275557]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに、非定常データストリームから新しいクラスを学ぶためのモデルをトレーニングすることを目的としている。 本稿では、ニューラルネットワークの動作をCILに適応させるニューラルネットワークユニットダイナミクスを調整し、新しい種類のコネクショナリストモデルを提案する。
  論文  参考訳（メタデータ） (2024-06-04T15:47:03Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Understanding and Improving Transfer Learning of Deep Models via Neural Collapse [37.483109067209504]
  分類問題に対する神経崩壊(NC)と伝達学習の関係について検討する。 機能崩壊と下流のパフォーマンスには強い相関関係がある。 提案手法は, 微調整パラメータを90%以上削減しつつ, 優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-12-23T08:48:34Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Reverse engineering recurrent neural networks with Jacobian switching linear dynamical systems [24.0378100479104]
  リカレントニューラルネットワーク(RNN)は時系列データを処理する強力なモデルである。 トレーニングされたRNNをその固定点を中心に線形化することでリバースエンジニアリングするフレームワークは洞察を与えてきたが、アプローチには大きな課題がある。 本稿では,新しい線形力学系 (SLDS) の定式化によるRNNの協調学習により,これらの制約を克服する新しいモデルを提案する。
  論文  参考訳（メタデータ） (2021-11-01T20:49:30Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。