論文の概要: Synergy Between the Strong and the Weak: Spiking Neural Networks are Inherently Self-Distillers
- arxiv url: http://arxiv.org/abs/2510.07924v1
- Date: Thu, 09 Oct 2025 08:21:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-10 17:54:14.952886
- Title: Synergy Between the Strong and the Weak: Spiking Neural Networks are Inherently Self-Distillers
- Title（参考訳）: 強弱と弱弱の相乗効果:スパイクニューラルネットワークは本質的に自己蒸留器である
- Authors: Yongqi Ding, Lin Zuo, Mengmeng Jing, Kunshan Yang, Pei He, Tonglan Xie,
- Abstract要約: 脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、計算集約型人工ニューラルネットワーク(ANN)の低消費電力代替となることを約束する
近年の研究では、知識蒸留によりSNNの性能が向上しているが、大きな教師モデルに依存したり、追加の訓練オーバーヘッドを導入したりしている。
SNNは自然に複数のサブモデルに分解して効率よく自己蒸留できることを示す。
- 参考スコア（独自算出の注目度）: 11.804729097440896
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Brain-inspired spiking neural networks (SNNs) promise to be a low-power alternative to computationally intensive artificial neural networks (ANNs), although performance gaps persist. Recent studies have improved the performance of SNNs through knowledge distillation, but rely on large teacher models or introduce additional training overhead. In this paper, we show that SNNs can be naturally deconstructed into multiple submodels for efficient self-distillation. We treat each timestep instance of the SNN as a submodel and evaluate its output confidence, thus efficiently identifying the strong and the weak. Based on this strong and weak relationship, we propose two efficient self-distillation schemes: (1) \textbf{Strong2Weak}: During training, the stronger "teacher" guides the weaker "student", effectively improving overall performance. (2) \textbf{Weak2Strong}: The weak serve as the "teacher", distilling the strong in reverse with underlying dark knowledge, again yielding significant performance gains. For both distillation schemes, we offer flexible implementations such as ensemble, simultaneous, and cascade distillation. Experiments show that our method effectively improves the discriminability and overall performance of the SNN, while its adversarial robustness is also enhanced, benefiting from the stability brought by self-distillation. This ingeniously exploits the temporal properties of SNNs and provides insight into how to efficiently train high-performance SNNs.
- Abstract（参考訳）: 脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、計算集約型人工ニューラルネットワーク(ANN)に代わる低消費電力の代替となるが、パフォーマンスのギャップは持続する。
近年の研究では、知識蒸留によりSNNの性能が向上しているが、大きな教師モデルに依存したり、追加の訓練オーバーヘッドを導入したりしている。
本稿では,SNNが自然に複数のサブモデルに分解され,効率的な自己蒸留が可能であることを示す。
SNNの各タイムステップインスタンスをサブモデルとして扱い、その出力信頼度を評価し、強みと弱さを効率的に識別する。
この強弱関係に基づいて,(1) \textbf{Strong2Weak}: 学習中, より強い「教師」がより弱い「学生」を導き, 全体的な性能を効果的に向上させる。
2) \textbf{Weak2Strong}: 弱いものは「教師」として機能し、根底にあるダークナレッジと逆の強さを蒸留し、再び大きなパフォーマンス向上をもたらす。
いずれの蒸留方式も, アンサンブル, 同時蒸留, カスケード蒸留などのフレキシブルな実装を提供する。
実験により, 本手法はSNNの識別性と全体的な性能を効果的に向上し, 対向性も向上し, 自己蒸留による安定性の恩恵を受けることが示された。
これは、SNNの時間的特性を巧みに活用し、高性能SNNを効率的に訓練する方法についての洞察を提供する。
関連論文リスト
- Enhanced Self-Distillation Framework for Efficient Spiking Neural Network Training [9.838333491904406]
Spiking Neural Networks (SNN) は、ニューロモルフィックハードウェア上でのエネルギー効率を示す。
本稿では, 自己蒸留フレームワークを改良し, レートベースバックプロパゲーションを併用する手法を提案する。
提案手法は,高性能SNNトレーニングを行ないながら,トレーニングの複雑さを低減する。
論文 参考訳（メタデータ） (2025-10-04T12:58:55Z) - CaRe-BN: Precise Moving Statistics for Stabilizing Spiking Neural Networks in Reinforcement Learning [50.87795054453648]
Spiking Neural Networks (SNN)は、ニューロモルフィックハードウェア上で低レイテンシでエネルギー効率の意思決定を提供する。
スパイクの離散的かつ微分不可能な性質のため、直接訓練されたSNNは勾配更新を安定させるためにバッチ正規化(BN)に大きく依存する。
オンライン強化学習(RL)では、BN統計は搾取を妨げ、収束と準最適政策を遅くする。
論文 参考訳（メタデータ） (2025-09-28T10:21:17Z) - A Self-Ensemble Inspired Approach for Effective Training of Binary-Weight Spiking Neural Networks [66.80058515743468]
トレーニングスパイキングニューラルネットワーク(SNN)とバイナリニューラルネットワーク(BNN)は、差別化不可能なスパイク生成機能のために困難である。
本稿では, バックプロパゲーションプロセスの解析を通じて, SNN の力学とBNN との密接な関係を考察する。
具体的には、複数のショートカットの構造と知識蒸留に基づくトレーニング技術を活用し、(バイナリウェイト)SNNのトレーニングを改善する。
論文 参考訳（メタデータ） (2025-08-18T04:11:06Z) - Temporal Separation with Entropy Regularization for Knowledge Distillation in Spiking Neural Networks [12.411930097352158]
スパイキングニューラルネットワーク(SNN)は、離散スパイクベースの情報伝達を通じて計算効率を著しく向上させる。
推論エネルギー消費を減らす可能性にもかかわらず、SNNとArtificial Neural Networks(ANN)のパフォーマンスギャップは持続する。
本稿では,時間的分離とエントロピー正則化を特徴とする新しいロジット蒸留法を提案する。
論文 参考訳（メタデータ） (2025-03-05T03:37:41Z) - Efficient Logit-based Knowledge Distillation of Deep Spiking Neural Networks for Full-Range Timestep Deployment [10.026742974971189]
従来のニューラルネットワーク(ANN)の代替手段としてスパイキングニューラルネットワーク(SNN)が登場
それにもかかわらず、SNNはANNと比較して正確さに悩まされ、推論タイムステップによるデプロイメントの課題に直面していることが多い。
本研究では, 深部SNNのための新しい蒸留フレームワークを提案し, 特定の再学習をすることなく, フルレンジタイムステップにおける性能を最適化する。
論文 参考訳（メタデータ） (2025-01-27T10:22:38Z) - Self-Distillation Learning Based on Temporal-Spatial Consistency for Spiking Neural Networks [3.7748662901422807]
スパイキングニューラルネットワーク(SNN)は、その事象駆動性、低消費電力特性、高い生物学的解釈性によって大きな注目を集めている。
近年,教員モデルによるSNNモデルの性能向上が報告されている。
本稿では,これらの問題を回避するために,コスト効率の高いSNNの自己蒸留学習について検討する。
論文 参考訳（メタデータ） (2024-06-12T04:30:40Z) - Enhancing Adversarial Robustness in SNNs with Sparse Gradients [46.15229142258264]
スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率の高い操作と生物学的にインスパイアされた構造に対して大きな注目を集めている。
既存の技術は、ANNから適応したものであれ、SNNのために特別に設計されたものであれ、SNNの訓練や強力な攻撃に対する防御に制限がある。
本稿では,SNNの頑健性を高めるための新しい手法を提案する。
論文 参考訳（メタデータ） (2024-05-30T05:39:27Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Deep Time Delay Neural Network for Speech Enhancement with Full Data
Learning [60.20150317299749]
本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。
トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
論文 参考訳（メタデータ） (2020-11-11T06:32:37Z) - On Self-Distilling Graph Neural Network [64.00508355508106]
GNN自己蒸留(GNN-SD)と呼ばれるGNNに対する教師なし知識蒸留法を提案する。
本手法は, 組込みグラフの非平滑性を効率よく定量化する, 提案した近傍不一致率(NDR)に基づいて構築する。
また、他の蒸留戦略の誘導に活用できる汎用的なGNN-SDフレームワークについても要約する。
論文 参考訳（メタデータ） (2020-11-04T12:29:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。