論文の概要: STARS: Spike Tail-Aware Relational Synthesis for ANN-to-SNN Data-Free Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2605.27409v1
• Date: Tue, 12 May 2026 11:15:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 02:55:43.021845
• Title: STARS: Spike Tail-Aware Relational Synthesis for ANN-to-SNN Data-Free Knowledge Distillation
• Title（参考訳）: STARS: ANN-to-SNNデータフリー知識蒸留のためのスパイクタイル対応関係合成
• Authors: Shuhan Ye, Yi Yu, Qixin Zhang, Hui Lu, Jiaming He, Qinggang Zhang, Li Shen, Xudong Jiang,
• Abstract要約: SNNはエネルギーと低レイテンシを約束するが、その性能は依然としてANNに劣っている。 既存のデータフリーな知識蒸留法は教師のマッチング側でデータを合成する。 ANN-to-NNNN DFKD のプラグアンドプレイ手法として TailAware Synthesis (STARS) を提案する。 提案手法は従来のDFKDベースラインといくつかのKDメソッドを一貫して改善し,BNAR-10では最大4.6%,Tiny-ImageNetでは6.7%向上した。
• 参考スコア（独自算出の注目度）: 31.526961254116102
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: SNNs promise energy-efficient and low-latency inference, but their performance still trails that of ANNs. ANN-to-SNN knowledge distillation helps narrow this gap, yet the original training data are often unavailable in practical deployment settings. Existing data-free knowledge distillation (DFKD) methods synthesize surrogate data by matching teacher-side priors, especially BN statistics, but these ANN-oriented constraints mainly regularize mean and variance and therefore remain under-constrained for SNN students whose responses depend on threshold-crossing dynamics. In this paper, we propose Spike Tail-Aware Relational Synthesis (STARS), a plug-and-play method for ANN-to-SNN DFKD that augments standard BN-guided synthesis with two complementary objectives: Relational Consistency Alignment, which preserves cross-sample relational consistency between teacher and student, and Tail-Aware Regularization, which regularizes threshold-relevant tail probabilities through soft exceedance over teacher-derived thresholds. Together, these objectives generate synthetic batches that remain teacher-valid while becoming more informative for SNN students. Experiments on CIFAR-10, CIFAR-100, and Tiny-ImageNet across multiple ANN-SNN pairs show that our method consistently improves conventional DFKD baselines and even surpasses several KD methods, with gains of up to 4.6\% on CIFAR-10 and 6.7\% on CIFAR-100, highlighting the importance of complementing BN matching with relational and tail-aware constraints in SNN-oriented DFKD.
• Abstract（参考訳）: SNNはエネルギー効率と低レイテンシの推論を約束するが、その性能は依然としてANNよりも遅れている。 ANN-to-SNN知識蒸留は、このギャップを狭めるのに役立つが、元のトレーニングデータは、実際の配置設定では利用できないことが多い。 既存のデータフリーな知識蒸留法(DFKD)は教師側の事前知識、特にBN統計とマッチングしてサロゲートデータを合成するが、これらのANN指向の制約は主に平均と分散を規則化し、しきい値が交差するダイナミクスに依存するSNNの学生には未定のままである。 本稿では,ANN-to-SNN DFKDのプラグイン・アンド・プレイ方式であるSpike Tail-Aware Relational Synthesis (STARS)を提案する。 これらの目的は、SNNの学生にとってより有益なものとなりつつ、教師が有益であり続ける合成バッチを生成する。 CIFAR-10, CIFAR-100, Tiny-ImageNetを複数のANN-SNNペアで比較した結果, 提案手法は従来のDFKDベースラインを一貫して改善し, さらに, CIFAR-10では最大4.6倍, CIFAR-100では6.7倍に向上し, SNN指向DFKDではBNマッチングとリレーショナルおよびテール認識制約を補完することの重要性を強調した。

関連論文リスト

• A Closer Look at Knowledge Distillation in Spiking Neural Network Training [28.455940908397945]
  スパイキングニューラルネットワーク(SNN)は、優れたエネルギー効率のため人気を博しているが、効果的なモデルトレーニングの課題に直面している。 近年の研究では,教師として,学生として対象のSNNを用いて,知識蒸留(KD)技術を導入して,これを改善している。 これは一般的に、ANNとSNNの中間機能と予測ロジットを直列に並べることで実現され、アーキテクチャ間の固有の違いを無視することが多い。
  論文  参考訳（メタデータ） (2025-11-10T09:51:31Z)
• Enhanced Self-Distillation Framework for Efficient Spiking Neural Network Training [9.838333491904406]
  Spiking Neural Networks (SNN) は、ニューロモルフィックハードウェア上でのエネルギー効率を示す。 本稿では, 自己蒸留フレームワークを改良し, レートベースバックプロパゲーションを併用する手法を提案する。 提案手法は,高性能SNNトレーニングを行ないながら,トレーニングの複雑さを低減する。
  論文  参考訳（メタデータ） (2025-10-04T12:58:55Z)
• Proxy Target: Bridging the Gap Between Discrete Spiking Neural Networks and Continuous Control [59.65431931190187]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上で低レイテンシかつエネルギー効率の意思決定を提供する。 連続制御のためのほとんどの連続制御アルゴリズムは、人工ニューラルネットワーク(ANN)のために設計されている。 このミスマッチはSNNのトレーニングを不安定にし、性能を劣化させる。 離散SNNと連続制御アルゴリズムのギャップを埋める新しいプロキシターゲットフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-30T03:08:03Z)
• Self-Attentive Spatio-Temporal Calibration for Precise Intermediate Layer Matching in ANN-to-SNN Distillation [6.78542444330685]
  スパイキングニューラルネットワーク(SNN)は、イベント駆動機構による低消費電力計算を約束している。 SNNはニューラルネットワーク(ANN)に比べて精度が低いことが多い
  論文  参考訳（メタデータ） (2025-01-14T11:56:00Z)
• Optimising Event-Driven Spiking Neural Network with Regularisation and Cutoff [31.61525648918492]
  スパイキングニューラルネットワーク(SNN)は、ニューラルネットワークのより近い模倣を提供する。 現在のSNNは一定期間にわたって推測するように訓練されている。 本稿では,効率的な推論を実現するため,推論中にいつでもSNNを停止できるSNNのカットオフを提案する。
  論文  参考訳（メタデータ） (2023-01-23T16:14:09Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
  追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。 すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。 本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-09-28T03:29:19Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。