論文の概要: Spiking Transformers Need High Frequency Information

• arxiv url: http://arxiv.org/abs/2505.18608v1
• Date: Sat, 24 May 2025 09:15:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.542771
• Title: Spiking Transformers Need High Frequency Information
• Title（参考訳）: スパイキング変換器は高周波情報を必要とする
• Authors: Yuetong Fang, Deming Zhou, Ziqing Wang, Hongwei Ren, ZeCui Zeng, Lusong Li, Shibo Zhou, Renjing Xu,
• Abstract要約: スパイキングトランスフォーマーは、従来のディープラーニングに代わるエネルギー効率の高い代替手段を提供する。 スパイキングニューロンが低周波情報を優先的に伝播するのは,今回が初めてである。 2つの周波数エンハンシング演算子を通して高周波信号を復元するMax-Formerを導入する。
• 参考スコア（独自算出の注目度）: 0.6906109489246287
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking Transformers offer an energy-efficient alternative to conventional deep learning by transmitting information solely through binary (0/1) spikes. However, there remains a substantial performance gap compared to artificial neural networks. A common belief is that their binary and sparse activation transmission leads to information loss, thus degrading feature representation and accuracy. In this work, however, we reveal for the first time that spiking neurons preferentially propagate low-frequency information. We hypothesize that the rapid dissipation of high-frequency components is the primary cause of performance degradation. For example, on Cifar-100, adopting Avg-Pooling (low-pass) for token mixing lowers performance to 76.73%; interestingly, replacing it with Max-Pooling (high-pass) pushes the top-1 accuracy to 79.12%, surpassing the well-tuned Spikformer baseline by 0.97%. Accordingly, we introduce Max-Former that restores high-frequency signals through two frequency-enhancing operators: extra Max-Pooling in patch embedding and Depth-Wise Convolution in place of self-attention. Notably, our Max-Former (63.99 M) hits the top-1 accuracy of 82.39% on ImageNet, showing a +7.58% improvement over Spikformer with comparable model size (74.81%, 66.34 M). We hope this simple yet effective solution inspires future research to explore the distinctive nature of spiking neural networks, beyond the established practice in standard deep learning.
• Abstract（参考訳）: スパイキングトランスフォーマーは、バイナリ(0/1)スパイクのみを通して情報を伝達することで、従来のディープラーニングに代わるエネルギー効率の高い代替手段を提供する。 しかし、人工ニューラルネットワークと比較すると、大きなパフォーマンスギャップが残っている。 共通する信念は、それらのバイナリとスパースなアクティベーション伝達が情報損失を招き、特徴表現と精度を低下させるというものである。 しかし,本研究では,ニューロンのスパイクが低周波情報を優先的に伝播することが初めて明らかになった。 我々は,高周波成分の急激な消散が性能劣化の主な原因であるという仮説を立てた。 例えば、Cifar-100では、トークンミキシングにAvg-Pooling(ローパス)を採用すると、パフォーマンスが76.73%低下する。 そこで我々は,2つの周波数エンハンシング演算子(パッチ埋め込みにおけるMax-Poolingの追加)と,自己注意の代わりにDepth-Wise Convolution(Depth-Wise Convolution)という,高周波信号を復元するMax-Formerを紹介した。 私たちのMax-Former(63.99M)はImageNetで82.39%の精度でトップ-1に到達し、モデルサイズ(74.81%、66.34M)のSpikformerよりも7.58%改善した。 この単純だが効果的なソリューションが、今後の研究に刺激を与えて、スパイクニューラルネットワークの独特な性質を、標準的ディープラーニングの確立した実践を超えて探求することを願っている。

関連論文リスト

• Spiking Wavelet Transformer [1.8712213089437697]
  スパイキングニューラルネットワーク(SNN)は、従来のディープラーニングに代わるエネルギー効率の高い代替手段を提供する。 SNNの変換器は精度が保証されているが、高周波パターンの学習に苦労している。 本研究では、スパイク駆動方式で包括的空間周波数特徴を効果的に学習する無注意アーキテクチャであるSpking Wavelet Transformer(SWformer)を提案する。
  論文  参考訳（メタデータ） (2024-03-17T08:41:48Z)
• Inception Transformer [151.939077819196]
  インセプショントランスフォーマー(iFormer)は、視覚データ中の高周波数情報と低周波情報の両方で包括的特徴を学習する。 我々は、iFormerを一連の視覚タスクでベンチマークし、画像分類、COCO検出、ADE20Kセグメンテーションにおいて優れた性能を発揮することを示した。
  論文  参考訳（メタデータ） (2022-05-25T17:59:54Z)
• Core Risk Minimization using Salient ImageNet [53.616101711801484]
  私たちは、1000のImagenetクラスのコアとスプリアス機能をローカライズする100万人以上のソフトマスクを備えたSalient Imagenetデータセットを紹介します。 このデータセットを用いて、まず、いくつかのImagenet事前訓練されたモデル(総計42件)の素早い特徴に対する依存度を評価する。 次に、コアリスク最小化(CoRM)と呼ばれる新しい学習パラダイムを導入する。
  論文  参考訳（メタデータ） (2022-03-28T01:53:34Z)
• SOUL: An Energy-Efficient Unsupervised Online Learning Seizure Detection Classifier [68.8204255655161]
  神経活動を記録して発作を検出するインプラントデバイスは、発作を抑えるために警告を発したり神経刺激を誘発したりするために採用されている。 移植可能な発作検出システムでは、低出力で最先端のオンライン学習アルゴリズムを使用して、神経信号のドリフトに動的に適応することができる。 SOULはTSMCの28nmプロセスで0.1mm2を占め、1.5nJ/分級エネルギー効率を実現した。
  論文  参考訳（メタデータ） (2021-10-01T23:01:20Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)
• Neural Network Virtual Sensors for Fuel Injection Quantities with Provable Performance Specifications [71.1911136637719]
  証明可能な保証が、他の現実世界の設定にどのように自然に適用できるかを示す。 本研究では, 燃料噴射量を一定範囲で最大化するために, 特定の間隔の燃料噴射量を目標にする方法を示す。
  論文  参考訳（メタデータ） (2020-06-30T23:33:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。