論文の概要: Spiking Neural Networks Need High Frequency Information

• arxiv url: http://arxiv.org/abs/2505.18608v5
• Date: Fri, 24 Oct 2025 08:33:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 09:00:14.942295
• Title: Spiking Neural Networks Need High Frequency Information
• Title（参考訳）: スパイキングニューラルネットワークは高周波情報を必要とする
• Authors: Yuetong Fang, Deming Zhou, Ziqing Wang, Hongwei Ren, ZeCui Zeng, Lusong Li, Shibo Zhou, Renjing Xu,
• Abstract要約: スパイキングニューラルネットワークは、バイナリ(0/1)スパイクを通じて情報を伝達することで、脳にインスパイアされた計算を約束する。 しかし、それらの性能は、しばしば情報損失によって引き起こされると仮定される、人工知能ニューラルネットワークよりもまだ遅れている。 スパイキングニューロンは本質的に高周波成分を抑制し,低周波情報を優先的に伝播することを示す。 2つの周波数エンハンシング演算子を通して高周波信号を復元するMax-Formerを導入する。
• 参考スコア（独自算出の注目度）: 24.62964859244383
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking Neural Networks promise brain-inspired and energy-efficient computation by transmitting information through binary (0/1) spikes. Yet, their performance still lags behind that of artificial neural networks, often assumed to result from information loss caused by sparse and binary activations. In this work, we challenge this long-standing assumption and reveal a previously overlooked frequency bias: spiking neurons inherently suppress high-frequency components and preferentially propagate low-frequency information. This frequency-domain imbalance, we argue, is the root cause of degraded feature representation in SNNs. Empirically, on Spiking Transformers, adopting Avg-Pooling (low-pass) for token mixing lowers performance to 76.73% on Cifar-100, whereas replacing it with Max-Pool (high-pass) pushes the top-1 accuracy to 79.12%. Accordingly, we introduce Max-Former that restores high-frequency signals through two frequency-enhancing operators: (1) extra Max-Pool in patch embedding, and (2) Depth-Wise Convolution in place of self-attention. Notably, Max-Former attains 82.39% top-1 accuracy on ImageNet using only 63.99M parameters, surpassing Spikformer (74.81%, 66.34M) by +7.58%. Extending our insight beyond transformers, our Max-ResNet-18 achieves state-of-the-art performance on convolution-based benchmarks: 97.17% on CIFAR-10 and 83.06% on CIFAR-100. We hope this simple yet effective solution inspires future research to explore the distinctive nature of spiking neural networks. Code is available: https://github.com/bic-L/MaxFormer.
• Abstract（参考訳）: スパイキングニューラルネットワークは、バイナリ(0/1)スパイクを通じて情報を伝達することで、脳にインスパイアされたエネルギー効率の高い計算を約束する。 しかし、それらの性能は、しばしばスパースとバイナリのアクティベーションによって引き起こされる情報損失によって引き起こされると仮定される、人工ニューラルネットワークよりもまだ遅れている。 本研究では、この長年の仮定に挑戦し、従来見過ごされていた周波数バイアスを明らかにする: スパイキングニューロンは本質的に高周波成分を抑圧し、低周波情報を優先的に伝播する。 この周波数領域の不均衡は、SNNにおける劣化特徴表現の根本原因であると主張する。 スパイキングトランスフォーマーでは、トークンミキシングにAvg-Pooling(ローパス)を採用することで、Cifar-100では76.73%のパフォーマンスが低下する一方、Max-Pool(ハイパス)で置き換えるとトップ1の精度は79.12%に向上する。 そこで我々は,(1)パッチ埋め込みにおけるMax-Poolの追加,(2)自己注意の代わりにDepth-Wise Convolutionという2つの周波数強調演算子を通して高周波信号を復元するMax-Formerを紹介した。 特に、Max-Formerは、63.99MパラメータだけでImageNetの82.39%のトップ-1精度を達成し、Spikformer(74.81%、66.34M)を+7.58%上回った。 コンボリューションベースのベンチマークでは、CIFAR-10では97.17%、CIFAR-100では83.06%という最先端のパフォーマンスを実現しています。 このシンプルで効果的なソリューションが、将来の研究に刺激を与えて、スパイクニューラルネットワークの独特な性質を探求することを願っている。 コードは、https://github.com/bic-L/MaxFormer.comで入手できる。

関連論文リスト

• Spark Transformer: Reactivating Sparsity in FFN and Attention [63.20677098823873]
  本稿では, FFNとアテンション機構の両方において, 高レベルのアクティベーション間隔を実現する新しいアーキテクチャであるSpark Transformerを紹介する。 これによりFLOPの2.5倍の削減が可能となり、CPUでは1.79倍、GPUでは1.40倍となる。
  論文  参考訳（メタデータ） (2025-06-07T03:51:13Z)
• Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
  我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。 SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2025-05-10T17:15:49Z)
• SpiLiFormer: Enhancing Spiking Transformers with Lateral Inhibition [29.724968607408048]
  トランスフォーマーに基づくスパイクニューラルネットワーク(SNN)は、優れた性能と高エネルギー効率のために大きな注目を集めている。 本研究では,無関係な文脈に過度に注意を集中する問題に対処するために,横方向抑制インスパイアされたスパイキング変換器(SpiLiFormer)を提案する。 SpiLiFormerは、脳の側方抑制機構をエミュレートし、無関係なトークンへの注意を抑えながら、関連するトークンへの注意を高めるようモデルに誘導する。
  論文  参考訳（メタデータ） (2025-03-20T09:36:31Z)
• Spiking Wavelet Transformer [1.8712213089437697]
  スパイキングニューラルネットワーク(SNN)は、従来のディープラーニングに代わるエネルギー効率の高い代替手段を提供する。 SNNの変換器は精度が保証されているが、高周波パターンの学習に苦労している。 本研究では、スパイク駆動方式で包括的空間周波数特徴を効果的に学習する無注意アーキテクチャであるSpking Wavelet Transformer(SWformer)を提案する。
  論文  参考訳（メタデータ） (2024-03-17T08:41:48Z)
• Phase-shifted Adversarial Training [8.89749787668458]
  反応周波数のレンズによる対向訓練の挙動を解析する。 PhaseATは高周波情報の収束を著しく改善する。 これにより、モデルが各データ付近でスムーズな予測を行うことで、対向ロバスト性を向上させることができる。
  論文  参考訳（メタデータ） (2023-01-12T02:25:22Z)
• Q-ViT: Accurate and Fully Quantized Low-bit Vision Transformer [56.87383229709899]
  我々は、完全量子化視覚変換器(Q-ViT)のための情報修正モジュール(IRM)と分配誘導蒸留法を開発した。 我々の手法は、先行技術よりもはるかに優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-13T04:00:29Z)
• Inception Transformer [151.939077819196]
  インセプショントランスフォーマー(iFormer)は、視覚データ中の高周波数情報と低周波情報の両方で包括的特徴を学習する。 我々は、iFormerを一連の視覚タスクでベンチマークし、画像分類、COCO検出、ADE20Kセグメンテーションにおいて優れた性能を発揮することを示した。
  論文  参考訳（メタデータ） (2022-05-25T17:59:54Z)
• Core Risk Minimization using Salient ImageNet [53.616101711801484]
  私たちは、1000のImagenetクラスのコアとスプリアス機能をローカライズする100万人以上のソフトマスクを備えたSalient Imagenetデータセットを紹介します。 このデータセットを用いて、まず、いくつかのImagenet事前訓練されたモデル(総計42件)の素早い特徴に対する依存度を評価する。 次に、コアリスク最小化(CoRM)と呼ばれる新しい学習パラダイムを導入する。
  論文  参考訳（メタデータ） (2022-03-28T01:53:34Z)
• Scatterbrain: Unifying Sparse and Low-rank Attention Approximation [25.375024028636663]
  そこで我々はScatterbrainを提案する。Scatterbrainは(局所性に敏感なハッシュによる)スパースと(カーネル特徴マップによる)低ランクの注意を正確な近似のために統一する新しい方法である。 Scatterbrain は BigGAN 画像生成と 事前訓練した T2T-ViT のドロップイン置換において, ベースラインの2.1倍の誤差を達成できることを実証的に示す。 Scatterbrain for end-to-end training with up 4 points better perplexity and 5 points better average accuracy than sparse or low-rank efficient transformer on language modeling and long-range-arena task。
  論文  参考訳（メタデータ） (2021-10-28T17:52:17Z)
• SOUL: An Energy-Efficient Unsupervised Online Learning Seizure Detection Classifier [68.8204255655161]
  神経活動を記録して発作を検出するインプラントデバイスは、発作を抑えるために警告を発したり神経刺激を誘発したりするために採用されている。 移植可能な発作検出システムでは、低出力で最先端のオンライン学習アルゴリズムを使用して、神経信号のドリフトに動的に適応することができる。 SOULはTSMCの28nmプロセスで0.1mm2を占め、1.5nJ/分級エネルギー効率を実現した。
  論文  参考訳（メタデータ） (2021-10-01T23:01:20Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)
• Neural Network Virtual Sensors for Fuel Injection Quantities with Provable Performance Specifications [71.1911136637719]
  証明可能な保証が、他の現実世界の設定にどのように自然に適用できるかを示す。 本研究では, 燃料噴射量を一定範囲で最大化するために, 特定の間隔の燃料噴射量を目標にする方法を示す。
  論文  参考訳（メタデータ） (2020-06-30T23:33:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。