論文の概要: SAFformer:Improving Spiking Transformer via Active Predictive Filtering

• arxiv url: http://arxiv.org/abs/2605.08270v1
• Date: Fri, 08 May 2026 03:17:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.517775
• Title: SAFformer:Improving Spiking Transformer via Active Predictive Filtering
• Title（参考訳）: SAFformer:Active Predictive Filteringによるスパイキングトランスの改善
• Authors: Zequan Xie, Weiming Zeng, Yunhua Chen, Sichang Ling, Tongyang Chen, Jinsheng Xiao,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、生物学的可視性とエネルギー効率において顕著な利点を提供する。 本稿では,アクティブな予測フィルタリングパラダイムに基づく新しいスパイキングトランスフォーマーアーキテクチャであるSAFformerを提案する。 実験の結果、SAFformerはCIFAR-10/100とCIFAR10-DVSで最先端の性能を確立した。
• 参考スコア（独自算出の注目度）: 6.339831937684366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) offer notable advantages in biological plausibility and energy efficiency, making them promising candidates for building low-power Transformers. However, existing Spiking Transformers largely adhere to a passive reactive paradigm, which struggles to focus on task-relevant information and incurs substantial computational overhead when processing redundant visual data. To overcome this fundamental yet underexplored limitation, we propose SAFformer, a novel Spiking Transformer architecture based on an active predictive filtering paradigm. Inspired by the brain's predictive coding mechanism, SAFformer actively suppresses predictable signals and focuses on salient visual features. Extensive experiments show that SAFformer establishes new state-of-the-art performance on CIFAR-10/100 and CIFAR10-DVS. Remarkably, on ImageNet-1K, it achieves 80.50% Top-1 accuracy with only 26.58M parameters and an energy consumption of 5.88 mJ, demonstrating an exceptional balance between accuracy and efficiency.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、生物学的可視性とエネルギー効率において顕著な利点をもたらし、低消費電力トランスフォーマー構築の候補となると期待されている。 しかし、既存のSpking Transformerは、タスク関連情報に集中し、冗長な視覚データを処理する際にかなりの計算オーバーヘッドを発生させることに苦労するパッシブ・リアクティブ・パラダイムに大きく依存している。 この基本的な限界を克服するために,アクティブな予測フィルタリングパラダイムに基づく新しいスパイキングトランスフォーマーアーキテクチャであるSAFformerを提案する。 脳の予測的コーディング機構にインスパイアされたSAFformerは、予測可能な信号を積極的に抑制し、視覚的特徴に焦点をあてる。 大規模な実験により、SAFformerはCIFAR-10/100とCIFAR10-DVSで新しい最先端の性能を確立した。 ImageNet-1Kでは、26.58Mパラメータだけで80.50%のTop-1精度を実現し、エネルギー消費量は5.88mJであり、精度と効率のバランスが極めて高い。

関連論文リスト

• Neural Dynamics Self-Attention for Spiking Transformers [59.57278823240336]
  TransformerアーキテクチャによるSNN(Spike Neural Networks)は、エネルギー効率とパフォーマンスのバランスをとるための、有望な経路を提供する。 既存のスパイキングトランスフォーマーは、(i)ニューラルネットワーク(ANN)と(ii)推論時の高メモリオーバーヘッドと比較して、大幅なパフォーマンスギャップがあるという2つの重要な課題に直面している。 本稿では、局所受容野を持つスパイキングニューロンを用いて、メモリ要求を減らしながら注意を計算するLRF-Dynを提案する。
  論文  参考訳（メタデータ） (2026-03-09T12:23:37Z)
• Spark Transformer: Reactivating Sparsity in FFN and Attention [53.221448818147024]
  本稿では, FFNとアテンション機構の両方において, 高レベルのアクティベーション間隔を実現する新しいアーキテクチャであるSpark Transformerを紹介する。 これによりFLOPの2.5倍の削減が可能となり、CPUでは1.79倍、GPUでは1.40倍となる。
  論文  参考訳（メタデータ） (2025-06-07T03:51:13Z)
• Spiking Transformer:Introducing Accurate Addition-Only Spiking Self-Attention for Transformer [15.93436166506258]
  スパイキングニューラルネットワークは、従来のニューラルネットワークに代わる有望なエネルギー効率の代替として登場した。 本稿では,A$2$OS$2$Aの精度付加型スパイク自己注意について紹介する。
  論文  参考訳（メタデータ） (2025-02-28T22:23:29Z)
• A Transformer-in-Transformer Network Utilizing Knowledge Distillation for Image Recognition [0.8196125054032961]
  画像のグローバルな側面とローカルな側面に注意を向けるインナー・インナー・トランスフォーマー・ベースのアーキテクチャを提案する。 我々のアプローチは学習効率と効果を高める。 注目すべきは、提案されているTransformer-in-Transformer Network(TITN)モデルが、さまざまなデータセット間で印象的なマイルストーンを達成していることだ。
  論文  参考訳（メタデータ） (2025-02-24T00:41:46Z)
• Video Prediction Transformers without Recurrence or Convolution [65.93130697098658]
  我々は、Gated Transformerを完全にベースとしたフレームワークであるPredFormerを提案する。 本稿では,映像予測の文脈における3次元注意の包括的分析を行う。 精度と効率の両面で大きな改善は、PredFormerの可能性を強調している。
  論文  参考訳（メタデータ） (2024-10-07T03:52:06Z)
• External Prompt Features Enhanced Parameter-efficient Fine-tuning for Salient Object Detection [6.5971464769307495]
  Salient Object Detection (SOD) は、画像中の最も健全なオブジェクトを見つけ、ピクセルレベルのバイナリマスクを出力することを目的としている。 トランスフォーマーに基づく手法は,グローバルなセマンティック理解により,有望な性能を実現する。 そこで本研究では,トレーニングパラメータ数の削減を目的とした,パラメータ効率の高いファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T13:15:07Z)
• Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
  本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。 我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-29T14:16:49Z)
• MViT: Mask Vision Transformer for Facial Expression Recognition in the wild [77.44854719772702]
  野生における表情認識(FER)はコンピュータビジョンにおいて極めて困難な課題である。 本研究ではまず,野生におけるFERのためのマスク・ビジョン・トランス (MViT) を提案する。 我々のMViTはRAF-DBの最先端手法を88.62%、FERPlusを89.22%、AffectNet-7を64.57%で上回り、61.40%でAffectNet-8と同等の結果を得る。
  論文  参考訳（メタデータ） (2021-06-08T16:58:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。