論文の概要: Contrastive Attention Mitigates Spectral Bias in Spiking Transformers

• arxiv url: http://arxiv.org/abs/2610.01403v1
• Date: Thu, 01 Oct 2026 10:07:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.048263
• Title: Contrastive Attention Mitigates Spectral Bias in Spiking Transformers
• Title（参考訳）: コントラストアテンションはスパイキング変圧器のスペクトルバイアスを軽減する
• Abstract要約: スパイキングトランスフォーマーは、スパイキングニューラルネットワーク(SNN)のエネルギー効率と自己意図の表現力とを融合する。 本稿では,生体視覚系のエッジ検出および差分知覚特性からインスピレーションを得るスポーキングコントラスト注意(SCA)パラダイムを提案する。
• 参考スコア（独自算出の注目度）: 25.590229080355837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Transformers merge the energy-efficiency of spiking neural networks (SNNs) with the representational power of self-attention, creating a promising architecture for high-performance, energy-efficient computation. However, a performance gap persists versus its counterparts in artificial neural networks (ANNs). Unlike prior works attributing this to binary activations, we reveal that both spiking neurons and spiking self-attention (SSA) act as low-pass filters through multiscale spectral analysis. This characteristic leads to the dissipation of high-frequency components. To address this issue, we propose the Spiking Contrastive Attention (SCA) paradigm, which draw inspiration from the edge-detection and differential sensing properties of biological visual system. By extracting contrast prototypes via global contrastive aggregation and applying local differential refinement, SCA effectively enhances high-frequency information. Extensive experiments show that SCA is a general module that consistently boosts Spiking Transformers across image classification, semantic segmentation, and event-based tracking. Furthermore, it achieves lower complexity, offering superior efficiency over original SSA. These results establish its potential as a fundamental building block for energy-efficient Spiking Transformers.
• Abstract（参考訳）: スパイキングトランスフォーマーは、スパイキングニューラルネットワーク(SNN)のエネルギー効率と自己アテンションの表現力とを融合し、高性能でエネルギー効率の高い計算のための有望なアーキテクチャを作り出す。 しかし、人工知能(ANN)では、パフォーマンスギャップはそれと比べ持続する。 従来の研究とは異なり、スパイキングニューロンとスパイキング自己注意(SSA)の両方がマルチスケールのスペクトル分析によってローパスフィルタとして機能することを明らかにする。 この特徴は高周波成分の散逸につながる。 この問題に対処するために,生物視覚系のエッジ検出と差分知覚特性から着想を得たスポーキング・コントラスト・アテンション(SCA)パラダイムを提案する。 コントラストのプロトタイプを大域的コントラストアグリゲーションによって抽出し、局所微分精製を適用することにより、SCAは、高周波情報を効果的に強化する。 大規模な実験によると、SCAは画像分類、セマンティックセグメンテーション、イベントベースのトラッキングなど、スパイキングトランスフォーマーを一貫して強化する汎用モジュールである。 さらに、より少ない複雑さを実現し、元のSSAよりも優れた効率を提供する。 これらの結果はエネルギー効率の高いスパイキング変圧器の基本構築ブロックとしての可能性を確立している。

関連論文リスト

• Elastic Spiking Transformers for Efficient Gesture Understanding [6.52225846892392]
  Spiking Neural Networks(SNN)は、医療アプリケーションのためのイベントベースのセンサデータのエネルギー効率の高い処理を提供する。 我々は、スパイキングパラダイムに弾力性をもたらすランタイム適応アーキテクチャであるElastic Spiking Transformerを紹介します。 CIFAR10/100, CIFAR10-DVS, EHWGesture 臨床ジェスチャー理解データセットについて検討した。
  論文  参考訳（メタデータ） (2026-05-04T12:35:52Z)
• Neural Dynamics Self-Attention for Spiking Transformers [59.57278823240336]
  TransformerアーキテクチャによるSNN(Spike Neural Networks)は、エネルギー効率とパフォーマンスのバランスをとるための、有望な経路を提供する。 既存のスパイキングトランスフォーマーは、(i)ニューラルネットワーク(ANN)と(ii)推論時の高メモリオーバーヘッドと比較して、大幅なパフォーマンスギャップがあるという2つの重要な課題に直面している。 本稿では、局所受容野を持つスパイキングニューロンを用いて、メモリ要求を減らしながら注意を計算するLRF-Dynを提案する。
  論文  参考訳（メタデータ） (2026-03-09T12:23:37Z)
• TESSER: Transfer-Enhancing Adversarial Attacks from Vision Transformers via Spectral and Semantic Regularization [3.693610259830098]
  ディープニューラルネットワークの堅牢性を評価する上で、アドリヤルトランスファービリティは依然として重要な課題である。 textbfTESSERは、2つの主要な戦略を通じて転送可能性を高める新しい攻撃フレームワークである。 12の異なるアーキテクチャにわたるImageNetの実験では、TESSERはCNNでの攻撃成功率(ASR)が+10.9%高く、ViTでは+7.2%高かった。
  論文  参考訳（メタデータ） (2025-05-26T07:30:00Z)
• Spiking Meets Attention: Efficient Remote Sensing Image Super-Resolution with Attention Spiking Neural Networks [86.28783985254431]
  従来の人工ニューラルネットワーク(ANN)の代替手段としてスパイキングニューラルネットワーク(SNN)が登場 本稿では,AID,DOTA,DIORなどのリモートセンシングベンチマークにおいて,最先端の性能を実現するSpikeSRを提案する。
  論文  参考訳（メタデータ） (2025-03-06T09:06:06Z)
• Frequency Domain Enhanced U-Net for Low-Frequency Information-Rich Image Segmentation in Surgical and Deep-Sea Exploration Robots [34.28684917337352]
  CNNと人間の視覚系における周波数帯域感度の差について検討する。 本稿では、生体視覚機構にインスパイアされたウェーブレット適応スペクトル融合(WASF)法を提案する。 我々は SAM2 のバックボーンネットワークを利用する FE-UNet モデルを開発し, セグメンテーション精度を確保するために細調整した Hiera-Large モジュールを組み込んだ。
  論文  参考訳（メタデータ） (2025-02-06T07:24:34Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。