論文の概要: Closing the Theory-Practice Gap in Spiking Transformers via Effective Dimension

• arxiv url: http://arxiv.org/abs/2604.15769v1
• Date: Fri, 17 Apr 2026 07:15:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.78488
• Title: Closing the Theory-Practice Gap in Spiking Transformers via Effective Dimension
• Title（参考訳）: 有効次元によるスパイキング変圧器の理論-実践ギャップの閉鎖
• Authors: Dongxin Guo, Jikun Wu, Siu Ming Yiu,
• Abstract要約: スパイキングトランスは、ニューロモルフィックハードウェアで38ドルから57ドル(約3,500円)のエネルギー効率を提供しながら、従来のトランスフォーマーと競合する精度を実現している。 本稿では, 自己注意をスパイクするための最初の包括的表現性理論を確立する。
• 参考スコア（独自算出の注目度）: 13.891522069967507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking transformers achieve competitive accuracy with conventional transformers while offering $38$-$57\times$ energy efficiency on neuromorphic hardware, yet no theoretical framework guides their design. This paper establishes the first comprehensive expressivity theory for spiking self-attention. We prove that spiking attention with Leaky Integrate-and-Fire neurons is a universal approximator of continuous permutation-equivariant functions, providing explicit spike circuit constructions including a novel lateral inhibition network for softmax normalization with proven $O(1/\sqrt{T})$ convergence. We derive tight spike-count lower bounds via rate-distortion theory: $\varepsilon$-approximation requires $Ω(L_f^2 nd/\varepsilon^2)$ spikes, with rigorous information-theoretic derivation. Our key insight is input-dependent bounds using measured effective dimensions ($d_{\text{eff}}=47$--$89$ for CIFAR/ImageNet), explaining why $T=4$ timesteps suffice despite worst-case $T \geq 10{,}000$ predictions. We provide concrete design rules with calibrated constants ($C=2.3$, 95\% CI: $[1.9, 2.7]$). Experiments on Spikformer, QKFormer, and SpikingResformer across vision and language benchmarks validate predictions with $R^2=0.97$ ($p<0.001$). Our framework provides the first principled foundation for neuromorphic transformer design.
• Abstract（参考訳）: スパイキングトランスフォーマーは、従来のトランスフォーマーと競合する精度を実現し、ニューロモルフィックハードウェアに38ドル～57ドル(約3万3000円)のエネルギー効率を提供するが、その設計を導く理論的な枠組みは存在しない。 本稿では, 自己注意をスパイクするための最初の包括的表現性理論を確立する。 我々は、Leaky Integrate-and-Fire ニューロンによるスパイク注意が連続的な置換同変関数の普遍的な近似であり、証明された$O(1/\sqrt{T})$収束を伴うソフトマックス正規化のための新しい横方向抑制ネットワークを含む明示的なスパイク回路構成を提供する。 厳密なスパイク数ローバウンドをレート歪曲理論により導出する:$\varepsilon$-approximation requires $Ω(L_f^2 nd/\varepsilon^2)$ spikes, with rigorous information-theoretic derivation。 我々の重要な洞察は、測定された有効次元($d_{\text{eff}}=47$-89$ for CIFAR/ImageNet)を使った入力依存境界($T=4$ timesteps suffice)である。 キャリブレーション定数 (C=2.3$, 95\% CI: $[1.9, 2.7]$) の具体的な設計規則を提供する。 Spikformer、QKFormer、SpikeResformerの視覚および言語ベンチマークによる実験は、$R^2=0.97$$$p<0.001$で予測を検証する。 我々のフレームワークはニューロモルフィックトランスフォーマー設計の第一原理的基礎を提供する。

関連論文リスト

• The Spectral Edge Thesis: A Mathematical Framework for Intra-Signal Phase Transitions in Neural Network Training [0.0]
  ニューラルネットワークトレーニングにおける位相遷移は,パラメータ更新の回転ウィンドウグラム行列のスペクトルギャップによって制御されることを示す。 adiabatic parameter $mathcalA = |G|_F / (, g2)$ control circuit stability: $mathcalA ll 1$ (plateau), $mathcalA sim 1$ (phase transition), $mathcalA gg 1$ (forgetting)
  論文  参考訳（メタデータ） (2026-03-30T20:10:22Z)
• Exact Attention Sensitivity and the Geometry of Transformer Stability [0.0]
  現代のAIの力にもかかわらず、トランスフォーマーは神秘的に訓練に不安定なままだ。 我々は、なぜPre-LayerNormが機能するのか、なぜDeepNormが$N-1/4$スケーリングを使っているのか、なぜウォームアップが必要なのかを説明する安定性理論を開発する。
  論文  参考訳（メタデータ） (2026-02-21T14:25:24Z)
• INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
  本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。 $mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。 大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
  論文  参考訳（メタデータ） (2025-11-16T20:14:28Z)
• Convergence Rate Analysis of LION [54.28350823319057]
  LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。 従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
  論文  参考訳（メタデータ） (2024-11-12T11:30:53Z)
• Towards Understanding the Universality of Transformers for Next-Token Prediction [20.300660057193017]
  因果変換器は、与えられたコンテキストに対して次のトークンを予測するように訓練される。 我々は,この現象を次々に予測するトランスフォーマーの近似能力について研究することで理解する。
  論文  参考訳（メタデータ） (2024-10-03T21:42:21Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Curse of Dimensionality on Randomized Smoothing for Certifiable Robustness [151.67113334248464]
  我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。 我々はCIFARに関する実験結果を示し,その理論を検証した。
  論文  参考訳（メタデータ） (2020-02-08T22:02:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。