論文の概要: Closing the Theory-Practice Gap in Spiking Transformers via Effective Dimension
- arxiv url: http://arxiv.org/abs/2604.15769v1
- Date: Fri, 17 Apr 2026 07:15:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-20 22:00:19.78488
- Title: Closing the Theory-Practice Gap in Spiking Transformers via Effective Dimension
- Title（参考訳）: 有効次元によるスパイキング変圧器の理論-実践ギャップの閉鎖
- Abstract要約: スパイキングトランスは、ニューロモルフィックハードウェアで38ドルから57ドル(約3,500円)のエネルギー効率を提供しながら、従来のトランスフォーマーと競合する精度を実現している。
本稿では, 自己注意をスパイクするための最初の包括的表現性理論を確立する。
- 参考スコア（独自算出の注目度）: 13.891522069967507
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spiking transformers achieve competitive accuracy with conventional transformers while offering $38$-$57\times$ energy efficiency on neuromorphic hardware, yet no theoretical framework guides their design. This paper establishes the first comprehensive expressivity theory for spiking self-attention. We prove that spiking attention with Leaky Integrate-and-Fire neurons is a universal approximator of continuous permutation-equivariant functions, providing explicit spike circuit constructions including a novel lateral inhibition network for softmax normalization with proven $O(1/\sqrt{T})$ convergence. We derive tight spike-count lower bounds via rate-distortion theory: $\varepsilon$-approximation requires $Ω(L_f^2 nd/\varepsilon^2)$ spikes, with rigorous information-theoretic derivation. Our key insight is input-dependent bounds using measured effective dimensions ($d_{\text{eff}}=47$--$89$ for CIFAR/ImageNet), explaining why $T=4$ timesteps suffice despite worst-case $T \geq 10{,}000$ predictions. We provide concrete design rules with calibrated constants ($C=2.3$, 95\% CI: $[1.9, 2.7]$). Experiments on Spikformer, QKFormer, and SpikingResformer across vision and language benchmarks validate predictions with $R^2=0.97$ ($p<0.001$). Our framework provides the first principled foundation for neuromorphic transformer design.
- Abstract（参考訳）: スパイキングトランスフォーマーは、従来のトランスフォーマーと競合する精度を実現し、ニューロモルフィックハードウェアに38ドル～57ドル(約3万3000円)のエネルギー効率を提供するが、その設計を導く理論的な枠組みは存在しない。
本稿では, 自己注意をスパイクするための最初の包括的表現性理論を確立する。
我々は、Leaky Integrate-and-Fire ニューロンによるスパイク注意が連続的な置換同変関数の普遍的な近似であり、証明された$O(1/\sqrt{T})$収束を伴うソフトマックス正規化のための新しい横方向抑制ネットワークを含む明示的なスパイク回路構成を提供する。
厳密なスパイク数ローバウンドをレート歪曲理論により導出する:$\varepsilon$-approximation requires $Ω(L_f^2 nd/\varepsilon^2)$ spikes, with rigorous information-theoretic derivation。
我々の重要な洞察は、測定された有効次元($d_{\text{eff}}=47$-89$ for CIFAR/ImageNet)を使った入力依存境界($T=4$ timesteps suffice)である。
キャリブレーション定数 (C=2.3$, 95\% CI: $[1.9, 2.7]$) の具体的な設計規則を提供する。
Spikformer、QKFormer、SpikeResformerの視覚および言語ベンチマークによる実験は、$R^2=0.97$$$p<0.001$で予測を検証する。
我々のフレームワークはニューロモルフィックトランスフォーマー設計の第一原理的基礎を提供する。
関連論文リスト
- Transformers Provably Learn to Internalize Chain-of-Thought [65.41010769606844]
Implicit Chain-of-Thought (ICoT) は、隠れた状態の中で中間段階を内部化するモデルを訓練する。
Log-ICoTはシンキングトークンを一度に削除し、$k$のリニアから対数へのステージ数を削減します。
多層変圧器の実験により理論が確認され、より深い層に段階的に推論がどのように吸収されるかが可視化される。
論文 参考訳（メタデータ） (2026-05-27T15:17:06Z) - Prism: Structural Symmetry Scanning via Duality-Constrained Laplacian Projection [0.0]
複雑なネットワークにおける構造対称性診断のためのフレームワークである textbfPrism を導入する。
Prismは、ネットワークが構造的自己整合性からどのくらい離れているかを測定するスカラーである。
論文 参考訳（メタデータ） (2026-05-18T04:20:05Z) - OAM-Induced Lattice Rotation Reveals a Fractional Optimum in Fault-Tolerant GKP Quantum Sensing [0.0]
軌道角モメンタム符号化とGottesman-Kitaev-Preskill(GKP)格子幾何学が構造的に結合していることを確立する。
終端から終端までの微分可能なStrawberry Fields--TensorFlow回路を用いて、$ell$、格子アスペクト比$r$、および有限エネルギーエンベロープ$$を共に最適化し、量子フィッシャー情報を最大化する。
論文 参考訳（メタデータ） (2026-05-13T09:49:16Z) - Wavelet Variance Equipartition as a Threshold for World-Model Quality and Quantum Kernel TN-Simulability [0.0]
我々はウェーブレットスケーリング指数$$を臨界診断として同定する。
振幅符号化された量子カーネルの古典的シミュラビリティのシャープな遷移境界として$=1/2$を確立する。
この分散は、厳密には$Var[X] = (d-2)$としてスケールする。
論文 参考訳（メタデータ） (2026-05-12T05:41:12Z) - The Spectral Edge Thesis: A Mathematical Framework for Intra-Signal Phase Transitions in Neural Network Training [0.0]
ニューラルネットワークトレーニングにおける位相遷移は,パラメータ更新の回転ウィンドウグラム行列のスペクトルギャップによって制御されることを示す。
adiabatic parameter $mathcalA = |G|_F / (, g2)$ control circuit stability: $mathcalA ll 1$ (plateau), $mathcalA sim 1$ (phase transition), $mathcalA gg 1$ (forgetting)
論文 参考訳（メタデータ） (2026-03-30T20:10:22Z) - Exact Attention Sensitivity and the Geometry of Transformer Stability [0.0]
現代のAIの力にもかかわらず、トランスフォーマーは神秘的に訓練に不安定なままだ。
我々は、なぜPre-LayerNormが機能するのか、なぜDeepNormが$N-1/4$スケーリングを使っているのか、なぜウォームアップが必要なのかを説明する安定性理論を開発する。
論文 参考訳（メタデータ） (2026-02-21T14:25:24Z) - INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。
$mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。
大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
論文 参考訳（メタデータ） (2025-11-16T20:14:28Z) - Convergence Rate Analysis of LION [54.28350823319057]
LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。
従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
論文 参考訳（メタデータ） (2024-11-12T11:30:53Z) - Towards Understanding the Universality of Transformers for Next-Token Prediction [20.300660057193017]
因果変換器は、与えられたコンテキストに対して次のトークンを予測するように訓練される。
我々は,この現象を次々に予測するトランスフォーマーの近似能力について研究することで理解する。
論文 参考訳（メタデータ） (2024-10-03T21:42:21Z) - Chain of Thought Empowers Transformers to Solve Inherently Serial Problems [57.58801785642868]
思考の連鎖(CoT)は、算術や記号的推論タスクにおいて、大きな言語モデル(LLM)の精度を向上させるための非常に効果的な方法である。
この研究は、表現性のレンズを通してデコーダのみの変換器に対するCoTのパワーを理論的に理解する。
論文 参考訳（メタデータ） (2024-02-20T10:11:03Z) - Transformers as Support Vector Machines [54.642793677472724]
自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。
勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。
これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
論文 参考訳（メタデータ） (2023-08-31T17:57:50Z) - Curse of Dimensionality on Randomized Smoothing for Certifiable
Robustness [151.67113334248464]
我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。
我々はCIFARに関する実験結果を示し,その理論を検証した。
論文 参考訳（メタデータ） (2020-02-08T22:02:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。