論文の概要: Plug-and-Play Spiking Operators: Breaking the Nonlinearity Bottleneck in Spiking Transformers

• arxiv url: http://arxiv.org/abs/2605.20289v1
• Date: Tue, 19 May 2026 06:59:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.273384
• Title: Plug-and-Play Spiking Operators: Breaking the Nonlinearity Bottleneck in Spiking Transformers
• Title（参考訳）: プラグアンドプレイスパイク演算子:スパイク変圧器の非線形ボタネックを破る
• Abstract要約: 本稿では,Transformer の非線形性に対するスパイクフレンドリーな近似を実装し,既存の ANN-to-SNN パイプラインに統合するプラグイン・アンド・プレイフレームワークを提案する。 本手法は,これらの非線形計算を,分割,指数化,および$ell$ノルムの3つの繰り返しプリミティブに分解し,集団群を介して実現する。 実験により、対象とする非線形演算子を選択的に置き換えることにより、評価された全てのタスクに対して11%の精度低下が生じることが示された。
• 参考スコア（独自算出の注目度）: 32.743518029177146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: ANN-to-SNN conversion offers a practical, training-free route to spiking large language models. However, current pipelines primarily focus on spike-driven realizations for Transformer linear-algebra operations, while providing limited support for key nonlinear operators. This gap limits compatibility with neuromorphic-style execution constraints, where such nonlinearities typically require division, exponentiation, or norm computations that are not naturally supported by standard leaky integrate-and-fire dynamics. To solve this problem, we propose a plug-and-play framework that implements spike-friendly approximations for Transformer nonlinearities and integrates into existing ANN-to-SNN pipelines. Our method decomposes these nonlinear computations into three recurring primitives -- division, exponentiation, and $\ell_2$ norms -- and realizes them via population computation using LIF neuron groups, combined with lightweight bit-shift scaling to avoid floating-point arithmetic. By composing these primitives as modular operator blocks, our framework supports common Transformer nonlinearities (e.g., Softmax, SiLU, and normalization) without any fine-tuning. Experiments on a range of LLMs Transformers show that selectively replacing the targeted nonlinear operators incurs less than a $1\%$ accuracy drop across all evaluated tasks.
• Abstract（参考訳）: ANN-to-SNN変換は、大規模な言語モデルをスパイクするための実践的でトレーニングのない経路を提供する。 しかし、現在のパイプラインは主にTransformer線形代数演算のためのスパイク駆動実現に焦点を当て、重要な非線形演算子を限定的にサポートしている。 このギャップはニューロモルフィックスタイルの実行制約との互換性に制限され、そのような非線形性は通常、分割、指数化、あるいは標準の漏れた積分と発火のダイナミクスによって自然にサポートされないノルム計算を必要とする。 この問題を解決するために,トランスフォーマーの非線形性に対するスパイクフレンドリーな近似を実装し,既存のANN-to-SNNパイプラインに統合するプラグイン・アンド・プレイフレームワークを提案する。 提案手法は,これらの非線形計算を分割,指数化,および$\ell_2$ノルムの3つの繰り返しプリミティブに分解し,LIFニューロン群を用いた集団計算と軽量ビットシフトスケーリングを組み合わせることで浮動小数点演算を回避する。 これらのプリミティブをモジュラー演算子ブロックとして構成することにより、我々のフレームワークは微調整なしで共通のトランスフォーマー非線形性(例えば、ソフトマックス、SiLU、正規化)をサポートする。 LLM変換器の実験では、対象の非線形演算子を選択的に置き換えることによって、評価された全てのタスクに対して1\%の精度低下が生じる。

関連論文リスト

• Reducing ANN-SNN Conversion Error via Residual Membrane Potential Alignment [52.910770415431244]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのコアアーキテクチャとして機能する。 ANN-SNN変換は、低レイテンシでエネルギー効率のよい推論のために、よく訓練されたANN重みを再利用することで問題を回避している。 既存の変換方式は、小さなタイミングで精度の低下、大きな推論遅延、累積量子化誤差に悩まされている。
  論文  参考訳（メタデータ） (2026-08-14T04:46:03Z)
• Rethinking Neural Nonlinearity as Gating [0.7073210405344709]
  標準アクティベーションは、実際には単一のThreshold Gatingプリミティブのインスタンスであることを示す。 ソフトマックスに対して、同値な要素ごとのシグモイド形式による正確なTG変換が認められることを示す。 また,我々のプリミティブで必要となる枝の最小個数を一般深部ニューラルネットワークのトレーニング可能性に関連付ける「最小枝定理」も提案する。
  論文  参考訳（メタデータ） (2026-07-03T09:38:16Z)
• Chebyshev-Augmented One-Shot Transfer Learning for PINNs on Nonlinear Differential Equations [0.794957965474334]
  物理情報ニューラルネットワーク(PINN)は、ネットワークに規則を規定することによって微分方程式を解くための柔軟なパラダイムを提供する。 標準のPINNは、通常、新しい強制項、潜時/初期条件、または非線形問題閉形式適応に対して再訓練を必要とする。 本稿では,OTLとチェビシェフサロゲートを組み合わせたワンショットPINN転送が可能な非線形性のクラスについて述べる。
  論文  参考訳（メタデータ） (2026-05-02T22:49:37Z)
• Linear-Nonlinear Fusion Neural Operator for Partial Differential Equations [4.892307363245757]
  演算子マッピングにおける線形および非線形効果の明示的な分離は、学習効率を著しく向上させる。 これにより、線形非線形核融合ニューラル演算子(LNF-NO)と呼ばれる新しいネットワーク構造が得られる。 LNF-NOは自然に複数の関数入力をサポートし、正規格子と不規則幾何学の両方に適用できる。
  論文  参考訳（メタデータ） (2026-03-25T10:10:53Z)
• WUSH: Near-Optimal Adaptive Transforms for LLM Quantization [52.77441224845925]
  低ビット幅への量子化は、大きな言語モデルをデプロイするための標準的なアプローチである。 いくつかの極端な重みと活性化は、ダイナミックレンジを拡張し、量子化器の有効分解能を減少させる。 結合重みアクティベーション量子化のための閉形式最適線形ブロックワイズ変換を初めて導出する。
  論文  参考訳（メタデータ） (2025-11-30T16:17:34Z)
• S-Crescendo: A Nested Transformer Weaving Framework for Scalable Nonlinear System in S-Domain Representation [4.945568106952893]
  S-Crescendoは、スケーラブルな時間領域予測のために、ニューラルネットワークとSドメインを相乗化するネストトランスフォーマーウィービングフレームワークである。 HSPICEゴールデン波形に対して最大0.99のテストセット(R2$)精度を実現し,シミュレーションを最大18(X)高速化する。
  論文  参考訳（メタデータ） (2025-05-17T05:06:58Z)
• On the Role of Transformer Feed-Forward Layers in Nonlinear In-Context Learning [31.908611830179108]
  トランスフォーマーベースのモデルは、パラメータを更新せずに、いくつかのプロンプト例から目に見えないタスクに適応できる、コンテキスト内学習(ICL)の驚くべき能力を示す。 最近の研究は、トランスフォーマーがICLを実行する方法を示し、最適線形自己アテンション(LSA)機構が線形最小二乗目的に対して勾配勾配の1ステップを実現できることを示した。
  論文  参考訳（メタデータ） (2025-01-30T07:41:20Z)
• Parallelizing Linear Transformers with the Delta Rule over Sequence Length [49.88826673324244]
  この研究は、デルタ則で線形変圧器を訓練するためのハードウェア効率の良いアルゴリズムについて述べる。 我々は100Bトークンに対して1.3Bモデルをトレーニングし、最近の線形時間ベースラインよりも優れていることを発見した。
  論文  参考訳（メタデータ） (2024-06-10T17:24:42Z)
• RWKV: Reinventing RNNs for the Transformer Era [54.716108899349614]
  本稿では,変換器の効率的な並列化学習とRNNの効率的な推論を組み合わせた新しいモデルアーキテクチャを提案する。 モデルを最大14億のパラメータにスケールし、トレーニングされたRNNの中では最大で、同じサイズのTransformerと同等のRWKVのパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2023-05-22T13:57:41Z)
• NN-LUT: Neural Approximation of Non-Linear Operations for Efficient Transformer Inference [9.329021390526124]
  GELU、Layer normalization、Softmaxといった非線形演算は、トランスフォーマーモデルのブロックの構築には不可欠だがコストがかかる。 本稿では,効率的なトランスフォーマー推論のためのハードウェアフレンドリな近似フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-03T23:06:57Z)
• Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural Networks [52.32646357164739]
  最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。 提案されたSIDNNは、幅広いOPFスキームと互換性がある。 他のLearning-to-OPFスキームとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-03-27T00:45:23Z)
• LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
  本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。 LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
  論文  参考訳（メタデータ） (2020-12-21T06:40:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。