論文の概要: Training-Free ANN-to-SNN Conversion for High-Performance Spiking Transformer

• arxiv url: http://arxiv.org/abs/2508.07710v1
• Date: Mon, 11 Aug 2025 07:38:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.992206
• Title: Training-Free ANN-to-SNN Conversion for High-Performance Spiking Transformer
• Title（参考訳）: 高速スパイキング変圧器の無訓練ANN-SNN変換
• Authors: Jingya Wang, Xin Deng, Wenjie Wei, Dehao Zhang, Shuai Wang, Qian Sun, Jieyuan Zhang, Hanwen Liu, Ning Xie, Malu Zhang,
• Abstract要約: Spiking Neural Networks (SNN)は、エネルギー効率の良いTransformerアーキテクチャを構築するための有望なアプローチを提供する。 本稿では,Transformer アーキテクチャに適した高性能かつトレーニング不要な ANN-to-SNN 変換フレームワークを提案する。 提案手法は,低レイテンシでほぼロスレス変換精度を実現する。
• 参考スコア（独自算出の注目度）: 25.25113597897599
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Leveraging the event-driven paradigm, Spiking Neural Networks (SNNs) offer a promising approach for constructing energy-efficient Transformer architectures. Compared to directly trained Spiking Transformers, ANN-to-SNN conversion methods bypass the high training costs. However, existing methods still suffer from notable limitations, failing to effectively handle nonlinear operations in Transformer architectures and requiring additional fine-tuning processes for pre-trained ANNs. To address these issues, we propose a high-performance and training-free ANN-to-SNN conversion framework tailored for Transformer architectures. Specifically, we introduce a Multi-basis Exponential Decay (MBE) neuron, which employs an exponential decay strategy and multi-basis encoding method to efficiently approximate various nonlinear operations. It removes the requirement for weight modifications in pre-trained ANNs. Extensive experiments across diverse tasks (CV, NLU, NLG) and mainstream Transformer architectures (ViT, RoBERTa, GPT-2) demonstrate that our method achieves near-lossless conversion accuracy with significantly lower latency. This provides a promising pathway for the efficient and scalable deployment of Spiking Transformers in real-world applications.
• Abstract（参考訳）: イベント駆動のパラダイムを活用することで、Spike Neural Networks(SNN)は、エネルギー効率の良いTransformerアーキテクチャを構築するための有望なアプローチを提供する。 直接訓練されたスパイキング変換器と比較して、ANN-to-SNN変換法は高いトレーニングコストを回避している。 しかし、既存の手法は依然として顕著な制限に悩まされており、トランスフォーマーアーキテクチャの非線形操作を効果的に扱えず、事前訓練されたANNのための追加の微調整プロセスを必要としている。 これらの問題に対処するために,Transformer アーキテクチャに適した高性能かつトレーニング不要な ANN-to-SNN 変換フレームワークを提案する。 具体的には、指数減衰戦略と多重基底符号化法を用いて、様々な非線形演算を効率的に近似する多基底指数決定(MBE)ニューロンを提案する。 これは、事前訓練されたANNの重量調整の要求を除去する。 各種タスク (CV, NLU, NLG) および主流トランスフォーマーアーキテクチャ (ViT, RoBERTa, GPT-2) にわたる広範囲な実験により, 本手法は低レイテンシでほぼロスレス変換精度を実現することを示した。 これにより、現実世界のアプリケーションに効率的でスケーラブルなSpking Transformerをデプロイするための、有望なパスが提供される。

関連論文リスト

• BHViT: Binarized Hybrid Vision Transformer [53.38894971164072]
  モデルバイナライゼーションは畳み込みニューラルネットワーク(CNN)のリアルタイムおよびエネルギー効率の計算を可能にした。 本稿では,バイナライズフレンドリーなハイブリッドViTアーキテクチャであるBHViTとそのバイナライズモデルを提案する。 提案アルゴリズムは,バイナリ ViT 手法間でSOTA 性能を実現する。
  論文  参考訳（メタデータ） (2025-03-04T08:35:01Z)
• Differential Coding for Training-Free ANN-to-SNN Conversion [45.70141988713627]
  スパイキングニューラルネットワーク(SNN)は、その低エネルギー消費のために大きな可能性を秘めている。 ニューラルネットワーク(ANN)をSNNに変換することは、高性能なSNNを実現するための効率的な方法である。 本稿では, ANN-to-SNN変換の差分符号化について紹介する。
  論文  参考訳（メタデータ） (2025-03-01T02:17:35Z)
• Towards High-performance Spiking Transformers from ANN to SNN Conversion [43.53538629484375]
  スパイクニューラルネットワーク(SNN)は、そのエネルギー効率、高速処理能力、ロバスト性によって大きな可能性を秘めている。 現在の変換方法は、主に畳み込みニューラルネットワーク(CNN)をSNNに変換することに焦点を当てている。 本稿では,変換の精度を維持するための期待補償モジュールを提案する。
  論文  参考訳（メタデータ） (2025-02-28T16:12:37Z)
• Faster and Stronger: When ANN-SNN Conversion Meets Parallel Spiking Calculation [45.58270096818676]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率の高いネットワークであり、適切な学習フレームワークを探索する上で重要な課題に直面している。 並列スパイクニューロンの各時間ステップ間の数学的マッピング関係を確立する並列変換学習フレームワークを提案する。 超低レイテンシ下での各種変換事例に対する本手法の有効性を実験により確認した。
  論文  参考訳（メタデータ） (2024-12-18T08:37:13Z)
• RWKV: Reinventing RNNs for the Transformer Era [54.716108899349614]
  本稿では,変換器の効率的な並列化学習とRNNの効率的な推論を組み合わせた新しいモデルアーキテクチャを提案する。 モデルを最大14億のパラメータにスケールし、トレーニングされたRNNの中では最大で、同じサイズのTransformerと同等のRWKVのパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2023-05-22T13:57:41Z)
• Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
  トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。 最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。 Transformerモデルをより効率的にすることに注力している。
  論文  参考訳（メタデータ） (2023-02-27T18:18:13Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。