論文の概要: Activation-Flexible ANN-to-SNN Conversion with Finite-State Markov Neurons
- arxiv url: http://arxiv.org/abs/2609.30102v1
- Date: Thu, 24 Sep 2026 16:44:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:10.126664
- Title: Activation-Flexible ANN-to-SNN Conversion with Finite-State Markov Neurons
- Title(参考訳): 有限状態マルコフニューロンを用いたアクティベーションフレキシブルANN-to-SNN変換
- Abstract要約: ほとんどのANN-to-SNN変換法は、ソースアクティベーションとスパイキングニューロンのダイナミックスとの特定の対応に依存している。
定常スパイク束が全ての連続非負のモノトン活性化関数を近似できる有限状態連続型マルコフ連鎖ニューロンフレームワークを提案する。
その結果, 有限状態CTMCニューロンは, アクティベーションフレキシブルANN-to-SNN変換の理論的基盤となった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most ANN-to-SNN conversion methods rely on a specific correspondence between the source activation and the spiking neuron dynamics. We propose a finite-state continuous-time Markov chain (CTMC) neuron framework whose stationary spike flux can approximate every continuous nonnegative monotone activation function on a compact interval. For a generalized CTMC family with affine input-dependent transitions, we prove uniform approximation to arbitrary accuracy over this function class and derive an explicit approximation error bound. In practice, two- and three-state CTMCs fit ReLU, sigmoid, softplus, and clipped ReLU on the evaluated input ranges, and we evaluate corresponding MLP conversions for each activation with layerwise rate scaling. Moderate clipping improves the conversion cost-accuracy tradeoff on the MNIST MLP and reduces SynOps by 27% on VGG-11/MNIST at matched ANN-SNN accuracy gap criteria, whereas the trend reverses on VGG-11/CIFAR-10. Mean-field and layerwise diagnostics indicate that finite-window sampling and terminal-layer mismatch are the main residual errors. Overall, our results establish finite-state CTMC neurons as a theoretically grounded framework for activation-flexible ANN-to-SNN conversion beyond fixed activation-neuron correspondences.
- Abstract(参考訳): ほとんどのANN-to-SNN変換法は、ソースアクティベーションとスパイキングニューロンのダイナミックスとの特定の対応に依存している。
本稿では,有限状態連続時間マルコフ連鎖(CTMC)ニューロンフレームワークを提案する。
アフィン入力依存遷移を持つ一般化CTMC系に対して、この関数クラスに対して任意の精度で一様近似を証明し、明示的な近似誤差を導出する。
実際に,2状態CTMCと3状態CTMCは,評価入力範囲にReLU,シグモイド,ソフトプラス,クリッピングReLUを適合させる。
モデレートクリッピングは、MNIST MLPの変換コスト-精度トレードオフを改善し、ANN-SNN精度ギャップ基準でVGG-11/CIFAR-10でSynOpsを27%削減する。
平均場, 層別診断は, 有限ウィンドウサンプリングと終端層ミスマッチが主な残留誤差であることを示している。
以上の結果から, 有限状態CTMCニューロンは, アクティベーションフレキシブルANN-to-SNN変換の理論的基盤として確立された。
関連論文リスト
- Reducing ANN-SNN Conversion Error via Residual Membrane Potential Alignment [52.910770415431244]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのコアアーキテクチャとして機能する。
ANN-SNN変換は、低レイテンシでエネルギー効率のよい推論のために、よく訓練されたANN重みを再利用することで問題を回避している。
既存の変換方式は、小さなタイミングで精度の低下、大きな推論遅延、累積量子化誤差に悩まされている。
論文 参考訳(メタデータ) (2026-08-14T04:46:03Z) - Error Amplification Limits ANN-to-SNN Conversion in Continuous Control [64.99656514469972]
スパイキングニューラルネットワーク(SNN)は、すでに訓練済みのニューラルネットワーク(ANN)を変換することで、競争性能を達成することができる。
既存の変換法は、適切なベースラインがほとんど存在しないような連続的な制御では性能が良くない。
本研究では, 時間的相関誤差を抑制するために, 残留膜電位を決定段階にわたって超過する軽量なトレーニング自由機構であるCRPIを提案する。
論文 参考訳(メタデータ) (2026-01-29T14:28:00Z) - Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。
複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。
変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
論文 参考訳(メタデータ) (2024-12-05T09:41:33Z) - Spiking Neural Networks with Consistent Mapping Relations Allow High-Accuracy Inference [9.667807887916132]
スパイクベースのニューロモルフィックハードウェアは、低エネルギー消費と効率的な推論において大きな可能性を証明している。
ディープスパイクニューラルネットワークの直接トレーニングは困難であり、変換ベースの手法では未解決の変換エラーのため、かなりの遅延が必要になる。
論文 参考訳(メタデータ) (2024-06-08T06:40:00Z) - Converting High-Performance and Low-Latency SNNs through Explicit Modelling of Residual Error in ANNs [27.46147049872907]
スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率とニューロモルフィックチップの優れた効果のために関心を集めている。
ディープSNNの実装における主要なアプローチの1つは、ANN-SNN変換である。
本稿では,残差を付加雑音として明示的にモデル化した新しい手法を提案する。
論文 参考訳(メタデータ) (2024-04-26T14:50:46Z) - FTBC: Forward Temporal Bias Correction for Optimizing ANN-SNN Conversion [16.9748086865693]
Spiking Neural Networks(SNN)は、ニューラルネットワーク(ANN)と比較して、エネルギー効率の高いコンピューティングのための有望な道を提供する
本稿では,計算オーバーヘッドを伴わずに変換精度を向上させることを目的とした,FTBC(Forward Temporal Bias)技術を紹介する。
さらに,前方通過のみの時間偏差を求めるアルゴリズムを提案し,逆伝播の計算負担を軽減した。
論文 参考訳(メタデータ) (2024-03-27T09:25:20Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳(メタデータ) (2023-05-30T19:37:44Z) - Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。
本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
論文 参考訳(メタデータ) (2022-08-28T17:50:19Z) - Mixed Precision Low-bit Quantization of Neural Network Language Models
for Speech Recognition [67.95996816744251]
長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。
現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。
本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
論文 参考訳(メタデータ) (2021-11-29T12:24:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。