論文の概要: Hessian Aware Quantization of Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2104.14117v2
- Date: Mon, 23 Aug 2021 18:08:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-02 02:18:06.026226
- Title: Hessian Aware Quantization of Spiking Neural Networks
- Title（参考訳）: スパイクニューラルネットワークのヘシアン認識量子化
- Authors: Hin Wai Lui and Emre Neftci
- Abstract要約: ニューロモルフィックアーキテクチャは、可変ビット精度と局所ビット精度の大規模並列計算を可能にする。
SNNトレーニングの現在の勾配に基づく方法は、複数の状態変数を持つ複雑なニューロンモデルを使用する。
我々は、勾配に基づくトレーニングと互換性を保ちつつ、状態変数の数を4倍に削減する単純化されたニューロンモデルを提案する。
- 参考スコア（独自算出の注目度）: 1.90365714903665
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: To achieve the low latency, high throughput, and energy efficiency benefits
of Spiking Neural Networks (SNNs), reducing the memory and compute requirements
when running on a neuromorphic hardware is an important step. Neuromorphic
architecture allows massively parallel computation with variable and local
bit-precisions. However, how different bit-precisions should be allocated to
different layers or connections of the network is not trivial. In this work, we
demonstrate how a layer-wise Hessian trace analysis can measure the sensitivity
of the loss to any perturbation of the layer's weights, and this can be used to
guide the allocation of a layer-specific bit-precision when quantizing an SNN.
In addition, current gradient based methods of SNN training use a complex
neuron model with multiple state variables, which is not ideal for compute and
memory efficiency. To address this challenge, we present a simplified neuron
model that reduces the number of state variables by 4-fold while still being
compatible with gradient based training. We find that the impact on model
accuracy when using a layer-wise bit-precision correlated well with that
layer's Hessian trace. The accuracy of the optimal quantized network only
dropped by 0.2%, yet the network size was reduced by 58%. This reduces memory
usage and allows fixed-point arithmetic with simpler digital circuits to be
used, increasing the overall throughput and energy efficiency.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)の低レイテンシ、高スループット、エネルギー効率のメリットを実現するため、ニューロモルフィックハードウェア上で動作する際のメモリと計算要求の削減は重要なステップである。
ニューロモルフィックアーキテクチャは、可変および局所ビット精度を持つ超並列計算を可能にする。
しかし、ネットワークの異なる層や接続に、異なるビット精度を割り当てるべき方法は自明ではない。
本研究では,重みの摂動に対する損失の感度を測定し,SNNの定量化において,層固有のビット精度の割り当てを導出する方法を示す。
さらに、SNNトレーニングの現在の勾配に基づく方法は、複数の状態変数を持つ複雑なニューロンモデルを使用するが、これは計算とメモリ効率に理想的ではない。
この課題に対処するために,グラデーションベーストレーニングとの互換性を維持しつつ,状態変数の数を4倍に削減する簡易なニューロンモデルを提案する。
その結果,層状ビット精度を用いた場合のモデル精度への影響は,その層のヘッシアントレースとよく相関することがわかった。
最適量子化ネットワークの精度はわずか0.2%低下したが、ネットワークサイズは58%低下した。
これによりメモリ使用量が減少し、より単純なデジタル回路で固定点演算が可能となり、全体のスループットとエネルギー効率が向上する。
関連論文リスト
- Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。
効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。
実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
論文 参考訳（メタデータ） (2023-07-20T16:00:19Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Low Precision Quantization-aware Training in Spiking Neural Networks
with Differentiable Quantization Function [0.5046831208137847]
この研究は、量子化されたニューラルネットワークの最近の進歩とスパイクニューラルネットワークのギャップを埋めることを目的としている。
これは、シグモイド関数の線形結合として表される量子化関数の性能に関する広範な研究を示す。
提案した量子化関数は、4つの人気のあるベンチマーク上での最先端のパフォーマンスを示す。
論文 参考訳（メタデータ） (2023-05-30T09:42:05Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Ultra-low Latency Adaptive Local Binary Spiking Neural Network with
Accuracy Loss Estimator [4.554628904670269]
精度損失推定器を用いた超低レイテンシ適応型局所二元スパイクニューラルネットワーク(ALBSNN)を提案する。
実験の結果,ネットワークの精度を損なうことなく,ストレージ容量を20%以上削減できることがわかった。
論文 参考訳（メタデータ） (2022-07-31T09:03:57Z) - Converting Artificial Neural Networks to Spiking Neural Networks via
Parameter Calibration [21.117214351356765]
スパイキングニューラルネットワーク(SNN)は、次世代ニューラルネットワークの1つとして認識されている。
本研究では、ANNの重みをSNNにコピー&ペーストするだけで、必然的にアクティベーションミスマッチが発生することを論じる。
そこで本研究では,アクティベーションミスマッチを最小限に抑えるため,パラメータの調整を行う層ワイドパラメータキャリブレーションアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-06T18:22:09Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - $S^3$: Sign-Sparse-Shift Reparametrization for Effective Training of
Low-bit Shift Networks [41.54155265996312]
シフトニューラルネットワークは、高価な乗算演算を除去し、連続的な重みを低ビットの離散値に量子化することによって複雑さを低減する。
提案手法は、シフトニューラルネットワークの境界を押し上げ、3ビットシフトネットワークは、ImageNet上でトップ1の精度で、フル精度のニューラルネットワークよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-07-07T19:33:02Z) - ActNN: Reducing Training Memory Footprint via 2-Bit Activation
Compressed Training [68.63354877166756]
ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。
ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
論文 参考訳（メタデータ） (2021-04-29T05:50:54Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z) - Mixed-Precision Quantized Neural Network with Progressively Decreasing
Bitwidth For Image Classification and Object Detection [21.48875255723581]
ビット幅が徐々に増大する混合精度量子化ニューラルネットワークを提案し,精度と圧縮のトレードオフを改善する。
典型的なネットワークアーキテクチャとベンチマークデータセットの実験は、提案手法がより良い結果または同等の結果が得られることを示した。
論文 参考訳（メタデータ） (2019-12-29T14:11:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。