Fugu-MT 論文翻訳(概要): SQUAT: Stateful Quantization-Aware Training in Recurrent Spiking Neural Networks

論文の概要: SQUAT: Stateful Quantization-Aware Training in Recurrent Spiking Neural Networks

arxiv url: http://arxiv.org/abs/2404.19668v1
Date: Mon, 15 Apr 2024 03:07:16 GMT
ステータス: 処理完了
システム内更新日: 2024-05-05 18:04:17.033654
Title: SQUAT: Stateful Quantization-Aware Training in Recurrent Spiking Neural Networks
Title（参考訳）: SQUAT: リカレントスパイキングニューラルネットワークにおけるステートフル量子化認識トレーニング
Authors: Sreyes Venkatesh, Razvan Marinescu, Jason K. Eshraghian,
Abstract要約: スパイキングニューラルネットワーク(SNN)は効率を向上させるという目標を共有しているが、ニューラルネットワーク推論の消費電力を減らすために、"イベント駆動"アプローチを採用する。本稿では, ステートフルニューロンに対するQAT方式として, (i) 均一量子化戦略, (ii) 重み量子化の確立された方法, (ii) しきい値中心量子化の2つを紹介する。以上の結果から,発火閾値付近の量子化レベルの密度の増加は,複数のベンチマークデータセットの精度を向上させることが示唆された。
参考スコア（独自算出の注目度）: 1.0923877073891446
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Weight quantization is used to deploy high-performance deep learning models on resource-limited hardware, enabling the use of low-precision integers for storage and computation. Spiking neural networks (SNNs) share the goal of enhancing efficiency, but adopt an 'event-driven' approach to reduce the power consumption of neural network inference. While extensive research has focused on weight quantization, quantization-aware training (QAT), and their application to SNNs, the precision reduction of state variables during training has been largely overlooked, potentially diminishing inference performance. This paper introduces two QAT schemes for stateful neurons: (i) a uniform quantization strategy, an established method for weight quantization, and (ii) threshold-centered quantization, which allocates exponentially more quantization levels near the firing threshold. Our results show that increasing the density of quantization levels around the firing threshold improves accuracy across several benchmark datasets. We provide an ablation analysis of the effects of weight and state quantization, both individually and combined, and how they impact models. Our comprehensive empirical evaluation includes full precision, 8-bit, 4-bit, and 2-bit quantized SNNs, using QAT, stateful QAT (SQUAT), and post-training quantization methods. The findings indicate that the combination of QAT and SQUAT enhance performance the most, but given the choice of one or the other, QAT improves performance by the larger degree. These trends are consistent all datasets. Our methods have been made available in our Python library snnTorch: https://github.com/jeshraghian/snntorch.
Abstract（参考訳）: 軽量量子化は、リソース制限されたハードウェア上で高性能なディープラーニングモデルをデプロイするために使用され、ストレージと計算に低精度の整数を使用することができる。スパイキングニューラルネットワーク(SNN)は効率を向上させるという目標を共有しているが、ニューラルネットワーク推論の消費電力を減らすために、"イベント駆動"アプローチを採用する。重量量子化、量子化対応トレーニング(QAT)、およびSNNへの応用について広範な研究が行われてきたが、トレーニング中の状態変数の精度の低下は概ね見過ごされ、推論性能が低下する可能性がある。本稿では、ステートフルニューロンに対する2つのQATスキームを紹介する。一均一量化戦略、重量量化の確立された方法、及び (II) しきい値中心の量子化は、発射しきい値付近で指数的により多くの量子化レベルを割り当てる。以上の結果から,発火閾値付近の量子化レベルの密度の増加は,複数のベンチマークデータセットの精度を向上させることが示唆された。重みと状態量子化の効果について,それぞれと組み合わせたアブレーション分析を行い,それらがモデルに与える影響について検討した。我々の総合的な実証評価には、完全精度、8ビット、4ビット、2ビット量子化SNN、QAT、ステートフルQAT(SQUAT)、ポストトレーニング量子化法が含まれる。以上の結果から,QATとSQUATの組み合わせにより性能が向上することが示唆された。これらの傾向はすべてのデータセットに一貫性がある。私たちのメソッドはPythonライブラリsnnTorchで利用可能になりました。

関連論文リスト

Designing strong baselines for ternary neural network quantization through support and mass equalization [7.971065005161565]
ディープニューラルネットワーク(DNN)は、コンピュータビジョンにおける幅広いアプリケーションにおいて、最高のパフォーマンスを提供する。浮動小数点値を3次値に定量化することにより、この計算負担を劇的に低減することができる。提案手法は, 様々なシナリオを用いて三次量子化の性能を大幅に向上させることができることを示す。
論文参考訳（メタデータ） (2023-06-30T07:35:07Z)
BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
論文参考訳（メタデータ） (2022-07-04T13:25:49Z)
A Comprehensive Survey on Model Quantization for Deep Neural Networks in Image Classification [0.0]
有望なアプローチは量子化であり、完全な精度の値は低ビット幅の精度で保存される。本稿では、画像分類に焦点をあてて、量子化の概念と方法に関する包括的調査を行う。本稿では,量子化DNNにおける浮動小数点演算の低コストなビット演算への置き換えと,量子化における異なる層の感度について説明する。
論文参考訳（メタデータ） (2022-05-14T15:08:32Z)
Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
論文参考訳（メタデータ） (2022-01-26T18:47:38Z)
Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
論文参考訳（メタデータ） (2021-09-05T15:15:07Z)
A White Paper on Neural Network Quantization [20.542729144379223]
本稿では,量子化ノイズがネットワークの性能に与える影響を緩和する最新アルゴリズムを提案する。我々は,ポストトレーニング量子化(PTQ)と量子化アウェア・トレーニング(QAT)の2つのアルゴリズムについて考察する。
論文参考訳（メタデータ） (2021-06-15T17:12:42Z)
In-Hindsight Quantization Range Estimation for Quantized Training [5.65658124285176]
従来の反復で推定した量子化範囲を用いて,現在を数値化する動的量子化手法であるin-hindsight range推定法を提案する。今回のアプローチでは,ニューラルネットワークアクセラレータによる最小限のハードウェアサポートのみを必要としながら,勾配とアクティベーションの高速静的量子化を可能にする。量子化範囲の推定のためのドロップイン代替として意図されており、他の量子化トレーニングの進歩と併用することができる。
論文参考訳（メタデータ） (2021-05-10T10:25:28Z)
Where Should We Begin? A Low-Level Exploration of Weight Initialization Impact on Quantized Behaviour of Deep Neural Networks [93.4221402881609]
異なる重みの初期化が重みの最終的な分布と異なるCNNアーキテクチャの活性化に与える影響について、詳細なアブレーション研究を行う。我々の知る限りでは、ウェイトの初期化とその量子化行動に対する影響について、そのような低レベルで詳細な定量分析を行うのは、私たちは初めてである。
論文参考訳（メタデータ） (2020-11-30T06:54:28Z)
A Statistical Framework for Low-bitwidth Training of Deep Neural Networks [70.77754244060384]
フル量子化トレーニング(FQT)は、ニューラルネットワークモデルのアクティベーション、重み、勾配を定量化することで、低ビット幅のハードウェアを使用する。 FQTの最大の課題は、特に勾配量子化が収束特性にどのように影響するかという理論的な理解の欠如である。
論文参考訳（メタデータ） (2020-10-27T13:57:33Z)
Once Quantization-Aware Training: High Performance Extremely Low-bit Architecture Search [112.05977301976613]
本稿では,ネットワークアーキテクチャ検索手法と量子化手法を組み合わせることで,両者のメリットを享受することを提案する。まず、多数の量子化モデルを取得するために、共有ステップサイズでアーキテクチャと量子化の合同トレーニングを提案する。次に、量子化されたモデルを低ビットに転送するためにビット継承方式を導入し、さらに時間コストを削減し、量子化精度を向上させる。
論文参考訳（メタデータ） (2020-10-09T03:52:16Z)
Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。