論文の概要: SQWA: Stochastic Quantized Weight Averaging for Improving the
Generalization Capability of Low-Precision Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2002.00343v1
- Date: Sun, 2 Feb 2020 07:02:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-04 19:47:28.708730
- Title: SQWA: Stochastic Quantized Weight Averaging for Improving the
Generalization Capability of Low-Precision Deep Neural Networks
- Title（参考訳）: SQWA:低精度ディープニューラルネットワークの一般化能力向上のための確率量子化ウェイト平均化
- Authors: Sungho Shin, Yoonho Boo, Wonyong Sung
- Abstract要約: 我々は、新しい量子化ニューラルネットワーク最適化手法、量子化ウェイト平均化(SQWA)を提案する。
提案手法には、浮動小数点モデルのトレーニング、重みの直接量子化、複数の低精度モデルのキャプチャ、キャプチャーモデルの平均化、低学習率の微調整が含まれる。
SQWAトレーニングにより、CIFAR-100およびImageNetデータセット上の2ビットQDNNの最先端結果を得た。
- 参考スコア（独自算出の注目度）: 29.187848543158992
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Designing a deep neural network (DNN) with good generalization capability is
a complex process especially when the weights are severely quantized. Model
averaging is a promising approach for achieving the good generalization
capability of DNNs, especially when the loss surface for training contains many
sharp minima. We present a new quantized neural network optimization approach,
stochastic quantized weight averaging (SQWA), to design low-precision DNNs with
good generalization capability using model averaging. The proposed approach
includes (1) floating-point model training, (2) direct quantization of weights,
(3) capturing multiple low-precision models during retraining with cyclical
learning rates, (4) averaging the captured models, and (5) re-quantizing the
averaged model and fine-tuning it with low-learning rates. Additionally, we
present a loss-visualization technique on the quantized weight domain to
clearly elucidate the behavior of the proposed method. Visualization results
indicate that a quantized DNN (QDNN) optimized with the proposed approach is
located near the center of the flat minimum in the loss surface. With SQWA
training, we achieved state-of-the-art results for 2-bit QDNNs on CIFAR-100 and
ImageNet datasets. Although we only employed a uniform quantization scheme for
the sake of implementation in VLSI or low-precision neural processing units,
the performance achieved exceeded those of previous studies employing
non-uniform quantization.
- Abstract（参考訳）: 優れた一般化能力を持つディープニューラルネットワーク(DNN)を設計することは、特に重みが著しく定量化されている場合の複雑なプロセスである。
モデル平均化はDNNの優れた一般化能力を達成するための有望なアプローチである。
モデル平均化を用いた高精度DNNの設計のために,新しい量子化ニューラルネットワーク最適化手法,確率量子化重み付け(SQWA)を提案する。
提案手法は,(1)浮動小数点モデルトレーニング,(2)重みの直接量子化,(3)周期的学習率による再訓練中の複数の低精度モデル取得,(4)取得したモデルの平均化,(5)平均モデルの再定量化,および低学習率での微調整を含む。
さらに,本手法の挙動を明らかにするために,量子化重み領域における損失視覚化手法を提案する。
可視化の結果,提案手法に最適化された量子化DNN (QDNN) が損失面の平坦な最小値の中心付近に位置することが示された。
SQWAトレーニングにより、CIFAR-100およびImageNetデータセット上の2ビットQDNNの最先端結果を得た。
vlsiや低精度ニューラルプロセッシングユニットの実装のために、一様量子化方式を採用したが、非一様量子化を用いた従来の研究よりも性能が向上した。
関連論文リスト
- SQUAT: Stateful Quantization-Aware Training in Recurrent Spiking Neural Networks [1.0923877073891446]
スパイキングニューラルネットワーク(SNN)は効率を向上させるという目標を共有しているが、ニューラルネットワーク推論の消費電力を減らすために、"イベント駆動"アプローチを採用する。
本稿では, ステートフルニューロンに対するQAT方式として, (i) 均一量子化戦略, (ii) 重み量子化の確立された方法, (ii) しきい値中心量子化の2つを紹介する。
以上の結果から,発火閾値付近の量子化レベルの密度の増加は,複数のベンチマークデータセットの精度を向上させることが示唆された。
論文 参考訳（メタデータ） (2024-04-15T03:07:16Z) - BiTAT: Neural Network Binarization with Task-dependent Aggregated
Transformation [116.26521375592759]
量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。
コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。
本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
論文 参考訳（メタデータ） (2022-07-04T13:25:49Z) - CTMQ: Cyclic Training of Convolutional Neural Networks with Multiple
Quantization Steps [1.3106063755117399]
本稿では,低ビット量子化畳み込みニューラルネットワーク(CNN)における高機能化を実現するために,複数サイクルの訓練を施したトレーニング手法を提案する。
提案手法は,精度の高いモデルの訓練能力を反復的に活用することにより,各サイクルにおける低ビット量子化モデルの強化された重み付けを実現できる。
特に、トレーニング方法は、ImageNetデータセット上の2項化されたResNet-18のTop-1とTop-5の精度をそれぞれ5.80%と6.85%向上させることができる。
論文 参考訳（メタデータ） (2022-06-26T05:54:12Z) - Low-bit Quantization of Recurrent Neural Network Language Models Using
Alternating Direction Methods of Multipliers [67.688697838109]
本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。
2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
論文 参考訳（メタデータ） (2021-11-29T09:30:06Z) - Learnable Companding Quantization for Accurate Low-bit Neural Networks [3.655021726150368]
ディープニューラルネットワークの量子化は、メモリ消費の削減と推論速度の向上に有効な方法である。
非常に低ビットモデルがフル精度モデルに匹敵する精度を達成することは、まだ困難です。
2,3,4ビットモデルのための新しい非一様量子化手法として学習可能なコンパイル量子化(LCQ)を提案する。
論文 参考訳（メタデータ） (2021-03-12T09:06:52Z) - Recurrence of Optimum for Training Weight and Activation Quantized
Networks [4.103701929881022]
低精度の重みとアクティベーションを備えたディープラーニングモデルのトレーニングには、必要な最適化タスクが伴う。
ネットワーク量子化の性質を克服する方法を紹介します。
また,訓練用量子化深層ネットワークにおける重み進化の繰り返し現象の数値的証拠を示す。
論文 参考訳（メタデータ） (2020-12-10T09:14:43Z) - Where Should We Begin? A Low-Level Exploration of Weight Initialization
Impact on Quantized Behaviour of Deep Neural Networks [93.4221402881609]
異なる重みの初期化が重みの最終的な分布と異なるCNNアーキテクチャの活性化に与える影響について、詳細なアブレーション研究を行う。
我々の知る限りでは、ウェイトの初期化とその量子化行動に対する影響について、そのような低レベルで詳細な定量分析を行うのは、私たちは初めてである。
論文 参考訳（メタデータ） (2020-11-30T06:54:28Z) - Once Quantization-Aware Training: High Performance Extremely Low-bit
Architecture Search [112.05977301976613]
本稿では,ネットワークアーキテクチャ検索手法と量子化手法を組み合わせることで,両者のメリットを享受することを提案する。
まず、多数の量子化モデルを取得するために、共有ステップサイズでアーキテクチャと量子化の合同トレーニングを提案する。
次に、量子化されたモデルを低ビットに転送するためにビット継承方式を導入し、さらに時間コストを削減し、量子化精度を向上させる。
論文 参考訳（メタデータ） (2020-10-09T03:52:16Z) - Quantized Neural Networks: Characterization and Holistic Optimization [25.970152258542672]
低消費電力、高スループット、組み込みアプリケーションには量子ディープニューラルネットワーク(QDNN)が必要である。
本研究はQDNNトレーニング手法と量子化フレンドリなアーキテクチャ設計を含むQDNNの最適化のための総合的なアプローチを提案する。
その結果、より深いモデルは活性化量子化の傾向が強く、より広いモデルは重量と活性化量子化の両面でレジリエンスを向上させることが示唆された。
論文 参考訳（メタデータ） (2020-05-31T14:20:27Z) - Optimal Gradient Quantization Condition for Communication-Efficient
Distributed Training [99.42912552638168]
勾配の通信は、コンピュータビジョンアプリケーションで複数のデバイスでディープニューラルネットワークをトレーニングするのに費用がかかる。
本研究は,textbfANY勾配分布に対する二値および多値勾配量子化の最適条件を導出する。
最適条件に基づいて, 偏差BinGradと非偏差ORQの2値勾配量子化と多値勾配量子化の2つの新しい量子化手法を開発した。
論文 参考訳（メタデータ） (2020-02-25T18:28:39Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。