Fugu-MT 論文翻訳(概要): SYMOG: learning symmetric mixture of Gaussian modes for improved fixed-point quantization

論文の概要: SYMOG: learning symmetric mixture of Gaussian modes for improved fixed-point quantization

arxiv url: http://arxiv.org/abs/2002.08204v1
Date: Wed, 19 Feb 2020 14:17:32 GMT
ステータス: 処理完了
システム内更新日: 2022-12-30 13:26:18.096985
Title: SYMOG: learning symmetric mixture of Gaussian modes for improved fixed-point quantization
Title（参考訳）: symog: 改良固定点量子化のためのガウスモードの学習対称混合
Authors: Lukas Enderich and Fabian Timm and Wolfram Burgard
Abstract要約: ディープニューラルネットワーク(DNN)は、いくつかの機械学習ベンチマークで古典的な手法より優れていることが証明されている。低ビット固定点量子化によるDNNの複雑性を著しく低減するSYMOGを提案する。我々は,CIFAR-10では5.71%,CIFAR-100では27.65%の誤差率で,優れた結果と2ビットの最先端性能を達成した。
参考スコア（独自算出の注目度）: 25.328005340524825
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep neural networks (DNNs) have been proven to outperform classical methods on several machine learning benchmarks. However, they have high computational complexity and require powerful processing units. Especially when deployed on embedded systems, model size and inference time must be significantly reduced. We propose SYMOG (symmetric mixture of Gaussian modes), which significantly decreases the complexity of DNNs through low-bit fixed-point quantization. SYMOG is a novel soft quantization method such that the learning task and the quantization are solved simultaneously. During training the weight distribution changes from an unimodal Gaussian distribution to a symmetric mixture of Gaussians, where each mean value belongs to a particular fixed-point mode. We evaluate our approach with different architectures (LeNet5, VGG7, VGG11, DenseNet) on common benchmark data sets (MNIST, CIFAR-10, CIFAR-100) and we compare with state-of-the-art quantization approaches. We achieve excellent results and outperform 2-bit state-of-the-art performance with an error rate of only 5.71% on CIFAR-10 and 27.65% on CIFAR-100.
Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、いくつかの機械学習ベンチマークで古典的な手法より優れていることが証明されている。しかし、計算複雑性が高く、強力な処理ユニットを必要とする。特に組み込みシステムにデプロイする場合、モデルのサイズと推測時間を大幅に削減する必要がある。低ビット固定点量子化によるDNNの複雑さを著しく低減するSYMOG(ガウスモードの対称混合)を提案する。 SYMOGは、学習課題と量子化を同時に解決する新しいソフト量子化法である。トレーニング中、重量分布は単調なガウス分布からガウスの対称混合へと変化し、それぞれの平均値は特定の固定点モードに属する。我々は,共通ベンチマークデータセット (mnist, cifar-10, cifar-100) 上の異なるアーキテクチャ (lenet5, vgg7, vgg11, densenet) を用いたアプローチを評価し,最先端の量子化手法と比較した。我々は,CIFAR-10では5.71%,CIFAR-100では27.65%の誤差率で,優れた結果と2ビット最先端性能を達成した。

関連論文リスト

AdaQAT: Adaptive Bit-Width Quantization-Aware Training [0.873811641236639]
大規模ディープニューラルネットワーク(DNN)は多くのアプリケーションシナリオで大きな成功を収めています。モデル量子化は、デプロイメントの制約に対処する一般的なアプローチであるが、最適化されたビット幅の探索は困難である。 AdaQAT(Adaptive Bit-Width Quantization Aware Training)は,学習中のビット幅を自動的に最適化し,より効率的な推論を行う学習手法である。
論文参考訳（メタデータ） (2024-04-22T09:23:56Z)
MixQuant: Mixed Precision Quantization with a Bit-width Optimization Search [7.564770908909927]
量子化は、効率的なディープニューラルネットワーク(DNN)を作成する技術であるラウンドオフ誤差に基づいて各層重みに対する最適な量子化ビット幅を求める検索アルゴリズムであるMixQuantを提案する。我々は、MixQuantと最先端の量子化手法BRECQを組み合わせることで、BRECQ単独よりも優れた量子化モデル精度が得られることを示す。
論文参考訳（メタデータ） (2023-09-29T15:49:54Z)
SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
論文参考訳（メタデータ） (2023-06-13T08:57:54Z)
Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
論文参考訳（メタデータ） (2022-01-26T18:47:38Z)
Mixed Precision Low-bit Quantization of Neural Network Language Models for Speech Recognition [67.95996816744251]
長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
論文参考訳（メタデータ） (2021-11-29T12:24:02Z)
Mixed Precision of Quantization of Transformer Language Models for Speech Recognition [67.95996816744251]
トランスフォーマーが表現する最先端のニューラルネットワークモデルは、実用アプリケーションにとってますます複雑で高価なものになりつつある。現在の低ビット量子化法は、均一な精度に基づいており、量子化エラーに対するシステムの異なる部分での様々な性能感度を考慮できない。最適局所精度設定は2つの手法を用いて自動的に学習される。 Penn Treebank (PTB)とSwitchboard corpusによるLF-MMI TDNNシステムの試験を行った。
論文参考訳（メタデータ） (2021-11-29T09:57:00Z)
Once Quantization-Aware Training: High Performance Extremely Low-bit Architecture Search [112.05977301976613]
本稿では,ネットワークアーキテクチャ検索手法と量子化手法を組み合わせることで,両者のメリットを享受することを提案する。まず、多数の量子化モデルを取得するために、共有ステップサイズでアーキテクチャと量子化の合同トレーニングを提案する。次に、量子化されたモデルを低ビットに転送するためにビット継承方式を導入し、さらに時間コストを削減し、量子化精度を向上させる。
論文参考訳（メタデータ） (2020-10-09T03:52:16Z)
AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文参考訳（メタデータ） (2020-07-14T09:07:29Z)
Efficient and Scalable Bayesian Neural Nets with Rank-1 Factors [36.56528603807598]
そこで,各重み行列はランク1部分空間上の分布のみを含むBNNのランク1パラメータ化を提案する。また、複数のモードをキャプチャするために、混合近似後続法を用いて再検討し、典型的な混合法とは異なり、この手法はメモリ増加を著しく小さくする。 ImageNetのResNet-50、CIFAR-10/100のWide ResNet 28-10、MIMIC-IIIのRNNでは、ランク1のBNNはログ、精度、キャリブレーションで最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2020-05-14T17:58:59Z)
Learning Gaussian Graphical Models via Multiplicative Weights [54.252053139374205]
乗算重み更新法に基づいて,Klivans と Meka のアルゴリズムを適用した。アルゴリズムは、文献の他のものと質的に類似したサンプル複雑性境界を楽しみます。ランタイムが低い$O(mp2)$で、$m$サンプルと$p$ノードの場合には、簡単にオンライン形式で実装できる。
論文参考訳（メタデータ） (2020-02-20T10:50:58Z)
SQWA: Stochastic Quantized Weight Averaging for Improving the Generalization Capability of Low-Precision Deep Neural Networks [29.187848543158992]
我々は、新しい量子化ニューラルネットワーク最適化手法、量子化ウェイト平均化(SQWA)を提案する。提案手法には、浮動小数点モデルのトレーニング、重みの直接量子化、複数の低精度モデルのキャプチャ、キャプチャーモデルの平均化、低学習率の微調整が含まれる。 SQWAトレーニングにより、CIFAR-100およびImageNetデータセット上の2ビットQDNNの最先端結果を得た。
論文参考訳（メタデータ） (2020-02-02T07:02:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。