論文の概要: Propagating Asymptotic-Estimated Gradients for Low Bitwidth Quantized Neural Networks

• arxiv url: http://arxiv.org/abs/2003.04296v1
• Date: Wed, 4 Mar 2020 03:17:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 12:43:14.397103
• Title: Propagating Asymptotic-Estimated Gradients for Low Bitwidth Quantized Neural Networks
• Title（参考訳）: 低ビット幅量子化ニューラルネットワークのための漸近推定勾配の伝搬
• Authors: Jun Chen, Yong Liu, Hao Zhang, Shengnan Hou, Jian Yang
• Abstract要約: 本稿では,AQE(Asymptotic-Quantized Estimator)を提案する。 訓練の終わりに、重量とアクティベーションは低精度に定量化されている。 推論フェーズでは、畳み込み操作の代わりにXNORまたはShiFT操作を使用してMINW-Netを高速化する。
• 参考スコア（独自算出の注目度）: 31.168156284218746
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The quantized neural networks (QNNs) can be useful for neural network acceleration and compression, but during the training process they pose a challenge: how to propagate the gradient of loss function through the graph flow with a derivative of 0 almost everywhere. In response to this non-differentiable situation, we propose a novel Asymptotic-Quantized Estimator (AQE) to estimate the gradient. In particular, during back-propagation, the graph that relates inputs to output remains smoothness and differentiability. At the end of training, the weights and activations have been quantized to low-precision because of the asymptotic behaviour of AQE. Meanwhile, we propose a M-bit Inputs and N-bit Weights Network (MINW-Net) trained by AQE, a quantized neural network with 1-3 bits weights and activations. In the inference phase, we can use XNOR or SHIFT operations instead of convolution operations to accelerate the MINW-Net. Our experiments on CIFAR datasets demonstrate that our AQE is well defined, and the QNNs with AQE perform better than that with Straight-Through Estimator (STE). For example, in the case of the same ConvNet that has 1-bit weights and activations, our MINW-Net with AQE can achieve a prediction accuracy 1.5\% higher than the Binarized Neural Network (BNN) with STE. The MINW-Net, which is trained from scratch by AQE, can achieve comparable classification accuracy as 32-bit counterparts on CIFAR test sets. Extensive experimental results on ImageNet dataset show great superiority of the proposed AQE and our MINW-Net achieves comparable results with other state-of-the-art QNNs.
• Abstract（参考訳）: 量子化されたニューラルネットワーク(QNN)は、ニューラルネットワークの加速と圧縮に有用であるが、トレーニングプロセスの間、ほとんどどこでも0の微分でグラフフローを通して損失関数の勾配を伝播する方法が課題となる。 この非微分可能な状況に対応して, 勾配を推定する新しい漸近量子化推定器(aqe)を提案する。 特に、バックプロパゲーションの間、入力と出力を関連付けたグラフは滑らかで微分可能である。 トレーニングの終わりに、AQEの漸近的な振る舞いのため、重量と活性化は低精度に定量化されている。 一方、1-3ビットの重みとアクティベーションを持つ量子化ニューラルネットワークであるAQEによって訓練されたMビット入力とNビット重みネットワーク(MINW-Net)を提案する。 推論フェーズでは、畳み込み操作の代わりにXNORまたはShiFT操作を使用してMINW-Netを高速化する。 CIFARデータセットに対する実験により、AQEは十分に定義されており、AQEを持つQNNは、STE(Straight-Through Estimator)よりも優れた性能を示している。 例えば、1ビットの重みとアクティベーションを持つ同じConvNetの場合、AQEを用いたMINW-Netは、STEによるバイナリニューラルネットワーク(BNN)よりも1.5倍高い精度で予測できる。 AQEによってスクラッチからトレーニングされたMINW-Netは、CIFARテストセット上の32ビットと同等の分類精度を達成できる。 ImageNetデータセットの大規模な実験結果からは,提案したAQEよりも優れた結果が得られ,MINW-Netは他の最先端QNNと同等の結果が得られた。

関連論文リスト

• Projected Stochastic Gradient Descent with Quantum Annealed Binary Gradients [51.82488018573326]
  重み付きニューラルネットワークのトレーニングに適した,新しいレイヤワイドオプティマイザであるQP-SBGDを提案する。 BNNは、深層学習モデルの計算要求とエネルギー消費を最小限の精度で削減する。 提案アルゴリズムは階層的に実装されており,リソース制限量子ハードウェア上での大規模ネットワークのトレーニングに適している。
  論文  参考訳（メタデータ） (2023-10-23T17:32:38Z)
• Tensor Ring Optimized Quantum-Enhanced Tensor Neural Networks [32.76948546010625]
  量子機械学習の研究者は、しばしばディープニューラルネットワーク(DNN)にネットワーク(TN)を組み込むことに頼っている。 この問題に対処するために、リング最適化変分量子学習分類器(Quan-TR)の多層設計を提案する。 リング最適化量子強化ニューラルネットワーク(TR-QNet)と呼ばれる。 量子シミュレーションにおいて、提案されたTR-QNetは、それぞれIris、MNIST、CIFAR-10データセット上で、9,4.5%、8,6.16%、および83.54%の有望な精度を達成している。
  論文  参考訳（メタデータ） (2023-10-02T18:07:10Z)
• Designing strong baselines for ternary neural network quantization through support and mass equalization [7.971065005161565]
  ディープニューラルネットワーク(DNN)は、コンピュータビジョンにおける幅広いアプリケーションにおいて、最高のパフォーマンスを提供する。 浮動小数点値を3次値に定量化することにより、この計算負担を劇的に低減することができる。 提案手法は, 様々なシナリオを用いて三次量子化の性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-30T07:35:07Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• A White Paper on Neural Network Quantization [20.542729144379223]
  本稿では,量子化ノイズがネットワークの性能に与える影響を緩和する最新アルゴリズムを提案する。 我々は,ポストトレーニング量子化(PTQ)と量子化アウェア・トレーニング(QAT)の2つのアルゴリズムについて考察する。
  論文  参考訳（メタデータ） (2021-06-15T17:12:42Z)
• Toward Trainability of Quantum Neural Networks [87.04438831673063]
  量子ニューラルネットワーク(QNN)は、量子スピードアップを達成するために古典的ニューラルネットワークの一般化として提案されている。 QNNのトレーニングには、入力キュービット数に指数関数的に勾配速度がなくなるため、非常に大きなボトルネックが存在する。 木テンソルとステップ制御された構造を持つQNNを二分分類に適用し,ランダムな構造を持つQNNと比較してより高速な収束率と精度を示す。
  論文  参考訳（メタデータ） (2020-11-12T08:32:04Z)
• A Statistical Framework for Low-bitwidth Training of Deep Neural Networks [70.77754244060384]
  フル量子化トレーニング(FQT)は、ニューラルネットワークモデルのアクティベーション、重み、勾配を定量化することで、低ビット幅のハードウェアを使用する。 FQTの最大の課題は、特に勾配量子化が収束特性にどのように影響するかという理論的な理解の欠如である。
  論文  参考訳（メタデータ） (2020-10-27T13:57:33Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)
• A Learning Framework for n-bit Quantized Neural Networks toward FPGAs [20.83904734716565]
  重みが2つのパワーに制約されるnビットQNNのための新しい学習フレームワークを提案する。 また,n-BQ-NNという新しいQNN構造も提案する。 SVPEを用いたN-BQ-NNは,ベクトル処理素子(VPE)よりも2.9倍高速に動作可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-06T04:21:24Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)
• Training of Quantized Deep Neural Networks using a Magnetic Tunnel Junction-Based Synapse [23.08163992580639]
  深層ニューラルネットワークの計算複雑性とメモリ強度のソリューションとして、量子ニューラルネットワーク(QNN)が積極的に研究されている。 磁気トンネル接合(MTJ)デバイスがQNNトレーニングにどのように役立つかを示す。 本稿では,MTJ動作を用いた新しいシナプス回路を導入し,量子化更新をサポートする。
  論文  参考訳（メタデータ） (2019-12-29T11:36:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。