論文の概要: A Statistical Framework for Low-bitwidth Training of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2010.14298v1
• Date: Tue, 27 Oct 2020 13:57:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 11:32:57.841610
• Title: A Statistical Framework for Low-bitwidth Training of Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークの低ビット幅トレーニングのための統計的枠組み
• Authors: Jianfei Chen, Yu Gai, Zhewei Yao, Michael W. Mahoney, Joseph E. Gonzalez
• Abstract要約: フル量子化トレーニング(FQT)は、ニューラルネットワークモデルのアクティベーション、重み、勾配を定量化することで、低ビット幅のハードウェアを使用する。 FQTの最大の課題は、特に勾配量子化が収束特性にどのように影響するかという理論的な理解の欠如である。
• 参考スコア（独自算出の注目度）: 70.77754244060384
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fully quantized training (FQT), which uses low-bitwidth hardware by quantizing the activations, weights, and gradients of a neural network model, is a promising approach to accelerate the training of deep neural networks. One major challenge with FQT is the lack of theoretical understanding, in particular of how gradient quantization impacts convergence properties. In this paper, we address this problem by presenting a statistical framework for analyzing FQT algorithms. We view the quantized gradient of FQT as a stochastic estimator of its full precision counterpart, a procedure known as quantization-aware training (QAT). We show that the FQT gradient is an unbiased estimator of the QAT gradient, and we discuss the impact of gradient quantization on its variance. Inspired by these theoretical results, we develop two novel gradient quantizers, and we show that these have smaller variance than the existing per-tensor quantizer. For training ResNet-50 on ImageNet, our 5-bit block Householder quantizer achieves only 0.5% validation accuracy loss relative to QAT, comparable to the existing INT8 baseline.
• Abstract（参考訳）: ニューラルネットワークモデルのアクティベーション、重み、勾配を定量化することで、低ビット幅ハードウェアを使用するフル量子化トレーニング(FQT)は、ディープニューラルネットワークのトレーニングを加速するための有望なアプローチである。 FQTの最大の課題は、特に勾配量子化が収束特性にどのように影響するかという理論的な理解の欠如である。 本稿では,FQTアルゴリズムを解析するための統計的枠組みを提示することにより,この問題に対処する。 我々は、FQTの量子化勾配を、その完全精度の確率的推定量、すなわち量子化認識訓練(QAT)と呼ばれる手順と見なしている。 我々は, FQT勾配がQAT勾配の偏りのない推定器であることを示し, その分散に対する勾配量子化の影響について論じる。 これらの理論結果に触発されて、2つの新しい勾配量子化器を開発し、既存のテンソル単位の量子化器よりも分散が小さいことを示す。 ImageNet上のResNet-50のトレーニングでは、既存のINT8ベースラインに匹敵する、QATに対するバリデーション精度の損失がわずか0.5%である。

関連論文リスト

• SQUAT: Stateful Quantization-Aware Training in Recurrent Spiking Neural Networks [1.0923877073891446]
  スパイキングニューラルネットワーク(SNN)は効率を向上させるという目標を共有しているが、ニューラルネットワーク推論の消費電力を減らすために、"イベント駆動"アプローチを採用する。 本稿では, ステートフルニューロンに対するQAT方式として, (i) 均一量子化戦略, (ii) 重み量子化の確立された方法, (ii) しきい値中心量子化の2つを紹介する。 以上の結果から,発火閾値付近の量子化レベルの密度の増加は,複数のベンチマークデータセットの精度を向上させることが示唆された。
  論文  参考訳（メタデータ） (2024-04-15T03:07:16Z)
• Designing strong baselines for ternary neural network quantization through support and mass equalization [7.971065005161565]
  ディープニューラルネットワーク(DNN)は、コンピュータビジョンにおける幅広いアプリケーションにおいて、最高のパフォーマンスを提供する。 浮動小数点値を3次値に定量化することにより、この計算負担を劇的に低減することができる。 提案手法は, 様々なシナリオを用いて三次量子化の性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-30T07:35:07Z)
• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• Theoretical Error Performance Analysis for Variational Quantum Circuit Based Functional Regression [83.79664725059877]
  本研究では,次元減少と機能回帰のためのエンドツーエンドの量子ニューラルネットワークであるTTN-VQCを提案する。 また,polyak-Lojasiewicz (PL) 条件を利用してTTN-VQCの最適化特性を特徴付ける。
  論文  参考訳（メタデータ） (2022-06-08T06:54:07Z)
• On-chip QNN: Towards Efficient On-Chip Training of Quantum Neural Networks [21.833693982056896]
  そこで本研究では,パラメータシフトを用いた実践的なQNNトレーニングの実証実験であるOn-chip QNNを提案する。 確率的勾配プルーニング(probabilistic gradient pruning)を提案する。 その結果,2クラス,4クラスの画像分類作業において,チップ上でのトレーニングは90%以上,60%以上の精度で達成できた。
  論文  参考訳（メタデータ） (2022-02-26T22:27:36Z)
• Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
  学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。 単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
  論文  参考訳（メタデータ） (2022-01-26T18:47:38Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• A White Paper on Neural Network Quantization [20.542729144379223]
  本稿では,量子化ノイズがネットワークの性能に与える影響を緩和する最新アルゴリズムを提案する。 我々は,ポストトレーニング量子化(PTQ)と量子化アウェア・トレーニング(QAT)の2つのアルゴリズムについて考察する。
  論文  参考訳（メタデータ） (2021-06-15T17:12:42Z)
• Direct Quantization for Training Highly Accurate Low Bit-width Deep Neural Networks [73.29587731448345]
  本稿では,低ビット幅重みとアクティベーションで深部畳み込みニューラルネットワークを訓練する2つの新しい手法を提案する。 まず、ビット幅の少ない重みを得るため、既存の方法の多くは、全精度ネットワーク重みで量子化することにより量子化重みを得る。 第二に、低ビット幅のアクティベーションを得るために、既存の作品はすべてのチャネルを等しく考慮する。
  論文  参考訳（メタデータ） (2020-12-26T15:21:18Z)
• DAQ: Distribution-Aware Quantization for Deep Image Super-Resolution Networks [49.191062785007006]
  画像超解像のための深い畳み込みニューラルネットワークの定量化は、計算コストを大幅に削減する。 既存の作業は、4ビット以下の超低精度の厳しい性能低下に苦しむか、または性能を回復するために重い微調整プロセスを必要とします。 高精度なトレーニングフリー量子化を実現する新しい分散認識量子化方式(DAQ)を提案する。
  論文  参考訳（メタデータ） (2020-12-21T10:19:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。