論文の概要: Exploring the Potential of Low-bit Training of Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2006.02804v4
• Date: Wed, 14 Jul 2021 05:54:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 09:25:20.446322
• Title: Exploring the Potential of Low-bit Training of Convolutional Neural Networks
• Title（参考訳）: 畳み込みニューラルネットワークの低ビットトレーニングの可能性を探る
• Authors: Kai Zhong, Xuefei Ning, Guohao Dai, Zhenhua Zhu, Tianchen Zhao, Shulin Zeng, Yu Wang, Huazhong Yang
• Abstract要約: 畳み込みニューラルネットワークのための低ビットトレーニングフレームワークを提案する。 我々のフレームワークは、新しいマルチレベルスケーリング(MLS)テンソルフォーマットに基づいて構築されている。 実験により、我々のフレームワークは精度とビット幅のトレードオフが優れていることが示された。
• 参考スコア（独自算出の注目度）: 16.72709290595995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we propose a low-bit training framework for convolutional neural networks, which is built around a novel multi-level scaling (MLS) tensor format. Our framework focuses on reducing the energy consumption of convolution operations by quantizing all the convolution operands to low bit-width format. Specifically, we propose the MLS tensor format, in which the element-wise bit-width can be largely reduced. Then, we describe the dynamic quantization and the low-bit tensor convolution arithmetic to leverage the MLS tensor format efficiently. Experiments show that our framework achieves a superior trade-off between the accuracy and the bit-width than previous low-bit training frameworks. For training a variety of models on CIFAR-10, using 1-bit mantissa and 2-bit exponent is adequate to keep the accuracy loss within $1\%$. And on larger datasets like ImageNet, using 4-bit mantissa and 2-bit exponent is adequate to keep the accuracy loss within $1\%$. Through the energy consumption simulation of the computing units, we can estimate that training a variety of models with our framework could achieve $8.3\sim10.2\times$ and $1.9\sim2.3\times$ higher energy efficiency than training with full-precision and 8-bit floating-point arithmetic, respectively.
• Abstract（参考訳）: 本研究では、新しいマルチレベルスケーリング(MLS)テンソルフォーマットに基づいて構築された畳み込みニューラルネットワークのための低ビットトレーニングフレームワークを提案する。 本フレームワークは,すべての畳み込み操作を低ビット幅形式に定量化することにより,畳み込み演算のエネルギー消費を削減することに焦点を当てている。 具体的には、要素単位のビット幅を大幅に削減できるMLSテンソル形式を提案する。 次に, MLSテンソル形式を効率的に活用するために, 動的量子化と低ビットテンソル畳み込み演算について述べる。 実験の結果,従来の低ビットトレーニングフレームワークよりも精度とビット幅のトレードオフが優れていることがわかった。 CIFAR-10で様々なモデルをトレーニングするには、1ビットのマティーサと2ビットの指数を使い、精度の損失を1\%の値に抑えるのに十分である。 imagenetのような大きなデータセットでは、4ビットのmantissaと2ビットのexponentを使用することで、精度の損失を$1\%に抑えることができる。 計算ユニットのエネルギー消費シミュレーションにより、我々のフレームワークによる様々なモデルのトレーニングは、それぞれ8.3\sim10.2\times$と1.9\sim2.3\times$を、完全精度と8ビット浮動小数点演算によるトレーニングよりも高いエネルギー効率で達成できると推定できる。

関連論文リスト

• Towards Accurate and Efficient Sub-8-Bit Integer Training [24.853958178296587]
  量子化は、ニューラルネットワークトレーニングにおける低ビット幅フォーマットを可能にする。 最近の手法では、量子化器上での新しいデータフォーマットと追加の事前処理操作が開発されている。 高い精度と効率を同時に達成することは、依然として非常に難しい。
  論文  参考訳（メタデータ） (2024-11-17T03:32:36Z)
• Kronecker-Factored Approximate Curvature for Modern Neural Network Architectures [85.76673783330334]
  線形重み付け層の2つの異なる設定がクロネッカー型近似曲率(K-FAC)の2つの風味を動機付けている 重み付けをそれぞれ設定したディープ・リニア・ネットワークに対して正確であることを示す。 グラフニューラルネットワークと視覚変換器の両方をトレーニングするために、これらの2つのK-FACの違いをほとんど観測しない。
  論文  参考訳（メタデータ） (2023-11-01T16:37:00Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training [68.63354877166756]
  ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。 ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-29T05:50:54Z)
• VS-Quant: Per-vector Scaled Quantization for Accurate Low-Precision Neural Network Inference [7.886868529510128]
  量子化は、訓練されたモデルの浮動小数点重みとアクティベーションをスケールファクターを用いて低ビット幅整数値にマッピングする。 過剰な量子化、過度に精度を低下させると、精度が低下する。 ベクトル単位のスケールファクタは、2レベル量子化スキームを使用する場合、低ビット幅の整数で実装できる。
  論文  参考訳（メタデータ） (2021-02-08T19:56:04Z)
• Activation Density based Mixed-Precision Quantization for Energy Efficient Neural Networks [2.666640112616559]
  ニューラルネットワークモデルのイントレーニング量子化手法を提案する。 本手法は,混合精度モデルの学習中に各層に対するビット幅を計算する。 VGG19/ResNet18アーキテクチャ上で、CIFAR-10、CIFAR-100、TinyImagenetなどのベンチマークデータセットの実験を行います。
  論文  参考訳（メタデータ） (2021-01-12T09:01:44Z)
• FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [81.85361544720885]
  アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
  論文  参考訳（メタデータ） (2020-12-24T05:24:10Z)
• Towards Compact Neural Networks via End-to-End Training: A Bayesian Tensor Approach with Automatic Rank Determination [11.173092834726528]
  コンパクトニューラルネットワークをスクラッチから直接、低メモリと低計算コストでトレーニングすることが望ましい。 低ランクテンソル分解は、大規模ニューラルネットワークのメモリと計算要求を減らす最も効果的な手法の1つである。 本稿では,ニューラルネットワークの低ランクテンソル化トレーニングのためのエンドツーエンドフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-17T01:23:26Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)
• Shifted and Squeezed 8-bit Floating Point format for Low-Precision Training of Deep Neural Networks [13.929168096016957]
  本研究では,8ビット浮動小数点(FP8)数を用いたディープニューラルネットワークのトレーニング手法を提案する。 ビット精度の低減により、有効メモリが大きくなり、計算速度が向上する。 提案手法は,従来の8ビット精度訓練法と異なり,代表モデルに対して最初から動作可能であることを示す。
  論文  参考訳（メタデータ） (2020-01-16T06:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。