論文の概要: Iterative Training: Finding Binary Weight Deep Neural Networks with Layer Binarization

• arxiv url: http://arxiv.org/abs/2111.07046v1
• Date: Sat, 13 Nov 2021 05:36:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-18 11:44:05.251028
• Title: Iterative Training: Finding Binary Weight Deep Neural Networks with Layer Binarization
• Title（参考訳）: 反復学習:層二元化による二元重みニューラルネットワークの探索
• Authors: Cheng-Chou Lan
• Abstract要約: 低レイテンシやモバイルアプリケーションでは、計算量の削減、メモリフットプリントの削減、エネルギー効率の向上が望まれている。 重み二項化の最近の研究は、重み-入出力行列の乗法を加算に置き換えている。 完全二進法ではなく部分二進法の重み付けから、トレーニングがより優れた精度で完全二進法の重み付けネットワークに到達することを実証的に示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In low-latency or mobile applications, lower computation complexity, lower memory footprint and better energy efficiency are desired. Many prior works address this need by removing redundant parameters. Parameter quantization replaces floating-point arithmetic with lower precision fixed-point arithmetic, further reducing complexity. Typical training of quantized weight neural networks starts from fully quantized weights. Quantization creates random noise. As a way to compensate for this noise, during training, we propose to quantize some weights while keeping others in floating-point precision. A deep neural network has many layers. To arrive at a fully quantized weight network, we start from one quantized layer and then quantize more and more layers. We show that the order of layer quantization affects accuracies. Order count is large for deep neural networks. A sensitivity pre-training is proposed to guide the layer quantization order. Recent work in weight binarization replaces weight-input matrix multiplication with additions. We apply the proposed iterative training to weight binarization. Our experiments cover fully connected and convolutional networks on MNIST, CIFAR-10 and ImageNet datasets. We show empirically that, starting from partial binary weights instead of from fully binary ones, training reaches fully binary weight networks with better accuracies for larger and deeper networks. Layer binarization in the forward order results in better accuracies. Guided layer binarization can further improve that. The improvements come at a cost of longer training time.
• Abstract（参考訳）: 低レイテンシやモバイルアプリケーションでは、計算の複雑さが低下し、メモリフットプリントが低下し、エネルギー効率が向上することが望まれる。 冗長パラメータを削除することで、多くの先行研究がこのニーズに対処する。 パラメータ量子化は浮動小数点算術を低い精度の固定点算術に置き換え、さらに複雑さを減らす。 量子化重みニューラルネットワークの典型的なトレーニングは、完全な量子化重みから始まります。 量子化はランダムノイズを生み出す。 このノイズを補償する手段として、訓練中は浮動小数点精度を維持しながら重みを定量化することを提案する。 ディープニューラルネットワークには多くのレイヤがある。 完全に量子化された重みネットワークに到達するには、1つの量子化層から始めて、さらに多くの層を量子化します。 層量化の順序が精度に影響することを示す。 ディープニューラルネットワークでは、順序数が大きい。 層量子化順序を導出するための感度事前学習を提案する。 重み二項化の最近の研究は、重み-入出力行列乗法を加算に置き換えている。 提案する反復学習を重み付け二元化に適用する。 実験では,MNIST,CIFAR-10,ImageNetデータセット上の完全接続および畳み込みネットワークについて検討した。 完全二進法ではなく部分二進法の重みから、トレーニングがより大きく深いネットワークに対してより良い精度で完全二進法の重みネットワークに到達することを実証的に示す。 前列における層バイナライゼーションは、より良い精度をもたらす。 誘導層二元化は、それをさらに改善することができる。 改良は訓練期間の延長を犠牲にしている。

関連論文リスト

• Post-Training Quantization for Re-parameterization via Coarse & Fine Weight Splitting [13.270381125055275]
  本稿では,重みの量子化誤差を低減するために,粗大かつ微細な重み分割法(CFWS)を提案する。 我々は、活性化のための最適な量子化尺度を決定するために改良されたKLメトリックを開発した。 例えば、量子化されたRepVGG-A1モデルは、わずか0.3%の精度損失を示す。
  論文  参考訳（メタデータ） (2023-12-17T02:31:20Z)
• Weight Compander: A Simple Weight Reparameterization for Regularization [5.744133015573047]
  我々は、ディープニューラルネットワークの一般化を改善するための新しい効果的な方法であるウェイトコンパンダを導入する。 標準正規化法に加えて重みコンパンダを用いることで,ニューラルネットワークの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-06-29T14:52:04Z)
• Gradient-based Weight Density Balancing for Robust Dynamic Sparse Training [59.48691524227352]
  スパースニューラルネットワークをゼロからトレーニングするには、接続自体と同時にコネクションを最適化する必要がある。 トレーニング中に各レイヤ間の接続は複数回最適化されるが、各レイヤの密度は通常一定である。 我々は、すべての層に重みを分散するテクニックであるGlobal Gradient-based Redistributionを提案する。
  論文  参考訳（メタデータ） (2022-10-25T13:32:09Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• $S^3$: Sign-Sparse-Shift Reparametrization for Effective Training of Low-bit Shift Networks [41.54155265996312]
  シフトニューラルネットワークは、高価な乗算演算を除去し、連続的な重みを低ビットの離散値に量子化することによって複雑さを低減する。 提案手法は、シフトニューラルネットワークの境界を押し上げ、3ビットシフトネットワークは、ImageNet上でトップ1の精度で、フル精度のニューラルネットワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-07T19:33:02Z)
• Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
  大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。 エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。 対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
  論文  参考訳（メタデータ） (2021-06-26T00:32:17Z)
• Direct Quantization for Training Highly Accurate Low Bit-width Deep Neural Networks [73.29587731448345]
  本稿では,低ビット幅重みとアクティベーションで深部畳み込みニューラルネットワークを訓練する2つの新しい手法を提案する。 まず、ビット幅の少ない重みを得るため、既存の方法の多くは、全精度ネットワーク重みで量子化することにより量子化重みを得る。 第二に、低ビット幅のアクティベーションを得るために、既存の作品はすべてのチャネルを等しく考慮する。
  論文  参考訳（メタデータ） (2020-12-26T15:21:18Z)
• A Greedy Algorithm for Quantizing Neural Networks [4.683806391173103]
  本稿では,事前学習したニューラルネットワークの重みを定量化するための計算効率のよい新しい手法を提案する。 本手法は,複雑な再学習を必要とせず,反復的に層を定量化する手法である。
  論文  参考訳（メタデータ） (2020-10-29T22:53:10Z)
• MimicNorm: Weight Mean and Last BN Layer Mimic the Dynamic of Batch Normalization [60.36100335878855]
  ネットワークトレーニングにおける収束と効率を改善するために,MimicNormという新しい正規化手法を提案する。 我々は、神経核(NTK)理論を利用して、我々の重み付けが活性化を弱め、BN層のようなカオス状態にネットワークを移行することを証明する。 MimicNormは、ResNetsやShuffleNetのような軽量ネットワークなど、さまざまなネットワーク構造に対して同様の精度を実現し、約20%のメモリ消費を削減している。
  論文  参考訳（メタデータ） (2020-10-19T07:42:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。