論文の概要: PTQ-SL: Exploring the Sub-layerwise Post-training Quantization

• arxiv url: http://arxiv.org/abs/2110.07809v2
• Date: Mon, 18 Oct 2021 00:42:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 11:24:14.238274
• Title: PTQ-SL: Exploring the Sub-layerwise Post-training Quantization
• Title（参考訳）: PTQ-SL: サブレイヤワイズ後量子化の探索
• Authors: Zhihang Yuan, Yiqi Chen, Chenhao Xue, Chenguang Zhang, Qiankun Wang, Guangyu Sun
• Abstract要約: ネットワーク量子化は畳み込みニューラルネットワークを圧縮する強力な技術である。 量子化の粒度は、ウェイトにおけるスケーリング因子の共有方法を決定する。 サブ層粒度(PTQ-SL)における学習後効率的な量子化法を提案する。
• 参考スコア（独自算出の注目度）: 6.0070278366995105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Network quantization is a powerful technique to compress convolutional neural networks. The quantization granularity determines how to share the scaling factors in weights, which affects the performance of network quantization. Most existing approaches share the scaling factors layerwisely or channelwisely for quantization of convolutional layers. Channelwise quantization and layerwise quantization have been widely used in various applications. However, other quantization granularities are rarely explored. In this paper, we will explore the sub-layerwise granularity that shares the scaling factor across multiple input and output channels. We propose an efficient post-training quantization method in sub-layerwise granularity (PTQ-SL). Then we systematically experiment on various granularities and observe that the prediction accuracy of the quantized neural network has a strong correlation with the granularity. Moreover, we find that adjusting the position of the channels can improve the performance of sub-layerwise quantization. Therefore, we propose a method to reorder the channels for sub-layerwise quantization. The experiments demonstrate that the sub-layerwise quantization with appropriate channel reordering can outperform the channelwise quantization.
• Abstract（参考訳）: ネットワーク量子化は畳み込みニューラルネットワークを圧縮する強力な技術である。 量子化の粒度は、ネットワーク量子化の性能に影響を与える重みのスケーリング要素を共有する方法を決定する。 既存のアプローチのほとんどは、畳み込み層の量子化のために層状またはチャネル的にスケーリング係数を共有する。 チャネルワイド量子化と層ワイド量子化は様々な用途で広く利用されている。 しかし、他の量子化の粒度はまれである。 本稿では,複数の入力チャネルと出力チャネルにまたがるスケーリング係数を共有するサブレイヤの粒度について検討する。 サブレイヤー粒度(ptq-sl)における高効率後トレーニング量子化法を提案する。 次に,様々な粒度を体系的に実験し,量子化ニューラルネットワークの予測精度と粒度との相関が強いことを観測した。 さらに,チャネルの位置の調整により,サブ層量子化の性能が向上することが判明した。 そこで本研究では,サブ層量子化のためのチャネルを並べ替える手法を提案する。 実験により、適切なチャネル再順序付けを伴うサブレイヤーワイズ量子化がチャネルワイズ量子化を上回ることを証明した。

関連論文リスト

• Ternary Quantization: A Survey [12.90416661059601]
  深層ニューラルネットワークモデルのデプロイには、推論時間、モデルサイズ、精度が不可欠である。 3次量子化の進化を概観し、既存の3次量子化法との関係について検討する。
  論文  参考訳（メタデータ） (2023-03-02T03:38:51Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• An unsupervised feature learning for quantum-classical convolutional network with applications to fault detection [5.609958919699706]
  本稿では,量子特徴抽出器の階層構造を学習するために,量子古典的畳み込みネットワークのための単純な教師なし手法を提案する。 提案手法の主な貢献は、量子回路アンサッツにおける量子特性の差を最大化するために、$K$-meansクラスタリングを使用することである。
  論文  参考訳（メタデータ） (2021-07-17T03:16:59Z)
• Direct Quantization for Training Highly Accurate Low Bit-width Deep Neural Networks [73.29587731448345]
  本稿では,低ビット幅重みとアクティベーションで深部畳み込みニューラルネットワークを訓練する2つの新しい手法を提案する。 まず、ビット幅の少ない重みを得るため、既存の方法の多くは、全精度ネットワーク重みで量子化することにより量子化重みを得る。 第二に、低ビット幅のアクティベーションを得るために、既存の作品はすべてのチャネルを等しく考慮する。
  論文  参考訳（メタデータ） (2020-12-26T15:21:18Z)
• Where Should We Begin? A Low-Level Exploration of Weight Initialization Impact on Quantized Behaviour of Deep Neural Networks [93.4221402881609]
  異なる重みの初期化が重みの最終的な分布と異なるCNNアーキテクチャの活性化に与える影響について、詳細なアブレーション研究を行う。 我々の知る限りでは、ウェイトの初期化とその量子化行動に対する影響について、そのような低レベルで詳細な定量分析を行うのは、私たちは初めてである。
  論文  参考訳（メタデータ） (2020-11-30T06:54:28Z)
• Toward Trainability of Quantum Neural Networks [87.04438831673063]
  量子ニューラルネットワーク(QNN)は、量子スピードアップを達成するために古典的ニューラルネットワークの一般化として提案されている。 QNNのトレーニングには、入力キュービット数に指数関数的に勾配速度がなくなるため、非常に大きなボトルネックが存在する。 木テンソルとステップ制御された構造を持つQNNを二分分類に適用し,ランダムな構造を持つQNNと比較してより高速な収束率と精度を示す。
  論文  参考訳（メタデータ） (2020-11-12T08:32:04Z)
• A Greedy Algorithm for Quantizing Neural Networks [4.683806391173103]
  本稿では,事前学習したニューラルネットワークの重みを定量化するための計算効率のよい新しい手法を提案する。 本手法は,複雑な再学習を必要とせず,反復的に層を定量化する手法である。
  論文  参考訳（メタデータ） (2020-10-29T22:53:10Z)
• Channel-Level Variable Quantization Network for Deep Image Compression [50.3174629451739]
  チャネルレベルの可変量子化ネットワークを提案し、重要なチャネルに対してより多くの畳み込みを動的に割り当て、無視可能なチャネルに対して退避する。 提案手法は優れた性能を実現し,より優れた視覚的再構成を実現する。
  論文  参考訳（メタデータ） (2020-07-15T07:20:39Z)
• Trainability of Dissipative Perceptron-Based Quantum Neural Networks [0.8258451067861933]
  分散QNN (Dissipative QNNs) と呼ばれる最近提案されたアーキテクチャの勾配スケーリング(従ってトレーニング容易性)を分析した。 DQNNは不規則な高原(すなわち、量子ビット数で指数関数的に消える勾配)を示すことができる。
  論文  参考訳（メタデータ） (2020-05-26T00:59:09Z)
• Post-Training Piecewise Linear Quantization for Deep Neural Networks [13.717228230596167]
  リソース制限されたデバイスへのディープニューラルネットワークのエネルギー効率向上において、量子化は重要な役割を果たす。 本稿では,長い尾を持つベル形状のテンソル値の正確な近似を実現するために,一方向線形量子化方式を提案する。 提案手法は,最先端のポストトレーニング量子化手法と比較して,画像分類,セマンティックセグメンテーション,オブジェクト検出においてわずかなオーバーヘッドで優れた性能を実現する。
  論文  参考訳（メタデータ） (2020-01-31T23:47:00Z)
• Entanglement Classification via Neural Network Quantum States [58.720142291102135]
  本稿では、学習ツールと量子絡み合いの理論を組み合わせて、純状態における多部量子ビット系の絡み合い分類を行う。 我々は、ニューラルネットワーク量子状態(NNS)として知られる制限されたボルツマンマシン(RBM)アーキテクチャにおいて、人工ニューラルネットワークを用いた量子システムのパラメータ化を用いる。
  論文  参考訳（メタデータ） (2019-12-31T07:40:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。