論文の概要: Recurrence of Optimum for Training Weight and Activation Quantized Networks

• arxiv url: http://arxiv.org/abs/2012.05529v1
• Date: Thu, 10 Dec 2020 09:14:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-15 06:17:27.470508
• Title: Recurrence of Optimum for Training Weight and Activation Quantized Networks
• Title（参考訳）: 最適トレーニング重量と活性化量子化ネットワークの再現性
• Authors: Ziang Long, Penghang Yin, Jack Xin
• Abstract要約: 低精度の重みとアクティベーションを備えたディープラーニングモデルのトレーニングには、必要な最適化タスクが伴う。 ネットワーク量子化の性質を克服する方法を紹介します。 また,訓練用量子化深層ネットワークにおける重み進化の繰り返し現象の数値的証拠を示す。
• 参考スコア（独自算出の注目度）: 4.103701929881022
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) are quantized for efficient inference on resource-constrained platforms. However, training deep learning models with low-precision weights and activations involves a demanding optimization task, which calls for minimizing a stage-wise loss function subject to a discrete set-constraint. While numerous training methods have been proposed, existing studies for full quantization of DNNs are mostly empirical. From a theoretical point of view, we study practical techniques for overcoming the combinatorial nature of network quantization. Specifically, we investigate a simple yet powerful projected gradient-like algorithm for quantizing two-linear-layer networks, which proceeds by repeatedly moving one step at float weights in the negation of a heuristic \emph{fake} gradient of the loss function (so-called coarse gradient) evaluated at quantized weights. For the first time, we prove that under mild conditions, the sequence of quantized weights recurrently visits the global optimum of the discrete minimization problem for training fully quantized network. We also show numerical evidence of the recurrence phenomenon of weight evolution in training quantized deep networks.
• Abstract（参考訳）: リソース制約のあるプラットフォーム上での効率的な推論のために、ディープニューラルネットワーク(DNN)が量子化される。 しかし、低精度の重みとアクティベーションを持つディープラーニングモデルのトレーニングには、離散的なセット制約を受ける段階的損失関数を最小化する要求の最適化タスクが伴う。 多くのトレーニング手法が提案されているが、DNNの完全量子化のための既存の研究はほとんど経験的である。 理論的観点から,ネットワーク量子化の組合せ的性質を克服する実践的手法を考察する。 具体的には, 量子化された重みで評価される損失関数(いわゆる粗勾配)のヒューリスティックな \emph{fake}勾配の否定において, 浮き重みで1段階ずつ繰り返し移動させることにより, 2-線型層ネットワークを定量化する, 単純かつ強力な投影勾配様アルゴリズムについて検討した。 軽度条件下では、量子化重みの列が完全量子化ネットワークのトレーニングのための離散化最小化問題の大域的最適度を繰り返すことが初めて証明された。 また,訓練用量子化深層ネットワークにおける重み進化の繰り返し現象の数値的証拠を示す。

関連論文リスト

• SPFQ: A Stochastic Algorithm and Its Error Analysis for Neural Network Quantization [5.982922468400901]
  ニューラルネットワークの重みの順に得られる誤差境界を達成可能であることを示す。 我々は、無限アルファベットと入力データに対する最小の仮定の下で、完全なネットワーク境界を達成できることを証明した。
  論文  参考訳（メタデータ） (2023-09-20T00:35:16Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• A White Paper on Neural Network Quantization [20.542729144379223]
  本稿では,量子化ノイズがネットワークの性能に与える影響を緩和する最新アルゴリズムを提案する。 我々は,ポストトレーニング量子化(PTQ)と量子化アウェア・トレーニング(QAT)の2つのアルゴリズムについて考察する。
  論文  参考訳（メタデータ） (2021-06-15T17:12:42Z)
• In-Hindsight Quantization Range Estimation for Quantized Training [5.65658124285176]
  従来の反復で推定した量子化範囲を用いて,現在を数値化する動的量子化手法であるin-hindsight range推定法を提案する。 今回のアプローチでは,ニューラルネットワークアクセラレータによる最小限のハードウェアサポートのみを必要としながら,勾配とアクティベーションの高速静的量子化を可能にする。 量子化範囲の推定のためのドロップイン代替として意図されており、他の量子化トレーニングの進歩と併用することができる。
  論文  参考訳（メタデータ） (2021-05-10T10:25:28Z)
• Direct Quantization for Training Highly Accurate Low Bit-width Deep Neural Networks [73.29587731448345]
  本稿では,低ビット幅重みとアクティベーションで深部畳み込みニューラルネットワークを訓練する2つの新しい手法を提案する。 まず、ビット幅の少ない重みを得るため、既存の方法の多くは、全精度ネットワーク重みで量子化することにより量子化重みを得る。 第二に、低ビット幅のアクティベーションを得るために、既存の作品はすべてのチャネルを等しく考慮する。
  論文  参考訳（メタデータ） (2020-12-26T15:21:18Z)
• Where Should We Begin? A Low-Level Exploration of Weight Initialization Impact on Quantized Behaviour of Deep Neural Networks [93.4221402881609]
  異なる重みの初期化が重みの最終的な分布と異なるCNNアーキテクチャの活性化に与える影響について、詳細なアブレーション研究を行う。 我々の知る限りでは、ウェイトの初期化とその量子化行動に対する影響について、そのような低レベルで詳細な定量分析を行うのは、私たちは初めてである。
  論文  参考訳（メタデータ） (2020-11-30T06:54:28Z)
• Optimal Gradient Quantization Condition for Communication-Efficient Distributed Training [99.42912552638168]
  勾配の通信は、コンピュータビジョンアプリケーションで複数のデバイスでディープニューラルネットワークをトレーニングするのに費用がかかる。 本研究は,textbfANY勾配分布に対する二値および多値勾配量子化の最適条件を導出する。 最適条件に基づいて, 偏差BinGradと非偏差ORQの2値勾配量子化と多値勾配量子化の2つの新しい量子化手法を開発した。
  論文  参考訳（メタデータ） (2020-02-25T18:28:39Z)
• Gradient $\ell_1$ Regularization for Quantization Robustness [70.39776106458858]
  トレーニング後の量子化に対するロバスト性を改善するための単純な正規化スキームを導出する。 量子化対応ネットワークをトレーニングすることにより、異なるビット幅にオンデマンドで量子化できる1組の重みを格納できる。
  論文  参考訳（メタデータ） (2020-02-18T12:31:34Z)
• Post-Training Piecewise Linear Quantization for Deep Neural Networks [13.717228230596167]
  リソース制限されたデバイスへのディープニューラルネットワークのエネルギー効率向上において、量子化は重要な役割を果たす。 本稿では,長い尾を持つベル形状のテンソル値の正確な近似を実現するために,一方向線形量子化方式を提案する。 提案手法は,最先端のポストトレーニング量子化手法と比較して,画像分類,セマンティックセグメンテーション,オブジェクト検出においてわずかなオーバーヘッドで優れた性能を実現する。
  論文  参考訳（メタデータ） (2020-01-31T23:47:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。