論文の概要: Gradient $\ell_1$ Regularization for Quantization Robustness

• arxiv url: http://arxiv.org/abs/2002.07520v1
• Date: Tue, 18 Feb 2020 12:31:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 19:24:28.993778
• Title: Gradient $\ell_1$ Regularization for Quantization Robustness
• Title（参考訳）: 量子化ロバストネスのためのグラディエント$\ell_1$正規化
• Authors: Milad Alizadeh, Arash Behboodi, Mart van Baalen, Christos Louizos, Tijmen Blankevoort, Max Welling
• Abstract要約: トレーニング後の量子化に対するロバスト性を改善するための単純な正規化スキームを導出する。 量子化対応ネットワークをトレーニングすることにより、異なるビット幅にオンデマンドで量子化できる1組の重みを格納できる。
• 参考スコア（独自算出の注目度）: 70.39776106458858
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We analyze the effect of quantizing weights and activations of neural networks on their loss and derive a simple regularization scheme that improves robustness against post-training quantization. By training quantization-ready networks, our approach enables storing a single set of weights that can be quantized on-demand to different bit-widths as energy and memory requirements of the application change. Unlike quantization-aware training using the straight-through estimator that only targets a specific bit-width and requires access to training data and pipeline, our regularization-based method paves the way for "on the fly'' post-training quantization to various bit-widths. We show that by modeling quantization as a $\ell_\infty$-bounded perturbation, the first-order term in the loss expansion can be regularized using the $\ell_1$-norm of gradients. We experimentally validate the effectiveness of our regularization scheme on different architectures on CIFAR-10 and ImageNet datasets.
• Abstract（参考訳）: ニューラルネットワークの重み付けとアクティベーションの定量化が損失に与える影響を解析し、トレーニング後の量子化に対するロバスト性を改善する単純な正規化スキームを導出する。 量子化対応ネットワークをトレーニングすることにより、アプリケーション変更のエネルギーとメモリ要求として、異なるビット幅にオンデマンドで量子化できる1組の重みを格納できる。 特定のビット幅のみを目標とし、トレーニングデータやパイプラインへのアクセスを必要とするストレートスルー推定器を用いた量子化学習とは異なり、正規化ベースの手法は、"オンザフライ"後の量子化を様々なビット幅に道を開く。 量子化を$\ell_\infty$-bounded摂動としてモデル化することで、損失拡大の1次項を$\ell_1$-normの勾配を用いて正規化できることを示す。 我々はcifar-10とimagenetデータセット上の異なるアーキテクチャにおける正規化スキームの有効性を実験的に検証した。

関連論文リスト

• Vertical Layering of Quantized Neural Networks for Heterogeneous Inference [57.42762335081385]
  量子化モデル全体を1つのモデルにカプセル化するための,ニューラルネットワーク重みの新しい垂直層表現について検討する。 理論的には、1つのモデルのトレーニングとメンテナンスのみを必要としながら、オンデマンドサービスの正確なネットワークを達成できます。
  論文  参考訳（メタデータ） (2022-12-10T15:57:38Z)
• Symmetry Regularization and Saturating Nonlinearity for Robust Quantization [5.1779694507922835]
  量子化に対するネットワークの強固化に関する3つの知見を提示する。 対称性正則化(SymReg)と飽和非線形性(SatNL)という2つの新しい手法を提案する。 トレーニング中に提案した手法を適用することで、量子化に対する任意のニューラルネットワークの堅牢性を高めることができる。
  論文  参考訳（メタデータ） (2022-07-31T02:12:28Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)
• Standard Deviation-Based Quantization for Deep Neural Networks [17.495852096822894]
  深層ニューラルネットワークの量子化は、推論コストを低減するための有望なアプローチである。 ネットワークの重みと活性化分布の知識を用いて量子化間隔(離散値)を学習する新しいフレームワークを提案する。 提案手法は,ネットワークのパラメータを同時に推定し,量子化過程におけるプルーニング比を柔軟に調整する。
  論文  参考訳（メタデータ） (2022-02-24T23:33:47Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• In-Hindsight Quantization Range Estimation for Quantized Training [5.65658124285176]
  従来の反復で推定した量子化範囲を用いて,現在を数値化する動的量子化手法であるin-hindsight range推定法を提案する。 今回のアプローチでは,ニューラルネットワークアクセラレータによる最小限のハードウェアサポートのみを必要としながら,勾配とアクティベーションの高速静的量子化を可能にする。 量子化範囲の推定のためのドロップイン代替として意図されており、他の量子化トレーニングの進歩と併用することができる。
  論文  参考訳（メタデータ） (2021-05-10T10:25:28Z)
• One Model for All Quantization: A Quantized Network Supporting Hot-Swap Bit-Width Adjustment [36.75157407486302]
  多様なビット幅をサポートする全量子化のためのモデルを訓練する手法を提案する。 重みの多様性を高めるためにウェーブレット分解と再構成を用いる。 同じ精度で訓練された専用モデルに匹敵する精度が得られる。
  論文  参考訳（メタデータ） (2021-05-04T08:10:50Z)
• Direct Quantization for Training Highly Accurate Low Bit-width Deep Neural Networks [73.29587731448345]
  本稿では,低ビット幅重みとアクティベーションで深部畳み込みニューラルネットワークを訓練する2つの新しい手法を提案する。 まず、ビット幅の少ない重みを得るため、既存の方法の多くは、全精度ネットワーク重みで量子化することにより量子化重みを得る。 第二に、低ビット幅のアクティベーションを得るために、既存の作品はすべてのチャネルを等しく考慮する。
  論文  参考訳（メタデータ） (2020-12-26T15:21:18Z)
• Recurrence of Optimum for Training Weight and Activation Quantized Networks [4.103701929881022]
  低精度の重みとアクティベーションを備えたディープラーニングモデルのトレーニングには、必要な最適化タスクが伴う。 ネットワーク量子化の性質を克服する方法を紹介します。 また,訓練用量子化深層ネットワークにおける重み進化の繰り返し現象の数値的証拠を示す。
  論文  参考訳（メタデータ） (2020-12-10T09:14:43Z)
• Where Should We Begin? A Low-Level Exploration of Weight Initialization Impact on Quantized Behaviour of Deep Neural Networks [93.4221402881609]
  異なる重みの初期化が重みの最終的な分布と異なるCNNアーキテクチャの活性化に与える影響について、詳細なアブレーション研究を行う。 我々の知る限りでは、ウェイトの初期化とその量子化行動に対する影響について、そのような低レベルで詳細な定量分析を行うのは、私たちは初めてである。
  論文  参考訳（メタデータ） (2020-11-30T06:54:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。