論文の概要: Training Deep Neural Networks with Joint Quantization and Pruning of
Weights and Activations
- arxiv url: http://arxiv.org/abs/2110.08271v1
- Date: Fri, 15 Oct 2021 16:14:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-19 14:32:45.580866
- Title: Training Deep Neural Networks with Joint Quantization and Pruning of
Weights and Activations
- Title（参考訳）: 重みと活性化の連成量子化とプルーニングによる深部ニューラルネットワークの訓練
- Authors: Xinyu Zhang, Ian Colbert, Ken Kreutz-Delgado, Srinjoy Das
- Abstract要約: 最先端の量子化技術は現在、ディープニューラルネットワークの重みと活性化の両方に応用されている。
本研究では、トレーニング中の深部ニューラルネットワークの重みと活性化の両方に、新しい均一量子化法と非構造化プルーニング法を併用する。
- 参考スコア（独自算出の注目度）: 5.17729871332369
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quantization and pruning are core techniques used to reduce the inference
costs of deep neural networks. State-of-the-art quantization techniques are
currently applied to both the weights and activations; however, pruning is most
often applied to only the weights of the network. In this work, we jointly
apply novel uniform quantization and unstructured pruning methods to both the
weights and activations of deep neural networks during training. Using our
methods, we empirically evaluate the currently accepted prune-then-quantize
paradigm across a wide range of computer vision tasks and observe a
non-commutative nature when applied to both the weights and activations of deep
neural networks. Informed by these observations, we articulate the
non-commutativity hypothesis: for a given deep neural network being trained for
a specific task, there exists an exact training schedule in which quantization
and pruning can be introduced to optimize network performance. We identify that
this optimal ordering not only exists, but also varies across discriminative
and generative tasks. Using the optimal training schedule within our training
framework, we demonstrate increased performance per memory footprint over
existing solutions.
- Abstract（参考訳）: 量子化とプルーニングは、ディープニューラルネットワークの推論コストを削減するために使用されるコアテクニックである。
最先端の量子化技術は現在、重み付けとアクティベーションの両方に適用されるが、ネットワークの重み付けにしか適用されないことが多い。
本研究では、トレーニング中の深部ニューラルネットワークの重みと活性化の両方に、新しい均一量子化法と非構造化プルーニング法を併用する。
提案手法を用いて,幅広いコンピュータビジョンタスクにおいて,現在受け入れられているプルーネ量子化パラダイムを実証的に評価し,ディープニューラルネットワークの重みとアクティベーションの両方に適用した場合に,非可換性を観察する。
与えられたディープニューラルネットワークが特定のタスクのためにトレーニングされている場合、量子化とプルーニングを導入してネットワーク性能を最適化する正確なトレーニングスケジュールが存在します。
この最適順序付けは存在するだけでなく、識別的タスクや生成的タスクによっても異なる。
トレーニングフレームワーク内で最適なトレーニングスケジュールを使用することで、既存のソリューションよりもメモリフットプリント当たりのパフォーマンスが向上することを示した。
関連論文リスト
- NEAR: A Training-Free Pre-Estimator of Machine Learning Model Performance [0.0]
我々は、トレーニングなしで最適なニューラルネットワークを特定するために、アクティベーションランク(NEAR)によるゼロコストプロキシネットワーク表現を提案する。
このネットワークスコアとNAS-Bench-101とNATS-Bench-SSS/TSSのモデル精度の最先端相関を実証した。
論文 参考訳（メタデータ） (2024-08-16T14:38:14Z) - Enhanced quantum state preparation via stochastic prediction of neural
network [0.8287206589886881]
本稿では,ニューラルネットワークの知識盲点を生かして,アルゴリズムの有効性を高めるための興味深い道を探る。
本手法は,半導体ダブル量子ドットシステムにおける任意の量子状態の生成に使用される機械学習アルゴリズムを中心にしている。
ニューラルネットワークが生成した予測を活用することにより、最適化プロセスの導出により、局所最適化を回避できる。
論文 参考訳（メタデータ） (2023-07-27T09:11:53Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Quantization-aware Interval Bound Propagation for Training Certifiably
Robust Quantized Neural Networks [58.195261590442406]
我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。
近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。
本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
論文 参考訳（メタデータ） (2022-11-29T13:32:38Z) - Neural Network Panning: Screening the Optimal Sparse Network Before
Training [15.349144733875368]
ネットワークプルーニングは重みの表現力伝達過程として要約できると我々は主張する。
本稿では,マルチインデックスおよびマルチプロセスステップによる表現力伝達をガイドするニューラルネットワークパニングと呼ばれるトレーニング前のプルーニング手法を提案する。
論文 参考訳（メタデータ） (2022-09-27T13:31:43Z) - The Multiple Subnetwork Hypothesis: Enabling Multidomain Learning by
Isolating Task-Specific Subnetworks in Feedforward Neural Networks [0.0]
我々は,未使用の重み付きネットワークがその後のタスクを学習するための方法論とネットワーク表現構造を同定する。
提案手法を用いてトレーニングされたネットワークは,タスクのパフォーマンスを犠牲にすることなく,あるいは破滅的な忘れを伴わずに,複数のタスクを学習できることを示す。
論文 参考訳（メタデータ） (2022-07-18T15:07:13Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳（メタデータ） (2021-09-20T15:12:16Z) - What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。
線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。
我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文 参考訳（メタデータ） (2021-06-12T13:05:11Z) - Ps and Qs: Quantization-aware pruning for efficient low latency neural
network inference [56.24109486973292]
超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。
量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
論文 参考訳（メタデータ） (2021-02-22T19:00:05Z) - Recurrence of Optimum for Training Weight and Activation Quantized
Networks [4.103701929881022]
低精度の重みとアクティベーションを備えたディープラーニングモデルのトレーニングには、必要な最適化タスクが伴う。
ネットワーク量子化の性質を克服する方法を紹介します。
また,訓練用量子化深層ネットワークにおける重み進化の繰り返し現象の数値的証拠を示す。
論文 参考訳（メタデータ） (2020-12-10T09:14:43Z) - Robust Pruning at Initialization [61.30574156442608]
計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。
ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
論文 参考訳（メタデータ） (2020-02-19T17:09:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。