論文の概要: NIPQ: Noise Injection Pseudo Quantization for Automated DNN Optimization
- arxiv url: http://arxiv.org/abs/2206.00820v1
- Date: Thu, 2 Jun 2022 01:17:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-04 01:28:34.421034
- Title: NIPQ: Noise Injection Pseudo Quantization for Automated DNN Optimization
- Title(参考訳): NIPQ:自動DNN最適化のためのノイズ注入擬似量子化
- Authors: Sein Park, Junhyuk So, Juncheol Shin, and Eunhyeok Park
- Abstract要約: ノイズインジェクション擬似量子化(NIPQ)と呼ばれる新しい量子化学習手法を提案する。
NIPQは擬似量子化ノイズ(PQN)に基づいて実装されており、いくつかの利点がある。
- 参考スコア(独自算出の注目度): 4.217343824099138
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The optimization of neural networks in terms of computation cost and memory
footprint is crucial for their practical deployment on edge devices. In this
work, we propose a novel quantization-aware training (QAT) scheme called noise
injection pseudo quantization (NIPQ). NIPQ is implemented based on pseudo
quantization noise (PQN) and has several advantages. First, both activation and
weight can be quantized based on a unified framework. Second, the
hyper-parameters of quantization (e.g., layer-wise bit-width and quantization
interval) are automatically tuned. Third, after QAT, the network has robustness
against quantization, thereby making it easier to deploy in practice. To
validate the superiority of the proposed algorithm, we provide extensive
analysis and conduct diverse experiments for various vision applications. Our
comprehensive experiments validate the outstanding performance of the proposed
algorithm in several aspects.
- Abstract(参考訳): 計算コストとメモリフットプリントの観点からのニューラルネットワークの最適化は、エッジデバイスへの実用的な展開に不可欠である。
本研究では,ノイズ注入擬似量子化(nipq)と呼ばれる新しい量子化アウェアトレーニング(qat)方式を提案する。
NIPQは擬似量子化ノイズ(PQN)に基づいて実装されており、いくつかの利点がある。
まず、アクティベーションとウェイトの両方を統一されたフレームワークに基づいて定量化できる。
次に、量子化のハイパーパラメータ(例えば、層状ビット幅と量子化間隔)を自動的にチューニングする。
第3に、QAT以降、ネットワークは量子化に対して堅牢であるため、実際にデプロイするのが簡単になる。
提案アルゴリズムの優位性を検証するため,様々な視覚応用に対して広範囲な解析と多彩な実験を行う。
包括的実験により,提案アルゴリズムの優れた性能をいくつかの点で検証した。
関連論文リスト
- Adaptive variational quantum dynamics simulations with compressed circuits and fewer measurements [4.2643127089535104]
AVQDS(T)と呼ばれる適応変分量子力学シミュレーション(AVQDS)法の改良版を示す。
このアルゴリズムは、変分力学の精度の尺度であるマクラクラン距離を一定しきい値以下に保つために、アンザッツ回路に不連結なユニタリゲートの層を適応的に加算する。
また、雑音耐性を増強した変動パラメータに対する線形運動方程式を解くために、固有値トランケーションに基づく手法を示す。
論文 参考訳(メタデータ) (2024-08-13T02:56:43Z) - Quantum Shadow Gradient Descent for Variational Quantum Algorithms [14.286227676294034]
量子ニューラルネットワーク(QNN)における変分量子回路のトレーニングのための勾配勾配推定法が提案されている。
勾配推定の課題は、状態崩壊や測定の不整合といった特異な量子的特徴のために困難であることが証明されている。
我々は,1イテレーション毎に1つのサンプルを用いて勾配のすべての成分を推定する量子シャドウ降下という新しい手法を開発した。
論文 参考訳(メタデータ) (2023-10-10T18:45:43Z) - CSQ: Growing Mixed-Precision Quantization Scheme with Bi-level
Continuous Sparsification [51.81850995661478]
混合精度量子化はディープニューラルネットワーク(DNN)に広く応用されている
トレーニング中のビットレベル正規化とプルーニングに基づく動的精度調整の試みは、ノイズ勾配と不安定収束に悩まされている。
安定度を向上した混合精度量子化スキームを探索するビットレベル学習法である連続スカラー化量子化(CSQ)を提案する。
論文 参考訳(メタデータ) (2022-12-06T05:44:21Z) - Error Mitigation-Aided Optimization of Parameterized Quantum Circuits:
Convergence Analysis [42.275148861039895]
変分量子アルゴリズム(VQA)は、ノイズプロセッサを介して量子アドバンテージを得るための最も有望な経路を提供する。
不完全性とデコヒーレンスによるゲートノイズは、バイアスを導入して勾配推定に影響を与える。
QEM(Quantum error mitigation)技術は、キュービット数の増加を必要とせずに、推定バイアスを低減することができる。
QEMは必要な反復回数を減らすことができるが、量子ノイズレベルが十分に小さい限りである。
論文 参考訳(メタデータ) (2022-09-23T10:48:04Z) - Symmetric Pruning in Quantum Neural Networks [111.438286016951]
量子ニューラルネットワーク(QNN)は、現代の量子マシンの力を発揮する。
ハンドクラフト対称アンサーゼを持つQNNは、一般に非対称アンサーゼを持つものよりも訓練性が高い。
本稿では,QNNのグローバル最適収束を定量化するために,実効量子ニューラルネットワークカーネル(EQNTK)を提案する。
論文 参考訳(メタデータ) (2022-08-30T08:17:55Z) - Symmetry Regularization and Saturating Nonlinearity for Robust
Quantization [5.1779694507922835]
量子化に対するネットワークの強固化に関する3つの知見を提示する。
対称性正則化(SymReg)と飽和非線形性(SatNL)という2つの新しい手法を提案する。
トレーニング中に提案した手法を適用することで、量子化に対する任意のニューラルネットワークの堅牢性を高めることができる。
論文 参考訳(メタデータ) (2022-07-31T02:12:28Z) - Nonuniform-to-Uniform Quantization: Towards Accurate Quantization via
Generalized Straight-Through Estimation [48.838691414561694]
非一様量子化(英: Nonuniform-to-Uniform Quantization、N2UQ)は、ハードウェアフレンドリーで効率的な非一様法の強力な表現能力を維持できる方法である。
N2UQはImageNet上で最先端の非一様量子化法を0.71.8%上回る。
論文 参考訳(メタデータ) (2021-11-29T18:59:55Z) - Cluster-Promoting Quantization with Bit-Drop for Minimizing Network
Quantization Loss [61.26793005355441]
クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。
DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。
本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
論文 参考訳(メタデータ) (2021-09-05T15:15:07Z) - A Statistical Framework for Low-bitwidth Training of Deep Neural
Networks [70.77754244060384]
フル量子化トレーニング(FQT)は、ニューラルネットワークモデルのアクティベーション、重み、勾配を定量化することで、低ビット幅のハードウェアを使用する。
FQTの最大の課題は、特に勾配量子化が収束特性にどのように影響するかという理論的な理解の欠如である。
論文 参考訳(メタデータ) (2020-10-27T13:57:33Z) - Variance Reduction for Deep Q-Learning using Stochastic Recursive
Gradient [51.880464915253924]
深層Q-ラーニングアルゴリズムは、過度な分散を伴う勾配推定に苦しむことが多い。
本稿では、SRG-DQNと呼ばれる新しいアルゴリズムを実現するため、深層Q-ラーニングにおける勾配推定を更新するためのフレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-25T00:54:20Z) - Policy Gradient based Quantum Approximate Optimization Algorithm [2.5614220901453333]
本稿では,QAOAの変動パラメータをノイズキャンバス方式で最適化するために,政策段階に基づく強化学習アルゴリズムが適していることを示す。
単一および多ビット系における量子状態伝達問題に対するアルゴリズムの性能解析を行う。
論文 参考訳(メタデータ) (2020-02-04T00:46:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。