論文の概要: NIPQ: Noise proxy-based Integrated Pseudo-Quantization

• arxiv url: http://arxiv.org/abs/2206.00820v2
• Date: Sat, 1 Jul 2023 08:27:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-04 16:07:26.097672
• Title: NIPQ: Noise proxy-based Integrated Pseudo-Quantization
• Title（参考訳）: NIPQ:ノイズプロキシに基づく擬似量子化
• Authors: Juncheol Shin, Junhyuk So, Sein Park, Seungyeop Kang, Sungjoo Yoo and Eunhyeok Park
• Abstract要約: 量子化対応トレーニング(QAT)におけるストレートスルー推定器(STE)の不安定収束 アクティベーションと重みの両面において擬似量子化を統一的にサポートする新しいノイズプロキシベース統合擬似量子化(NIPQ)を提案する。 NIPQは、様々なビジョンや言語アプリケーションにおける既存の量子化アルゴリズムよりも大きなマージンで優れている。
• 参考スコア（独自算出の注目度）: 9.207644534257543
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Straight-through estimator (STE), which enables the gradient flow over the non-differentiable function via approximation, has been favored in studies related to quantization-aware training (QAT). However, STE incurs unstable convergence during QAT, resulting in notable quality degradation in low precision. Recently, pseudoquantization training has been proposed as an alternative approach to updating the learnable parameters using the pseudo-quantization noise instead of STE. In this study, we propose a novel noise proxy-based integrated pseudoquantization (NIPQ) that enables unified support of pseudoquantization for both activation and weight by integrating the idea of truncation on the pseudo-quantization framework. NIPQ updates all of the quantization parameters (e.g., bit-width and truncation boundary) as well as the network parameters via gradient descent without STE instability. According to our extensive experiments, NIPQ outperforms existing quantization algorithms in various vision and language applications by a large margin.
• Abstract（参考訳）: 近似による微分不可能関数上の勾配流を可能にするストレートスルー推定器(STE)は、量子化認識トレーニング(QAT)に関する研究で好まれている。 しかし、STEはQAT中に不安定な収束を引き起こし、低い精度で顕著な品質劣化をもたらす。 近年,steの代わりに疑似量子化雑音を用いて学習可能なパラメータを更新するための代替手法として疑似量子化トレーニングが提案されている。 本研究では,擬似量子化フレームワークにトランケーションの考え方を統合することで,アクティベーションとウェイトの両方において擬似量子化の統一的なサポートを可能にする新しいノイズプロキシベース統合擬似量子化(NIPQ)を提案する。 NIPQは、すべての量子化パラメータ(ビット幅とトランケーション境界など)と、STE不安定性のない勾配降下によるネットワークパラメータを更新する。 我々の広範な実験によると、NIPQは様々なビジョンや言語アプリケーションにおける既存の量子化アルゴリズムよりも大きなマージンで優れている。

関連論文リスト

• Adaptive variational quantum dynamics simulations with compressed circuits and fewer measurements [4.2643127089535104]
  AVQDS(T)と呼ばれる適応変分量子力学シミュレーション(AVQDS)法の改良版を示す。 このアルゴリズムは、変分力学の精度の尺度であるマクラクラン距離を一定しきい値以下に保つために、アンザッツ回路に不連結なユニタリゲートの層を適応的に加算する。 また、雑音耐性を増強した変動パラメータに対する線形運動方程式を解くために、固有値トランケーションに基づく手法を示す。
  論文  参考訳（メタデータ） (2024-08-13T02:56:43Z)
• Quantum Shadow Gradient Descent for Variational Quantum Algorithms [14.286227676294034]
  量子ニューラルネットワーク(QNN)における変分量子回路のトレーニングのための勾配勾配推定法が提案されている。 勾配推定の課題は、状態崩壊や測定の不整合といった特異な量子的特徴のために困難であることが証明されている。 我々は,1イテレーション毎に1つのサンプルを用いて勾配のすべての成分を推定する量子シャドウ降下という新しい手法を開発した。
  論文  参考訳（メタデータ） (2023-10-10T18:45:43Z)
• CSQ: Growing Mixed-Precision Quantization Scheme with Bi-level Continuous Sparsification [51.81850995661478]
  混合精度量子化はディープニューラルネットワーク(DNN)に広く応用されている トレーニング中のビットレベル正規化とプルーニングに基づく動的精度調整の試みは、ノイズ勾配と不安定収束に悩まされている。 安定度を向上した混合精度量子化スキームを探索するビットレベル学習法である連続スカラー化量子化(CSQ)を提案する。
  論文  参考訳（メタデータ） (2022-12-06T05:44:21Z)
• Error Mitigation-Aided Optimization of Parameterized Quantum Circuits: Convergence Analysis [42.275148861039895]
  変分量子アルゴリズム(VQA)は、ノイズプロセッサを介して量子アドバンテージを得るための最も有望な経路を提供する。 不完全性とデコヒーレンスによるゲートノイズは、バイアスを導入して勾配推定に影響を与える。 QEM(Quantum error mitigation)技術は、キュービット数の増加を必要とせずに、推定バイアスを低減することができる。 QEMは必要な反復回数を減らすことができるが、量子ノイズレベルが十分に小さい限りである。
  論文  参考訳（メタデータ） (2022-09-23T10:48:04Z)
• Symmetric Pruning in Quantum Neural Networks [111.438286016951]
  量子ニューラルネットワーク(QNN)は、現代の量子マシンの力を発揮する。 ハンドクラフト対称アンサーゼを持つQNNは、一般に非対称アンサーゼを持つものよりも訓練性が高い。 本稿では,QNNのグローバル最適収束を定量化するために,実効量子ニューラルネットワークカーネル(EQNTK)を提案する。
  論文  参考訳（メタデータ） (2022-08-30T08:17:55Z)
• Symmetry Regularization and Saturating Nonlinearity for Robust Quantization [5.1779694507922835]
  量子化に対するネットワークの強固化に関する3つの知見を提示する。 対称性正則化(SymReg)と飽和非線形性(SatNL)という2つの新しい手法を提案する。 トレーニング中に提案した手法を適用することで、量子化に対する任意のニューラルネットワークの堅牢性を高めることができる。
  論文  参考訳（メタデータ） (2022-07-31T02:12:28Z)
• Nonuniform-to-Uniform Quantization: Towards Accurate Quantization via Generalized Straight-Through Estimation [48.838691414561694]
  非一様量子化(英: Nonuniform-to-Uniform Quantization、N2UQ)は、ハードウェアフレンドリーで効率的な非一様法の強力な表現能力を維持できる方法である。 N2UQはImageNet上で最先端の非一様量子化法を0.71.8%上回る。
  論文  参考訳（メタデータ） (2021-11-29T18:59:55Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• A Statistical Framework for Low-bitwidth Training of Deep Neural Networks [70.77754244060384]
  フル量子化トレーニング(FQT)は、ニューラルネットワークモデルのアクティベーション、重み、勾配を定量化することで、低ビット幅のハードウェアを使用する。 FQTの最大の課題は、特に勾配量子化が収束特性にどのように影響するかという理論的な理解の欠如である。
  論文  参考訳（メタデータ） (2020-10-27T13:57:33Z)
• Variance Reduction for Deep Q-Learning using Stochastic Recursive Gradient [51.880464915253924]
  深層Q-ラーニングアルゴリズムは、過度な分散を伴う勾配推定に苦しむことが多い。 本稿では、SRG-DQNと呼ばれる新しいアルゴリズムを実現するため、深層Q-ラーニングにおける勾配推定を更新するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-25T00:54:20Z)
• Policy Gradient based Quantum Approximate Optimization Algorithm [2.5614220901453333]
  本稿では,QAOAの変動パラメータをノイズキャンバス方式で最適化するために,政策段階に基づく強化学習アルゴリズムが適していることを示す。 単一および多ビット系における量子状態伝達問題に対するアルゴリズムの性能解析を行う。
  論文  参考訳（メタデータ） (2020-02-04T00:46:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。