論文の概要: Distance-aware Quantization
- arxiv url: http://arxiv.org/abs/2108.06983v1
- Date: Mon, 16 Aug 2021 09:25:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-17 15:01:47.554646
- Title: Distance-aware Quantization
- Title（参考訳）: 距離対応量子化
- Authors: Dohyung kim, Junghyup Lee, Bumsub Ham
- Abstract要約: 量子化法では、全精度を最も近い量子化値にマッピングするために丸い関数を用いる。
距離対応量子化器 (DAQ) は, 距離対応ソフトラウンドリング (DASR) と温度制御器から構成される。
- 参考スコア（独自算出の注目度）: 30.06895253269116
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We address the problem of network quantization, that is, reducing bit-widths
of weights and/or activations to lighten network architectures. Quantization
methods use a rounding function to map full-precision values to the nearest
quantized ones, but this operation is not differentiable. There are mainly two
approaches to training quantized networks with gradient-based optimizers.
First, a straight-through estimator (STE) replaces the zero derivative of the
rounding with that of an identity function, which causes a gradient mismatch
problem. Second, soft quantizers approximate the rounding with continuous
functions at training time, and exploit the rounding for quantization at test
time. This alleviates the gradient mismatch, but causes a quantizer gap
problem. We alleviate both problems in a unified framework. To this end, we
introduce a novel quantizer, dubbed a distance-aware quantizer (DAQ), that
mainly consists of a distance-aware soft rounding (DASR) and a temperature
controller. To alleviate the gradient mismatch problem, DASR approximates the
discrete rounding with the kernel soft argmax, which is based on our insight
that the quantization can be formulated as a distance-based assignment problem
between full-precision values and quantized ones. The controller adjusts the
temperature parameter in DASR adaptively according to the input, addressing the
quantizer gap problem. Experimental results on standard benchmarks show that
DAQ outperforms the state of the art significantly for various bit-widths
without bells and whistles.
- Abstract（参考訳）: 本稿では,ネットワークアーキテクチャを軽量化するために,重みやアクティベーションのビット幅を削減するネットワーク量子化の問題に対処する。
量子化法では、全精度を最も近い量子化値にマッピングするために丸い関数を用いるが、この演算は微分できない。
勾配に基づくオプティマイザを用いた量子化ネットワークのトレーニングには,主に2つのアプローチがある。
まず、ストレートスルー推定器(ste)は丸めの零導関数を同一関数の導関数に置き換え、勾配ミスマッチ問題を引き起こす。
第2に、ソフト量子化器は、トレーニング時の連続関数による丸めを近似し、テスト時の量子化に丸めを利用する。
これは勾配ミスマッチを緩和するが、量子化器のギャップ問題を引き起こす。
我々は、両方の問題を統一したフレームワークで緩和する。
この目的のために,距離対応量子化器 (DAQ) と呼ばれる,距離対応ソフトラウンドリング (DASR) と温度制御器からなる新しい量子化器を導入する。
勾配ミスマッチ問題を緩和するために、dasrは、全精度値と量子化値の間の距離に基づく割当て問題として量子化を定式化できるという我々の洞察に基づいて、離散丸めをカーネルソフトargmaxと近似する。
制御器は、入力に応じてDASRの温度パラメータを適応的に調整し、量子化器ギャップ問題に対処する。
標準ベンチマークによる実験結果から,DAQはベルやホイッスルを使わずに,様々なビット幅で高い性能を発揮することが示された。
関連論文リスト
- Adaptive variational quantum dynamics simulations with compressed circuits and fewer measurements [4.2643127089535104]
AVQDS(T)と呼ばれる適応変分量子力学シミュレーション(AVQDS)法の改良版を示す。
このアルゴリズムは、変分力学の精度の尺度であるマクラクラン距離を一定しきい値以下に保つために、アンザッツ回路に不連結なユニタリゲートの層を適応的に加算する。
また、雑音耐性を増強した変動パラメータに対する線形運動方程式を解くために、固有値トランケーションに基づく手法を示す。
論文 参考訳（メタデータ） (2024-08-13T02:56:43Z) - GRAPE optimization for open quantum systems with time-dependent
decoherence rates driven by coherent and incoherent controls [77.34726150561087]
グラディエントアセンセントパルス工学(GRAPE)法は量子制御の最適化に広く用いられている。
我々は、コヒーレント制御と非コヒーレント制御の両方によって駆動されるオープン量子系の目的関数を最適化するために、GRAPE法を採用する。
状態-状態遷移問題に対する数値シミュレーションによりアルゴリズムの効率を実証する。
論文 参考訳（メタデータ） (2023-07-17T13:37:18Z) - Designing strong baselines for ternary neural network quantization
through support and mass equalization [7.971065005161565]
ディープニューラルネットワーク(DNN)は、コンピュータビジョンにおける幅広いアプリケーションにおいて、最高のパフォーマンスを提供する。
浮動小数点値を3次値に定量化することにより、この計算負担を劇的に低減することができる。
提案手法は, 様々なシナリオを用いて三次量子化の性能を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2023-06-30T07:35:07Z) - Solving Oscillation Problem in Post-Training Quantization Through a
Theoretical Perspective [74.48124653728422]
ポストトレーニング量子化(PTQ)は、事実上最も効率的な圧縮手法の1つである。
我々は、PTQ法で見過ごされた振動問題について論じる。
論文 参考訳（メタデータ） (2023-03-21T14:52:52Z) - Green, Quantized Federated Learning over Wireless Networks: An
Energy-Efficient Design [68.86220939532373]
有限精度レベルは、固定精度フォーマットで重みとアクティベーションを定量化する量子ニューラルネットワーク(QNN)を使用して取得される。
提案するFLフレームワークは,ベースラインFLアルゴリズムと比較して,収束までのエネルギー消費量を最大70%削減することができる。
論文 参考訳（メタデータ） (2022-07-19T16:37:24Z) - LG-LSQ: Learned Gradient Linear Symmetric Quantization [3.6816597150770387]
精度の低いディープニューラルネットワークは、メモリスペースとアクセルパワーのコストの観点から利点がある。
量子化アルゴリズムに関連する主な課題は、低ビット幅での精度を維持することである。
低ビット幅での重みと活性化関数の定量化手法として、学習された勾配線形量子化(LG-LSQ)を提案する。
論文 参考訳（メタデータ） (2022-02-18T03:38:12Z) - Variational Quantum Algorithms for Trace Distance and Fidelity
Estimation [7.247285982078057]
近距離量子デバイスにおける2つの距離測定のためのハイブリッド量子古典アルゴリズムを提案する。
まず,変分トレース距離推定(VTDE)アルゴリズムを提案する。
次に,変分忠実度推定(VFE)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-12-10T15:56:58Z) - Characterizing the loss landscape of variational quantum circuits [77.34726150561087]
本稿では,VQCの損失関数のヘシアンを計算する方法を紹介する。
この情報がどのように解釈され、従来のニューラルネットワークと比較されるかを示す。
論文 参考訳（メタデータ） (2020-08-06T17:48:12Z) - AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。
我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文 参考訳（メタデータ） (2020-07-14T09:07:29Z) - AUSN: Approximately Uniform Quantization by Adaptively Superimposing
Non-uniform Distribution for Deep Neural Networks [0.7378164273177589]
既存の一様および非一様量子化法は、表現範囲と表現解像度の間に固有の矛盾を示す。
重みとアクティベーションを定量化する新しい量子化法を提案する。
鍵となる考え方は、複数の非一様量子化値、すなわち AUSN を適応的に重ね合わせることで、ユニフォーム量子化を近似することである。
論文 参考訳（メタデータ） (2020-07-08T05:10:53Z) - Differentially Quantized Gradient Methods [53.3186247068836]
微分量子化グラディエントDescence (DQ-GD) が$maxsigma_mathrmGD, rhon 2-R$の線形収縮係数を得ることを示す。
あるクラス内のアルゴリズムは$maxsigma_mathrmGD, 2-R$よりも早く収束できない。
論文 参考訳（メタデータ） (2020-02-06T20:40:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。