論文の概要: Genie: Show Me the Data for Quantization
- arxiv url: http://arxiv.org/abs/2212.04780v1
- Date: Fri, 9 Dec 2022 11:18:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-12 14:38:14.044755
- Title: Genie: Show Me the Data for Quantization
- Title（参考訳）: Genie: 量子化のデータを見せてください
- Authors: Yongkweon Jeon, Chungman Lee, Ho-young Kim
- Abstract要約: ゼロショット量子化は、データがアクセスできない場合に軽量なディープニューラルネットワークを開発するための有望なアプローチである。
ゼロショット量子化のための学習後量子化方式を導入し、30時間以内に高品質な量子化ネットワークを数時間以内に生成する。
また,学習後の量子化アルゴリズムを提案し,量子化モデルの性能を向上させる。
- 参考スコア（独自算出の注目度）: 2.7286395031146062
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Zero-shot quantization is a promising approach for developing lightweight
deep neural networks when data is inaccessible owing to various reasons,
including cost and issues related to privacy. By utilizing the learned
parameters (statistics) of FP32-pre-trained models, zero-shot quantization
schemes focus on generating synthetic data by minimizing the distance between
the learned parameters ($\mu$ and $\sigma$) and distributions of intermediate
activations. Subsequently, they distill knowledge from the pre-trained model
(\textit{teacher}) to the quantized model (\textit{student}) such that the
quantized model can be optimized with the synthetic dataset. In general,
zero-shot quantization comprises two major elements: synthesizing datasets and
quantizing models. However, thus far, zero-shot quantization has primarily been
discussed in the context of quantization-aware training methods, which require
task-specific losses and long-term optimization as much as retraining. We thus
introduce a post-training quantization scheme for zero-shot quantization that
produces high-quality quantized networks within a few hours on even half an
hour. Furthermore, we propose a framework called \genie~that generates data
suited for post-training quantization. With the data synthesized by \genie, we
can produce high-quality quantized models without real datasets, which is
comparable to few-shot quantization. We also propose a post-training
quantization algorithm to enhance the performance of quantized models. By
combining them, we can bridge the gap between zero-shot and few-shot
quantization while significantly improving the quantization performance
compared to that of existing approaches. In other words, we can obtain a unique
state-of-the-art zero-shot quantization approach.
- Abstract（参考訳）: ゼロショット量子化は、プライバシに関連するコストや問題など、さまざまな理由からデータがアクセスできない場合に、軽量なディープニューラルネットワークを開発する上で有望なアプローチである。
FP32事前学習モデルの学習パラメータ(統計)を利用することで、ゼロショット量子化スキームは学習パラメータ($\mu$と$\sigma$)と中間アクティベーションの分布の最小化による合成データの生成に焦点を当てる。
その後、事前学習されたモデル (\textit{teacher}) から量子化モデル (\textit{student}) への知識を蒸留し、量子化モデルは合成データセットで最適化される。
一般にゼロショット量子化は、データセットの合成とモデルの定量化の2つの主要な要素を含む。
しかし、これまでのゼロショット量子化は、タスク固有の損失と長期最適化を必要とする量子化対応トレーニング手法の文脈で主に議論されてきた。
そこで本稿では,30分から数時間で高品質な量子化ネットワークを生成できるゼロショット量子化のための学習後量子化方式を提案する。
さらに,トレーニング後の量子化に適したデータを生成する \genie~というフレームワークを提案する。
\genieによって合成されたデータにより、実際のデータセットを使わずに高品質な量子化モデルを作成できる。
また,学習後の量子化アルゴリズムを提案し,量子化モデルの性能を向上させる。
これらを組み合わせることで、ゼロショットと少数ショットの量子化のギャップを埋めることができ、既存のアプローチと比べて量子化性能を著しく改善することができる。
言い換えれば、ユニークな最先端ゼロショット量子化アプローチを得ることができる。
関連論文リスト
- Quantum Latent Diffusion Models [65.16624577812436]
本稿では,古典的潜伏拡散モデルの確立した考え方を活用する量子拡散モデルの潜在的バージョンを提案する。
これには、従来のオートエンコーダを使用してイメージを削減し、次に潜時空間の変動回路で操作する。
この結果は、量子バージョンが生成した画像のより良い測定値を得ることによって証明されたように、量子バージョンを使用することの利点を示している。
論文 参考訳（メタデータ） (2025-01-19T21:24:02Z) - ISQuant: apply squant to the real deployment [0.0]
量子化と復号化の組み合わせがモデルトレーニングに使われている理由を分析する。
8ビットモデルをデプロイするためのソリューションとしてISQuantを提案する。
論文 参考訳（メタデータ） (2024-07-05T15:10:05Z) - MixQuant: Mixed Precision Quantization with a Bit-width Optimization
Search [7.564770908909927]
量子化は、効率的なディープニューラルネットワーク(DNN)を作成する技術である
ラウンドオフ誤差に基づいて各層重みに対する最適な量子化ビット幅を求める検索アルゴリズムであるMixQuantを提案する。
我々は、MixQuantと最先端の量子化手法BRECQを組み合わせることで、BRECQ単独よりも優れた量子化モデル精度が得られることを示す。
論文 参考訳（メタデータ） (2023-09-29T15:49:54Z) - A didactic approach to quantum machine learning with a single qubit [68.8204255655161]
我々は、データ再ロード技術を用いて、単一のキュービットで学習するケースに焦点を当てる。
我々は、Qiskit量子コンピューティングSDKを用いて、おもちゃと現実世界のデータセットに異なる定式化を実装した。
論文 参考訳（メタデータ） (2022-11-23T18:25:32Z) - MQBench: Towards Reproducible and Deployable Model Quantization
Benchmark [53.12623958951738]
MQBenchは、モデル量子化アルゴリズムの評価、分析、およびデプロイ可能性のベンチマークを行う最初の試みである。
我々は、CPU、GPU、ASIC、DSPを含む実世界のデプロイのための複数のプラットフォームを選択し、最先端の量子化アルゴリズムを評価する。
包括的な分析を行い、直感的、直感的、あるいは反直感的な洞察を見出す。
論文 参考訳（メタデータ） (2021-11-05T23:38:44Z) - Cluster-Promoting Quantization with Bit-Drop for Minimizing Network
Quantization Loss [61.26793005355441]
クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。
DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。
本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
論文 参考訳（メタデータ） (2021-09-05T15:15:07Z) - In-Hindsight Quantization Range Estimation for Quantized Training [5.65658124285176]
従来の反復で推定した量子化範囲を用いて,現在を数値化する動的量子化手法であるin-hindsight range推定法を提案する。
今回のアプローチでは,ニューラルネットワークアクセラレータによる最小限のハードウェアサポートのみを必要としながら,勾配とアクティベーションの高速静的量子化を可能にする。
量子化範囲の推定のためのドロップイン代替として意図されており、他の量子化トレーニングの進歩と併用することができる。
論文 参考訳（メタデータ） (2021-05-10T10:25:28Z) - One Model for All Quantization: A Quantized Network Supporting Hot-Swap
Bit-Width Adjustment [36.75157407486302]
多様なビット幅をサポートする全量子化のためのモデルを訓練する手法を提案する。
重みの多様性を高めるためにウェーブレット分解と再構成を用いる。
同じ精度で訓練された専用モデルに匹敵する精度が得られる。
論文 参考訳（メタデータ） (2021-05-04T08:10:50Z) - Zero-shot Adversarial Quantization [11.722728148523366]
ゼロショット逆量子化(ZAQ: Zero-shot adversarial quantization)フレームワークを提案し,効果的な不一致推定と知識伝達を容易にする。
これは、情報的で多様なデータ例を合成するためにジェネレータを駆動する、新しい2レベル不一致モデリングによって達成される。
強力なゼロショットベースラインに対してZAQの優位性を示す3つの基本的なビジョンタスクについて広範な実験を行います。
論文 参考訳（メタデータ） (2021-03-29T01:33:34Z) - Once Quantization-Aware Training: High Performance Extremely Low-bit
Architecture Search [112.05977301976613]
本稿では,ネットワークアーキテクチャ検索手法と量子化手法を組み合わせることで,両者のメリットを享受することを提案する。
まず、多数の量子化モデルを取得するために、共有ステップサイズでアーキテクチャと量子化の合同トレーニングを提案する。
次に、量子化されたモデルを低ビットに転送するためにビット継承方式を導入し、さらに時間コストを削減し、量子化精度を向上させる。
論文 参考訳（メタデータ） (2020-10-09T03:52:16Z) - ZeroQ: A Novel Zero Shot Quantization Framework [83.63606876854168]
量子化は、ニューラルネットワークの推論時間とメモリフットプリントを削減するための有望なアプローチである。
既存のゼロショット量子化法では、異なるエポックを用いてこの問題に対処するが、性能は低下する。
本稿では,この問題に対処する新しいゼロショット量子化フレームワークであるZeroQを提案する。
論文 参考訳（メタデータ） (2020-01-01T23:58:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。