論文の概要: Hybrid and Non-Uniform quantization methods using retro synthesis data
for efficient inference
- arxiv url: http://arxiv.org/abs/2012.13716v1
- Date: Sat, 26 Dec 2020 10:48:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-25 02:52:19.260001
- Title: Hybrid and Non-Uniform quantization methods using retro synthesis data
for efficient inference
- Title（参考訳）: 効率的推論のためのレトロ合成データを用いたハイブリッドおよび非一様量子化法
- Authors: Tej pratap GVSL, Raja Kumar
- Abstract要約: 既存の量子化対応訓練手法は、トレーニングデータを利用して量子化損失を補償しようとする。
本論文では,データ非依存型ポストトレーニング量子化方式を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing quantization aware training methods attempt to compensate for the
quantization loss by leveraging on training data, like most of the
post-training quantization methods, and are also time consuming. Both these
methods are not effective for privacy constraint applications as they are
tightly coupled with training data. In contrast, this paper proposes a
data-independent post-training quantization scheme that eliminates the need for
training data. This is achieved by generating a faux dataset, hereafter
referred to as Retro-Synthesis Data, from the FP32 model layer statistics and
further using it for quantization. This approach outperformed state-of-the-art
methods including, but not limited to, ZeroQ and DFQ on models with and without
Batch-Normalization layers for 8, 6, and 4 bit precisions on ImageNet and
CIFAR-10 datasets. We also introduced two futuristic variants of post-training
quantization methods namely Hybrid Quantization and Non-Uniform Quantization
- Abstract（参考訳）: 既存の量子化対応トレーニング手法は、トレーニング後の量子化方法のほとんどと同様に、トレーニングデータを活用することで、量子化損失を補おうとする。
これらの方法は、トレーニングデータと密結合しているため、プライバシ制約アプリケーションには有効ではない。
対照的に,本稿では,トレーニングデータの必要性をなくすデータ非依存なトレーニング後量子化手法を提案する。
これは、FP32モデル層統計からフェローデータセット(以下、Retro-Synthesis Dataと呼ぶ)を生成し、さらに量子化に使用することで達成される。
このアプローチは、imagenetとcifar-10データセットのバッチ正規化層8,6,4ビット精度のモデルにおいて、zeroqとdfqを含む最先端の手法よりも優れていた。
また,2種類のポストトレーニング量子化手法,すなわちハイブリッド量子化と非均一量子化を導入した。
関連論文リスト
- CPSample: Classifier Protected Sampling for Guarding Training Data During Diffusion [58.64822817224639]
拡散モデルはトレーニングデータを正確に再現する傾向がある。
CPSampleは,画像品質を保ちながら,トレーニングデータの複製を防止するためにサンプリングプロセスを変更する手法である。
CPSample は CIFAR-10 と CelebA-64 でそれぞれ 4.97 と 2.97 の FID スコアを達成している。
論文 参考訳（メタデータ） (2024-09-11T05:42:01Z) - Data-Free Quantization via Mixed-Precision Compensation without
Fine-Tuning [20.413801240717646]
本研究では,データと微調整を伴わない超低精度量子化モデルの性能を回復するデータフリー混合精度補償法を提案する。
我々のDF-MPCは、データや微調整を伴わない最近の手法と比較して、超高精度量子化モデルの高精度化を実現している。
論文 参考訳（メタデータ） (2023-07-02T07:16:29Z) - LLM-QAT: Data-Free Quantization Aware Training for Large Language Models [38.76165207636793]
本研究では,事前学習モデルにより生成した世代を利用したデータフリー蒸留法を提案する。
重みとアクティベーションの定量化に加えて、スループット向上に重要なKVキャッシュの定量化も行います。
我々は7B,13B,30BのLLaMAモデルを4ビット以下の量子化レベルで実験した。
論文 参考訳（メタデータ） (2023-05-29T05:22:11Z) - Post-training Model Quantization Using GANs for Synthetic Data
Generation [57.40733249681334]
量子化法における実データを用いたキャリブレーションの代用として合成データを用いた場合について検討する。
本稿では,StyleGAN2-ADAが生成したデータと事前学習したDiStyleGANを用いて定量化したモデルの性能と,実データを用いた量子化とフラクタル画像に基づく代替データ生成手法との比較を行った。
論文 参考訳（メタデータ） (2023-05-10T11:10:09Z) - Learning Representations for CSI Adaptive Quantization and Feedback [51.14360605938647]
本稿では,周波数分割二重化システムにおける適応量子化とフィードバックの効率的な手法を提案する。
既存の研究は主に、CSI圧縮のためのオートエンコーダ(AE)ニューラルネットワークの実装に焦点を当てている。
1つはポストトレーニング量子化に基づくもので、もう1つはAEのトレーニング中にコードブックが見つかる方法である。
論文 参考訳（メタデータ） (2022-07-13T08:52:13Z) - Attention Round for Post-Training Quantization [0.9558392439655015]
本稿では,アテンションラウンドと呼ばれる新しい定量化手法を提案する。
異なる量子化値にマッピングされる確率は、量子化値とwの間の距離と負に相関し、ガウス函数と崩壊する。
ResNet18 と MobileNetV2 では,本論文で提案するポストトレーニング量子化は 1,024 のトレーニングデータと 10 分しか必要としない。
論文 参考訳（メタデータ） (2022-07-07T05:04:21Z) - ClusterQ: Semantic Feature Distribution Alignment for Data-Free
Quantization [111.12063632743013]
本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。
意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。
また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
論文 参考訳（メタデータ） (2022-04-30T06:58:56Z) - Fine-grained Data Distribution Alignment for Post-Training Quantization [100.82928284439271]
学習後量子化の性能を高めるために,データ分散アライメント(FDDA)法を提案する。
提案手法は,特に第1層と第2層が低ビットに量子化されている場合,ImageNet上での最先端性能を示す。
論文 参考訳（メタデータ） (2021-09-09T11:45:52Z) - Diverse Sample Generation: Pushing the Limit of Data-free Quantization [85.95032037447454]
本稿では,データ不要なポストトレーニング量子化と量子化学習のための汎用的な2次サンプル生成手法を提案する。
大規模な画像分類タスクでは、DSGは既存のデータ自由量子化手法より一貫して優れている。
論文 参考訳（メタデータ） (2021-09-01T07:06:44Z) - Zero-shot Adversarial Quantization [11.722728148523366]
ゼロショット逆量子化(ZAQ: Zero-shot adversarial quantization)フレームワークを提案し,効果的な不一致推定と知識伝達を容易にする。
これは、情報的で多様なデータ例を合成するためにジェネレータを駆動する、新しい2レベル不一致モデリングによって達成される。
強力なゼロショットベースラインに対してZAQの優位性を示す3つの基本的なビジョンタスクについて広範な実験を行います。
論文 参考訳（メタデータ） (2021-03-29T01:33:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。