論文の概要: Generative Low-bitwidth Data Free Quantization

• arxiv url: http://arxiv.org/abs/2003.03603v3
• Date: Mon, 10 Aug 2020 12:56:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-25 19:59:12.428798
• Title: Generative Low-bitwidth Data Free Quantization
• Title（参考訳）: 低ビット幅データ生成自由量子化
• Authors: Shoukai Xu, Haokun Li, Bohan Zhuang, Jing Liu, Jiezhang Cao, Chuangrun Liang, Mingkui Tan
• Abstract要約: 本稿ではGDFQ(Generative Low-bitdth Data Free Quantization)を提案する。 生成したデータの助けを借りて、事前学習されたモデルから知識を学習することでモデルを定量化することができる。 提案手法は,既存のデータ自由量子化法よりも高精度な4ビット量子化を実現する。
• 参考スコア（独自算出の注目度）: 44.613912463011545
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network quantization is an effective way to compress deep models and improve their execution latency and energy efficiency, so that they can be deployed on mobile or embedded devices. Existing quantization methods require original data for calibration or fine-tuning to get better performance. However, in many real-world scenarios, the data may not be available due to confidential or private issues, thereby making existing quantization methods not applicable. Moreover, due to the absence of original data, the recently developed generative adversarial networks (GANs) cannot be applied to generate data. Although the full-precision model may contain rich data information, such information alone is hard to exploit for recovering the original data or generating new meaningful data. In this paper, we investigate a simple-yet-effective method called Generative Low-bitwidth Data Free Quantization (GDFQ) to remove the data dependence burden. Specifically, we propose a knowledge matching generator to produce meaningful fake data by exploiting classification boundary knowledge and distribution information in the pre-trained model. With the help of generated data, we can quantize a model by learning knowledge from the pre-trained model. Extensive experiments on three data sets demonstrate the effectiveness of our method. More critically, our method achieves much higher accuracy on 4-bit quantization than the existing data free quantization method. Code is available at https://github.com/xushoukai/GDFQ.
• Abstract（参考訳）: ニューラルネットワーク量子化は、ディープモデルを圧縮し、実行遅延とエネルギー効率を改善する効果的な方法であり、モバイルまたは組み込みデバイスにデプロイできる。 既存の量子化法は、キャリブレーションや微調整のために元のデータを必要とする。 しかし、多くの現実世界のシナリオでは、データは秘密やプライベートな問題のために利用できないため、既存の量子化手法は適用できない。 さらに、原データがないため、最近開発されたGAN(generative adversarial network)はデータ生成には適用できない。 完全精度モデルは豊富なデータ情報を含むこともあるが、元のデータを復元したり、新しい意味のあるデータを生成したりするには、そのような情報だけでは利用できない。 本稿では,GDFQ (Generative Low-bitdth Data Free Quantization) と呼ばれる,データ依存の重荷を除去する簡易な手法について検討する。 具体的には,事前学習モデルにおける分類境界知識と分布情報を活用し,有意義な偽データを生成する知識マッチング生成器を提案する。 生成されたデータを利用することで,事前学習したモデルから知識を学習することで,モデルを定量化することができる。 3つのデータセットに対する大規模な実験により,本手法の有効性が示された。 さらに,従来のデータ自由量子化法よりも4ビット量子化の精度が向上した。 コードはhttps://github.com/xushoukai/gdfqで入手できる。

関連論文リスト

• TCGU: Data-centric Graph Unlearning based on Transferable Condensation [36.670771080732486]
  Transferable Condensation Graph Unlearning (TCGU)は、ゼロガンスグラフアンラーニングのためのデータ中心のソリューションである。 我々は,TGUが既存のGU手法よりもモデルユーティリティ,未学習効率,未学習効率において優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2024-10-09T02:14:40Z)
• GenQ: Quantization in Low Data Regimes with Generative Synthetic Data [28.773641633757283]
  我々は、高度な生成AIモデルを用いて高分解能合成データを生成する新しいアプローチであるGenQを紹介する。 データの可用性が限られている場合、実際のデータは合成データ生成プロセスのガイドに使用される。 厳密な実験を通じて、GenQはデータフリーおよびデータスカース量子化の新しいベンチマークを確立する。
  論文  参考訳（メタデータ） (2023-12-07T23:31:42Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Exploring Data Redundancy in Real-world Image Classification through Data Selection [20.389636181891515]
  ディープラーニングモデルはトレーニングに大量のデータを必要とすることが多く、結果としてコストが増大する。 実世界の画像データの冗長性を調べるために,シナプスインテリジェンスと勾配ノルムに基づく2つのデータ評価指標を提案する。 オンラインおよびオフラインのデータ選択アルゴリズムは、検査されたデータ値に基づいてクラスタリングとグループ化によって提案される。
  論文  参考訳（メタデータ） (2023-06-25T03:31:05Z)
• Post-training Model Quantization Using GANs for Synthetic Data Generation [57.40733249681334]
  量子化法における実データを用いたキャリブレーションの代用として合成データを用いた場合について検討する。 本稿では,StyleGAN2-ADAが生成したデータと事前学習したDiStyleGANを用いて定量化したモデルの性能と,実データを用いた量子化とフラクタル画像に基づく代替データ生成手法との比較を行った。
  論文  参考訳（メタデータ） (2023-05-10T11:10:09Z)
• AI Model Disgorgement: Methods and Choices [127.54319351058167]
  本稿では,現代の機械学習システムに適用可能な分類法を紹介する。 学習モデルにおけるデータ「効果の除去」の意味を,スクラッチからリトレーニングする必要のない方法で検討する。
  論文  参考訳（メタデータ） (2023-04-07T08:50:18Z)
• ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
  本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。 意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。 また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
  論文  参考訳（メタデータ） (2022-04-30T06:58:56Z)
• Efficient training of lightweight neural networks using Online Self-Acquired Knowledge Distillation [51.66271681532262]
  オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。 出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
  論文  参考訳（メタデータ） (2021-08-26T14:01:04Z)
• Zero-shot Adversarial Quantization [11.722728148523366]
  ゼロショット逆量子化(ZAQ: Zero-shot adversarial quantization)フレームワークを提案し,効果的な不一致推定と知識伝達を容易にする。 これは、情報的で多様なデータ例を合成するためにジェネレータを駆動する、新しい2レベル不一致モデリングによって達成される。 強力なゼロショットベースラインに対してZAQの優位性を示す3つの基本的なビジョンタスクについて広範な実験を行います。
  論文  参考訳（メタデータ） (2021-03-29T01:33:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。