論文の概要: Post-training Model Quantization Using GANs for Synthetic Data Generation

• arxiv url: http://arxiv.org/abs/2305.06052v1
• Date: Wed, 10 May 2023 11:10:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-11 13:28:56.803144
• Title: Post-training Model Quantization Using GANs for Synthetic Data Generation
• Title（参考訳）: 合成データ生成のためのGANを用いた後学習モデル量子化
• Authors: Athanasios Masouris, Mansi Sharma, Adrian Boguszewski, Alexander Kozlov, Zhuo Wu, Raymond Lo
• Abstract要約: 量子化法における実データを用いたキャリブレーションの代用として合成データを用いた場合について検討する。 本稿では,StyleGAN2-ADAが生成したデータと事前学習したDiStyleGANを用いて定量化したモデルの性能と,実データを用いた量子化とフラクタル画像に基づく代替データ生成手法との比較を行った。
• 参考スコア（独自算出の注目度）: 57.40733249681334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantization is a widely adopted technique for deep neural networks to reduce the memory and computational resources required. However, when quantized, most models would need a suitable calibration process to keep their performance intact, which requires data from the target domain, such as a fraction of the dataset used in model training and model validation (i.e. calibration dataset). In this study, we investigate the use of synthetic data as a substitute for the calibration with real data for the quantization method. We propose a data generation method based on Generative Adversarial Networks that are trained prior to the model quantization step. We compare the performance of models quantized using data generated by StyleGAN2-ADA and our pre-trained DiStyleGAN, with quantization using real data and an alternative data generation method based on fractal images. Overall, the results of our experiments demonstrate the potential of leveraging synthetic data for calibration during the quantization process. In our experiments, the percentage of accuracy degradation of the selected models was less than 0.6%, with our best performance achieved on MobileNetV2 (0.05%). The code is available at: https://github.com/ThanosM97/gsoc2022-openvino
• Abstract（参考訳）: 量子化は、深層ニューラルネットワークが必要とするメモリと計算資源を減らすために広く採用されている技法である。 しかし、定量化されると、ほとんどのモデルはパフォーマンスを維持するのに適切なキャリブレーションプロセスが必要となり、モデルトレーニングやモデル検証(すなわちキャリブレーションデータセット)で使用されるデータセットのごく一部など、ターゲットドメインからのデータを必要とします。 本研究では, 量子化法における実データを用いたキャリブレーションの代用として合成データを用いることを検討した。 本稿では,モデル量子化ステップに先立ってトレーニングされた生成逆ネットワークに基づくデータ生成手法を提案する。 本稿では,StyleGAN2-ADAで生成されたデータと事前学習したDiStyleGANを用いて定量化したモデルの性能と,実データを用いた量子化とフラクタル画像に基づく代替データ生成手法との比較を行った。 本実験の結果は, 量子化過程における校正に合成データを活用する可能性を示すものである。 実験では,選択したモデルの精度劣化率を0.6%以下とし,MobileNetV2(0.05%)で最高の性能を示した。 コードは以下の通り。 https://github.com/ThanosM97/gsoc2022-openvino

関連論文リスト

• MetaAug: Meta-Data Augmentation for Post-Training Quantization [32.02377559968568]
  トレーニング後の量子化(PTQ)は、完全な精度モデルを定量化するために、小さなキャリブレーションデータのみを必要とするため、大きな注目を集めている。 本稿では,ポストトレーニング量子化の性能向上のためのメタラーニングに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-20T02:18:51Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Diffusion-Model-Assisted Supervised Learning of Generative Models for Density Estimation [10.793646707711442]
  本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。 スコアベース拡散モデルを用いてラベル付きデータを生成する。 ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
  論文  参考訳（メタデータ） (2023-10-22T23:56:19Z)
• Addressing Data Scarcity in Optical Matrix Multiplier Modeling Using Transfer Learning [0.0]
  本稿では,データ不足に対処するためにトランスファーラーニング(transfer learning)を用いて実験的検討を行った。 提案手法では,より精度の低い解析モデルから生成された合成データを用いて,モデルの事前学習を行う。 3x3フォトニックチップで実装された行列重みに対する1dBのルート平均二乗誤差を、利用可能なデータの25%だけを用いて達成する。
  論文  参考訳（メタデータ） (2023-08-10T07:33:00Z)
• An Adversarial Active Sampling-based Data Augmentation Framework for Manufacturable Chip Design [55.62660894625669]
  リソグラフィーモデリングは、チップ設計マスクが製造可能であることを保証するため、チップ設計において重要な問題である。 機械学習の最近の進歩は、時間を要するリソグラフィーシミュレーションをディープニューラルネットワークに置き換えるための代替ソリューションを提供している。 本稿では,限られたデータのジレンマを解消し,機械学習モデルの性能を向上させるために,データ拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-27T20:53:39Z)
• ScoreMix: A Scalable Augmentation Strategy for Training GANs with Limited Data [93.06336507035486]
  GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。 ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
  論文  参考訳（メタデータ） (2022-10-27T02:55:15Z)
• ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
  本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。 意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。 また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
  論文  参考訳（メタデータ） (2022-04-30T06:58:56Z)
• Efficient training of lightweight neural networks using Online Self-Acquired Knowledge Distillation [51.66271681532262]
  オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。 出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
  論文  参考訳（メタデータ） (2021-08-26T14:01:04Z)
• Generative Low-bitwidth Data Free Quantization [44.613912463011545]
  本稿ではGDFQ(Generative Low-bitdth Data Free Quantization)を提案する。 生成したデータの助けを借りて、事前学習されたモデルから知識を学習することでモデルを定量化することができる。 提案手法は,既存のデータ自由量子化法よりも高精度な4ビット量子化を実現する。
  論文  参考訳（メタデータ） (2020-03-07T16:38:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。