論文の概要: Zero-shot Adversarial Quantization
- arxiv url: http://arxiv.org/abs/2103.15263v1
- Date: Mon, 29 Mar 2021 01:33:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-30 14:59:37.638988
- Title: Zero-shot Adversarial Quantization
- Title（参考訳）: ゼロショット逆量子化
- Authors: Yuang Liu, Wei Zhang, Jun Wang
- Abstract要約: ゼロショット逆量子化(ZAQ: Zero-shot adversarial quantization)フレームワークを提案し,効果的な不一致推定と知識伝達を容易にする。
これは、情報的で多様なデータ例を合成するためにジェネレータを駆動する、新しい2レベル不一致モデリングによって達成される。
強力なゼロショットベースラインに対してZAQの優位性を示す3つの基本的なビジョンタスクについて広範な実験を行います。
- 参考スコア（独自算出の注目度）: 11.722728148523366
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model quantization is a promising approach to compress deep neural networks
and accelerate inference, making it possible to be deployed on mobile and edge
devices. To retain the high performance of full-precision models, most existing
quantization methods focus on fine-tuning quantized model by assuming training
datasets are accessible. However, this assumption sometimes is not satisfied in
real situations due to data privacy and security issues, thereby making these
quantization methods not applicable. To achieve zero-short model quantization
without accessing training data, a tiny number of quantization methods adopt
either post-training quantization or batch normalization statistics-guided data
generation for fine-tuning. However, both of them inevitably suffer from low
performance, since the former is a little too empirical and lacks training
support for ultra-low precision quantization, while the latter could not fully
restore the peculiarities of original data and is often low efficient for
diverse data generation. To address the above issues, we propose a zero-shot
adversarial quantization (ZAQ) framework, facilitating effective discrepancy
estimation and knowledge transfer from a full-precision model to its quantized
model. This is achieved by a novel two-level discrepancy modeling to drive a
generator to synthesize informative and diverse data examples to optimize the
quantized model in an adversarial learning fashion. We conduct extensive
experiments on three fundamental vision tasks, demonstrating the superiority of
ZAQ over the strong zero-shot baselines and validating the effectiveness of its
main components. Code is available at <https://git.io/Jqc0y>.
- Abstract（参考訳）: モデル量子化は、ディープニューラルネットワークを圧縮し、推論を加速する有望なアプローチであり、モバイルおよびエッジデバイスにデプロイすることができる。
全精度モデルの性能を維持するため、既存の量子化手法のほとんどは、トレーニングデータセットがアクセス可能であると仮定して、微調整量子化モデルに焦点を当てている。
しかし、データプライバシやセキュリティ上の問題により、実際の状況ではこの仮定が満たされない場合があるため、量子化手法は適用できない。
訓練データにアクセスすることなくゼロショートモデル量子化を実現するため、微調整のために、後学習量子化法またはバッチ正規化統計誘導データ生成法を採用する。
しかし、両者とも、多少経験的すぎ、超低精度量子化のトレーニングサポートが欠如しているため、必然的に低パフォーマンスを被るが、後者は元のデータの特異性を完全に復元することはできず、多種多様なデータ生成において効率が低い。
本稿では,ゼロショット逆量子化 (zero-shot adversarial quantization, zaq) フレームワークを提案する。
これは、生成元が情報的で多様なデータ例を合成し、量子化されたモデルを逆学習方式で最適化する、新しい2段階の離散モデルによって達成される。
3つの基本的なビジョンタスクについて広範な実験を行い,強いゼロショットベースラインよりもzaqが優れていることを示し,その主成分の有効性を検証する。
コードは <https://git.io/Jqc0y> で入手できる。
関連論文リスト
- MetaAug: Meta-Data Augmentation for Post-Training Quantization [32.02377559968568]
トレーニング後の量子化(PTQ)は、完全な精度モデルを定量化するために、小さなキャリブレーションデータのみを必要とするため、大きな注目を集めている。
本稿では,ポストトレーニング量子化の性能向上のためのメタラーニングに基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2024-07-20T02:18:51Z) - PreQuant: A Task-agnostic Quantization Approach for Pre-trained Language
Models [52.09865918265002]
ファインチューニングのフレームワークPreQuantに先立って,新しい量子化を提案する。
PreQuantは様々な量子化戦略と互換性があり、インダクションされた量子化誤差を修正するために、アウタリア対応の微調整が組み込まれている。
BERT,RoBERTa,T5を用いたGLUEベンチマークにおけるPreQuantの有効性を示す。
論文 参考訳（メタデータ） (2023-05-30T08:41:33Z) - Post-training Model Quantization Using GANs for Synthetic Data
Generation [57.40733249681334]
量子化法における実データを用いたキャリブレーションの代用として合成データを用いた場合について検討する。
本稿では,StyleGAN2-ADAが生成したデータと事前学習したDiStyleGANを用いて定量化したモデルの性能と,実データを用いた量子化とフラクタル画像に基づく代替データ生成手法との比較を行った。
論文 参考訳（メタデータ） (2023-05-10T11:10:09Z) - Post-hoc Uncertainty Learning using a Dirichlet Meta-Model [28.522673618527417]
本研究では,不確実性定量化能力の優れた事前学習モデルを構築するための新しいベイズメタモデルを提案する。
提案手法は追加のトレーニングデータを必要としないため,不確かさの定量化に十分な柔軟性がある。
提案するメタモデルアプローチの柔軟性と,これらのアプリケーションに対する優れた経験的性能を実証する。
論文 参考訳（メタデータ） (2022-12-14T17:34:11Z) - Vertical Layering of Quantized Neural Networks for Heterogeneous
Inference [57.42762335081385]
量子化モデル全体を1つのモデルにカプセル化するための,ニューラルネットワーク重みの新しい垂直層表現について検討する。
理論的には、1つのモデルのトレーニングとメンテナンスのみを必要としながら、オンデマンドサービスの正確なネットワークを達成できます。
論文 参考訳（メタデータ） (2022-12-10T15:57:38Z) - Genie: Show Me the Data for Quantization [2.7286395031146062]
本稿では,高品質な量子化ネットワークを数時間で生成するゼロショット量子化のためのポストトレーニング量子化手法を提案する。
また,学習後の量子化アルゴリズムを提案し,量子化モデルの性能を向上させる。
論文 参考訳（メタデータ） (2022-12-09T11:18:40Z) - Mixed-Precision Inference Quantization: Radically Towards Faster
inference speed, Lower Storage requirement, and Lower Loss [4.877532217193618]
既存の量子化技術は、経験と「微調整」スキルに大きく依存している。
本研究は,完全精度モデルよりも低損失の混合精密量子化モデルを得るための方法論を提供する。
特に、巨大なアイデンティティマッピングを持つニューラルネットワークが量子化法に耐性があることを実証する。
論文 参考訳（メタデータ） (2022-07-20T10:55:34Z) - ClusterQ: Semantic Feature Distribution Alignment for Data-Free
Quantization [111.12063632743013]
本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。
意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。
また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
論文 参考訳（メタデータ） (2022-04-30T06:58:56Z) - Generalization Metrics for Practical Quantum Advantage in Generative
Models [68.8204255655161]
生成モデリングは量子コンピュータにとって広く受け入れられている自然のユースケースである。
我々は,アルゴリズムの一般化性能を計測して,生成モデリングのための実用的な量子優位性を探索する,単純で曖昧な手法を構築した。
シミュレーションの結果、我々の量子にインスパイアされたモデルは、目に見えない、有効なサンプルを生成するのに、最大で68倍の費用がかかります。
論文 参考訳（メタデータ） (2022-01-21T16:35:35Z) - Contextual Dropout: An Efficient Sample-Dependent Dropout Module [60.63525456640462]
ドロップアウトは、ディープニューラルネットワークのトレーニングプロセスを正規化するシンプルで効果的なモジュールとして実証されています。
単純でスケーラブルなサンプル依存型ドロップアウトモジュールとして,効率的な構造設計によるコンテキスト型ドロップアウトを提案する。
提案手法は,不確実性推定の精度と品質の両面において,ベースライン法よりも優れていた。
論文 参考訳（メタデータ） (2021-03-06T19:30:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。