論文の概要: ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization

• arxiv url: http://arxiv.org/abs/2205.00179v1
• Date: Sat, 30 Apr 2022 06:58:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-03 15:22:30.607922
• Title: ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization
• Title（参考訳）: ClusterQ: データフリー量子化のための意味的特徴分散アライメント
• Authors: Yangcheng Gao, Zhao Zhang, Richang Hong, Haijun Zhang, Jicong Fan, Shuicheng Yan, Meng Wang
• Abstract要約: 本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。 意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。 また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
• 参考スコア（独自算出の注目度）: 111.12063632743013
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Network quantization has emerged as a promising method for model compression and inference acceleration. However, tradtional quantization methods (such as quantization aware training and post training quantization) require original data for the fine-tuning or calibration of quantized model, which makes them inapplicable to the cases that original data are not accessed due to privacy or security. This gives birth to the data-free quantization with synthetic data generation. While current DFQ methods still suffer from severe performance degradation when quantizing a model into lower bit, caused by the low inter-class separability of semantic features. To this end, we propose a new and effective data-free quantization method termed ClusterQ, which utilizes the semantic feature distribution alignment for synthetic data generation. To obtain high inter-class separability of semantic features, we cluster and align the feature distribution statistics to imitate the distribution of real data, so that the performance degradation is alleviated. Moreover, we incorporate the intra-class variance to solve class-wise mode collapse. We also employ the exponential moving average to update the centroid of each cluster for further feature distribution improvement. Extensive experiments across various deep models (e.g., ResNet-18 and MobileNet-V2) over the ImageNet dataset demonstrate that our ClusterQ obtains state-of-the-art performance.
• Abstract（参考訳）: ネットワーク量子化はモデル圧縮と推論の高速化に有望な方法として登場した。 しかし、トラジショナル量子化法(量子化対応トレーニングやポストトレーニング量子化など)は、量子化モデルの微調整や校正のためにオリジナルのデータを必要とするため、プライバシやセキュリティのために元のデータがアクセスできない場合にも適用できない。 これにより、合成データ生成によるデータフリー量子化が生まれる。 現在のdfqメソッドは、セマンティクスのクラス間分離性が低いため、モデルを低ビットに定量化する際にも、パフォーマンスが著しく低下する。 そこで本研究では,合成データ生成に意味的特徴分布アライメントを利用するClusterQという,データフリーな量子化手法を提案する。 セマンティックな特徴のクラス間分離性を高めるため,特徴分布統計をクラスタ化し,実際のデータの分布を模倣するように調整し,性能劣化を軽減する。 さらに,クラス内分散を取り入れ,クラス毎のモード崩壊を解消した。 また、指数移動平均を用いて各クラスタのセントロイドを更新し、さらなる特徴分布の改善を図る。 ImageNetデータセットに対するさまざまなディープモデル(ResNet-18やMobileNet-V2など)にわたる大規模な実験は、ClusterQが最先端のパフォーマンスを得ることを示す。

関連論文リスト

• GenQ: Quantization in Low Data Regimes with Generative Synthetic Data [28.773641633757283]
  我々は、高度な生成AIモデルを用いて高分解能合成データを生成する新しいアプローチであるGenQを紹介する。 データの可用性が限られている場合、実際のデータは合成データ生成プロセスのガイドに使用される。 厳密な実験を通じて、GenQはデータフリーおよびデータスカース量子化の新しいベンチマークを確立する。
  論文  参考訳（メタデータ） (2023-12-07T23:31:42Z)
• Post-training Model Quantization Using GANs for Synthetic Data Generation [57.40733249681334]
  量子化法における実データを用いたキャリブレーションの代用として合成データを用いた場合について検討する。 本稿では,StyleGAN2-ADAが生成したデータと事前学習したDiStyleGANを用いて定量化したモデルの性能と,実データを用いた量子化とフラクタル画像に基づく代替データ生成手法との比較を行った。
  論文  参考訳（メタデータ） (2023-05-10T11:10:09Z)
• ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
  チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。 我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
  論文  参考訳（メタデータ） (2023-04-07T15:17:48Z)
• Data Quality-aware Mixed-precision Quantization via Hybrid Reinforcement Learning [22.31766292657812]
  混合精度量子化は、実際のトレーニングの前に、主にモデルビット幅設定を事前に決定する。 DQMQと呼ばれる新しいデータ品質対応混合精度量子化フレームワークを提案し、異なるデータ品質に量子化ビット幅を動的に適応させる。
  論文  参考訳（メタデータ） (2023-02-09T06:14:00Z)
• Latent Autoregressive Source Separation [5.871054749661012]
  本稿では,ベクトル量子化遅延自己回帰音源分離(入力信号を構成源にデミックスする)を導入する。 分離法は, 自己回帰モデルが先行するベイズ式に依拠し, 付加トークンの潜在和に対して離散的(非パラメトリック)確率関数を構築した。
  論文  参考訳（メタデータ） (2023-01-09T17:32:00Z)
• Diverse Sample Generation: Pushing the Limit of Data-free Quantization [85.95032037447454]
  本稿では,データ不要なポストトレーニング量子化と量子化学習のための汎用的な2次サンプル生成手法を提案する。 大規模な画像分類タスクでは、DSGは既存のデータ自由量子化手法より一貫して優れている。
  論文  参考訳（メタデータ） (2021-09-01T07:06:44Z)
• Zero-shot Adversarial Quantization [11.722728148523366]
  ゼロショット逆量子化(ZAQ: Zero-shot adversarial quantization)フレームワークを提案し,効果的な不一致推定と知識伝達を容易にする。 これは、情報的で多様なデータ例を合成するためにジェネレータを駆動する、新しい2レベル不一致モデリングによって達成される。 強力なゼロショットベースラインに対してZAQの優位性を示す3つの基本的なビジョンタスクについて広範な実験を行います。
  論文  参考訳（メタデータ） (2021-03-29T01:33:34Z)
• Adaptive Quantization of Model Updates for Communication-Efficient Federated Learning [75.45968495410047]
  クライアントノードと中央集約サーバ間のモデル更新の通信は、連合学習において大きなボトルネックとなる。 グラディエント量子化(Gradient Quantization)は、各モデル更新間の通信に必要なビット数を削減する効果的な方法である。 通信効率と低エラーフロアを実現することを目的としたAdaFLと呼ばれる適応量子化戦略を提案する。
  論文  参考訳（メタデータ） (2021-02-08T19:14:21Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。