論文の概要: Hard Sample Matters a Lot in Zero-Shot Quantization

• arxiv url: http://arxiv.org/abs/2303.13826v1
• Date: Fri, 24 Mar 2023 06:22:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 15:25:47.470575
• Title: Hard Sample Matters a Lot in Zero-Shot Quantization
• Title（参考訳）: ゼロショット量子化におけるハードサンプルの重要事項
• Authors: Huantong Li, Xiangmiao Wu, Fanbing Lv, Daihai Liao, Thomas H. Li, Yonggang Zhang, Bo Han, Mingkui Tan
• Abstract要約: ゼロショット量子化(ZSQ)は、完全精度モデルのトレーニング用データがアクセスできない場合に、ディープニューラルネットワークの圧縮と加速を約束する。 ZSQでは、合成サンプルを用いてネットワーク量子化を行うため、量子化モデルの性能は合成サンプルの品質に大きく依存する。 この問題に対処するために,HArdサンプル合成訓練(HAST)を提案する。
• 参考スコア（独自算出の注目度）: 52.32914196337281
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero-shot quantization (ZSQ) is promising for compressing and accelerating deep neural networks when the data for training full-precision models are inaccessible. In ZSQ, network quantization is performed using synthetic samples, thus, the performance of quantized models depends heavily on the quality of synthetic samples. Nonetheless, we find that the synthetic samples constructed in existing ZSQ methods can be easily fitted by models. Accordingly, quantized models obtained by these methods suffer from significant performance degradation on hard samples. To address this issue, we propose HArd sample Synthesizing and Training (HAST). Specifically, HAST pays more attention to hard samples when synthesizing samples and makes synthetic samples hard to fit when training quantized models. HAST aligns features extracted by full-precision and quantized models to ensure the similarity between features extracted by these two models. Extensive experiments show that HAST significantly outperforms existing ZSQ methods, achieving performance comparable to models that are quantized with real data.
• Abstract（参考訳）: ゼロショット量子化(ZSQ)は、完全精度モデルのトレーニング用データがアクセスできない場合に、ディープニューラルネットワークの圧縮と加速を約束する。 ZSQでは、合成サンプルを用いてネットワーク量子化を行うため、量子化モデルの性能は合成サンプルの品質に大きく依存する。 しかし, 既存のZSQ法で構築した合成試料は, モデルにより容易に装着できることが判明した。 したがって, これらの手法により得られた定量化モデルは, 硬質試料の顕著な性能劣化に悩まされる。 この問題に対処するため,我々はHArdサンプル合成訓練(HAST)を提案する。 具体的には、HASTはサンプルを合成する際に硬いサンプルに注意を払い、量子化されたモデルを訓練する際に合成サンプルが適合しにくくする。 HASTは、これらの2つのモデルによって抽出された特徴の類似性を保証するために、完全精度と量子化モデルによって抽出された特徴を整列する。 大規模な実験により、HASTは既存のZSQ手法を著しく上回り、実データで定量化されるモデルに匹敵する性能を達成することが示された。

関連論文リスト

• One Step Diffusion via Shortcut Models [109.72495454280627]
  単一ネットワークとトレーニングフェーズを用いて高品質なサンプルを生成する,生成モデルのファミリであるショートカットモデルを導入する。 ショートカットモデルは、現在のノイズレベルと所望のステップサイズにネットワークを条件付け、生成プロセスでモデルをスキップすることができる。 蒸留と比較して、ショートカットモデルは複雑性を1つのネットワークとトレーニングフェーズに減らし、推論時に様々なステップ予算を許容する。
  論文  参考訳（メタデータ） (2024-10-16T13:34:40Z)
• Provable Statistical Rates for Consistency Diffusion Models [87.28777947976573]
  最先端の性能にもかかわらず、拡散モデルは、多くのステップが伴うため、遅いサンプル生成で知られている。 本稿では, 整合性モデルに関する最初の統計理論に寄与し, 分散不整合最小化問題としてトレーニングを定式化している。
  論文  参考訳（メタデータ） (2024-06-23T20:34:18Z)
• Mixed-Precision Inference Quantization: Radically Towards Faster inference speed, Lower Storage requirement, and Lower Loss [4.877532217193618]
  既存の量子化技術は、経験と「微調整」スキルに大きく依存している。 本研究は,完全精度モデルよりも低損失の混合精密量子化モデルを得るための方法論を提供する。 特に、巨大なアイデンティティマッピングを持つニューラルネットワークが量子化法に耐性があることを実証する。
  論文  参考訳（メタデータ） (2022-07-20T10:55:34Z)
• ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
  本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。 意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。 また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
  論文  参考訳（メタデータ） (2022-04-30T06:58:56Z)
• Non-generative Generalized Zero-shot Learning via Task-correlated Disentanglement and Controllable Samples Synthesis [20.34562156468408]
  これらの問題に対処する非生成モデルを提案する。 また、「Few-shot Seen Class and Zero-shot Unseen Class Learning」(FSZU)という新しいZSLタスクを定式化した。
  論文  参考訳（メタデータ） (2022-03-10T12:32:26Z)
• Diverse Sample Generation: Pushing the Limit of Data-free Quantization [85.95032037447454]
  本稿では,データ不要なポストトレーニング量子化と量子化学習のための汎用的な2次サンプル生成手法を提案する。 大規模な画像分類タスクでは、DSGは既存のデータ自由量子化手法より一貫して優れている。
  論文  参考訳（メタデータ） (2021-09-01T07:06:44Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Exponential Reduction in Sample Complexity with Learning of Ising Model Dynamics [14.704630929165274]
  動的プロセスによって生成された相関サンプルからバイナリグラフィカルモデルを再構成する問題について検討する。 相互作用スクリーニングの目的と条件付き可能性損失に基づく2つの推定器のサンプル複雑性を解析した。
  論文  参考訳（メタデータ） (2021-04-02T11:44:13Z)
• Zero-shot Adversarial Quantization [11.722728148523366]
  ゼロショット逆量子化(ZAQ: Zero-shot adversarial quantization)フレームワークを提案し,効果的な不一致推定と知識伝達を容易にする。 これは、情報的で多様なデータ例を合成するためにジェネレータを駆動する、新しい2レベル不一致モデリングによって達成される。 強力なゼロショットベースラインに対してZAQの優位性を示す3つの基本的なビジョンタスクについて広範な実験を行います。
  論文  参考訳（メタデータ） (2021-03-29T01:33:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。