論文の概要: Fine-grained Data Distribution Alignment for Post-Training Quantization

• arxiv url: http://arxiv.org/abs/2109.04186v1
• Date: Thu, 9 Sep 2021 11:45:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-10 14:14:53.615995
• Title: Fine-grained Data Distribution Alignment for Post-Training Quantization
• Title（参考訳）: 後処理量子化のための微細データ分散アライメント
• Authors: Yunshan Zhong, Mingbao Lin, Mengzhao Chen, Ke Li, Yunhang Shen, Fei Chao, Yongjian Wu, Feiyue Huang, Rongrong Ji
• Abstract要約: 学習後量子化の性能を高めるために,データ分散アライメント(FDDA)法を提案する。 提案手法は,特に第1層と第2層が低ビットに量子化されている場合,ImageNet上での最先端性能を示す。
• 参考スコア（独自算出の注目度）: 100.82928284439271
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While post-training quantization receives popularity mostly due to its evasion in accessing the original complete training dataset, its poor performance also stems from this limitation. To alleviate this limitation, in this paper, we leverage the synthetic data introduced by zero-shot quantization with calibration dataset and we propose a fine-grained data distribution alignment (FDDA) method to boost the performance of post-training quantization. The method is based on two important properties of batch normalization statistics (BNS) we observed in deep layers of the trained network, i.e., inter-class separation and intra-class incohesion. To preserve this fine-grained distribution information: 1) We calculate the per-class BNS of the calibration dataset as the BNS centers of each class and propose a BNS-centralized loss to force the synthetic data distributions of different classes to be close to their own centers. 2) We add Gaussian noise into the centers to imitate the incohesion and propose a BNS-distorted loss to force the synthetic data distribution of the same class to be close to the distorted centers. By introducing these two fine-grained losses, our method shows the state-of-the-art performance on ImageNet, especially when the first and last layers are quantized to low-bit as well. Our project is available at https://github.com/viperit/FDDA.
• Abstract（参考訳）: トレーニング後の量子化は、オリジナルの完全なトレーニングデータセットにアクセスする際の回避が主な原因で人気を得ているが、パフォーマンスの低さもこの制限に起因する。 そこで本稿では,ゼロショット量子化によって導入された合成データとキャリブレーションデータセットを併用し,学習後量子化の性能を高めるための微細データ分散アライメント(FDDA)手法を提案する。 本手法は,訓練ネットワークの深層層,すなわちクラス間分離とクラス内粘着の2つの重要な特性を基礎として,バッチ正規化統計学(BNS)を用いて検討した。 1) 各クラスのBNS中心としてキャリブレーションデータセットのクラスごとのBNSを算出し、BNS集中型損失を提案し、異なるクラスの合成データ分布をそれぞれの中心に近づけるよう強制する。 2) この不整合を模倣するために, ガウス雑音を中心に付加し, 同一クラスの合成データ分布を歪んだ中心に近づけるために, bns歪み損失を提案する。 これら2つの微細な損失を導入することで、特に第1層と第最後の層が低ビットに量子化されている場合、ImageNetの最先端性能を示す。 私たちのプロジェクトはhttps://github.com/viperit/fddaで利用可能です。

関連論文リスト

• Double-Bounded Optimal Transport for Advanced Clustering and Classification [58.237576976486544]
  本稿では,2つの境界内での目標分布の制限を前提としたDB-OT(Douubly bounded Optimal Transport)を提案する。 提案手法は,テスト段階における改良された推論方式により,良好な結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-01-21T07:43:01Z)
• SEMI-CenterNet: A Machine Learning Facilitated Approach for Semiconductor Defect Inspection [0.10555513406636088]
  我々は半導体ウエハ欠陥のSEM画像に基づいて学習したカスタマイズCNアーキテクチャであるSEMI-CenterNet(SEMI-CN)を提案する。 SEMI-CNは、欠陥インスタンスの中心、クラス、サイズ、オフセットを出力するように訓練される。 2つのデータセットでSEMI-CNをトレーニングし、2つのResNetバックボーンをベンチマークします。
  論文  参考訳（メタデータ） (2023-08-14T14:39:06Z)
• Proposal Distribution Calibration for Few-Shot Object Detection [65.19808035019031]
  few-shot object detection (FSOD)では、重度のサンプル不均衡を軽減するために、2段階の訓練パラダイムが広く採用されている。 残念ながら、極端なデータ不足は、提案の分布バイアスを増大させ、RoIヘッドが新しいクラスに進化するのを妨げます。 本稿では,RoIヘッドのローカライゼーションと分類能力を高めるために,単純かつ効果的な提案分布キャリブレーション(PDC)手法を提案する。
  論文  参考訳（メタデータ） (2022-12-15T05:09:11Z)
• ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
  本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。 意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。 また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
  論文  参考訳（メタデータ） (2022-04-30T06:58:56Z)
• Delving into Sample Loss Curve to Embrace Noisy and Imbalanced Data [17.7825114228313]
  破損したラベルとクラス不均衡は、実際に収集されたトレーニングデータでよく見られる。 既存のアプローチは、サンプルの再重み付け戦略を採用することで、これらの問題を緩和します。 しかし、ラベルが破損したサンプルと、訓練データに一般的に共存する尾のクラスは偏りがあった。
  論文  参考訳（メタデータ） (2021-12-30T09:20:07Z)
• Provable Generalization of SGD-trained Neural Networks of Any Width in the Presence of Adversarial Label Noise [85.59576523297568]
  勾配降下法により学習した任意の幅の1層リークReLUネットワークを考察する。 sgdは,分布上の最良半空間に匹敵する分類精度を持つニューラルネットワークを生成できることを実証する。
  論文  参考訳（メタデータ） (2021-01-04T18:32:49Z)
• Stochastic Batch Augmentation with An Effective Distilled Dynamic Soft Label Regularizer [11.153892464618545]
  本稿では,これらの問題に対処するBatch Augmentation Safety of Generalization(SBA)というフレームワークを提案する。 SBAは、バッチスケジューラによって制御されるイテレーションを拡大するか、動的ソフトレギュレータを導入するかを決定する。 CIFAR-10, CIFAR-100, ImageNetによる実験により, SBAはニューラルネットワークの一般化を改善し, ネットワークトレーニングの収束を高速化できることが示された。
  論文  参考訳（メタデータ） (2020-06-27T04:46:39Z)
• Passive Batch Injection Training Technique: Boosting Network Performance by Injecting Mini-Batches from a different Data Distribution [39.8046809855363]
  この研究は、元の入力データとは異なる分布から追加のデータを利用するディープニューラルネットワークの新しいトレーニング手法を提案する。 私たちの知る限りでは、畳み込みニューラルネットワーク(CNN)のトレーニングを支援するために、異なるデータ分散を利用する最初の研究である。
  論文  参考訳（メタデータ） (2020-06-08T08:17:32Z)
• Deep Active Learning for Biased Datasets via Fisher Kernel Self-Supervision [5.352699766206807]
  アクティブラーニング(AL)は、データ要求型ディープニューラルネットワーク(DNN)のラベル付け作業を最小化する 自己教師型フィッシャーカーネル(FK)を用いた特徴密度マッチングのための低複雑さ手法を提案する。 本手法は,MNIST,SVHN,ImageNetの分類において,処理の1/10しか必要とせず,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2020-03-01T03:56:32Z)
• Generalized ODIN: Detecting Out-of-distribution Image without Learning from Out-of-distribution Data [87.61504710345528]
  我々は,OoD検出性能を改善しつつ,ニューラルネットワークをOoDデータのチューニングから解放する2つの方法を提案する。 具体的には、信頼性スコアリングと修正された入力前処理法を分離することを提案する。 大規模画像データセットのさらなる解析により、セマンティックシフトと非セマンティックシフトの2種類の分布シフトが有意な差を示すことが示された。
  論文  参考訳（メタデータ） (2020-02-26T04:18:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。