Fugu-MT 論文翻訳(概要): ACQ: Improving Generative Data-free Quantization Via Attention Correction

論文の概要: ACQ: Improving Generative Data-free Quantization Via Attention Correction

arxiv url: http://arxiv.org/abs/2301.07266v1
Date: Wed, 18 Jan 2023 02:13:43 GMT
ステータス: 処理完了
システム内更新日: 2023-01-19 17:03:49.436228
Title: ACQ: Improving Generative Data-free Quantization Via Attention Correction
Title（参考訳）: ACQ: 注意補正による生成的データフリー量子化の改善
Authors: Jixing Li, Xiaozhou Guo, Benzhe Dai, Guoliang Gong, Min Jin, Gang Chen, Wenyu Mao and Huaxiang Lu
Abstract要約: 本稿では, 合成試料の注目を集めるためにACQを提案する。様々なトレーニング設定の下で、ACQは最高の量子化性能を達成する。
参考スコア（独自算出の注目度）: 2.877618279821292
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Data-free quantization aims to achieve model quantization without accessing any authentic sample. It is significant in an application-oriented context involving data privacy. Converting noise vectors into synthetic samples through a generator is a popular data-free quantization method, which is called generative data-free quantization. However, there is a difference in attention between synthetic samples and authentic samples. This is always ignored and restricts the quantization performance. First, since synthetic samples of the same class are prone to have homogenous attention, the quantized network can only learn limited modes of attention. Second, synthetic samples in eval mode and training mode exhibit different attention. Hence, the batch-normalization statistics matching tends to be inaccurate. ACQ is proposed in this paper to fix the attention of synthetic samples. An attention center position-condition generator is established regarding the homogenization of intra-class attention. Restricted by the attention center matching loss, the attention center position is treated as the generator's condition input to guide synthetic samples in obtaining diverse attention. Moreover, we design adversarial loss of paired synthetic samples under the same condition to prevent the generator from paying overmuch attention to the condition, which may result in mode collapse. To improve the attention similarity of synthetic samples in different network modes, we introduce a consistency penalty to guarantee accurate BN statistics matching. The experimental results demonstrate that ACQ effectively improves the attention problems of synthetic samples. Under various training settings, ACQ achieves the best quantization performance. For the 4-bit quantization of Resnet18 and Resnet50, ACQ reaches 67.55% and 72.23% accuracy, respectively.
Abstract（参考訳）: データフリー量子化は、真のサンプルにアクセスすることなくモデル量子化を実現することを目的としている。データプライバシを含むアプリケーション指向のコンテキストにおいて重要である。ノイズベクトルをジェネレータを介して合成サンプルに変換することは、生成データ自由量子化と呼ばれる一般的なデータ自由量子化法である。しかし, 合成試料と真正試料の間には, 注意の相違がある。これは常に無視され、量子化性能を制限する。第一に、同じクラスの合成サンプルは均質な注意を向けやすいため、量子化ネットワークは限られた注意モードしか学習できない。第2に、evalモードとトレーニングモードの合成サンプルは異なる注意を払っている。したがって、バッチ正規化統計マッチングは不正確な傾向にある。本稿では, 合成試料の注目を集めるためにACQを提案する。階級内注目の均質化に関して、注目中心位置条件生成器を確立する。注目センター整合損失により制限され、注目センター位置を発電機の条件入力として扱い、合成サンプルを誘導し、多様な注意を得る。さらに, 同一条件下での合成試料の対向損失を設計し, 発生元が過度に注意を払わないようにし, モード崩壊を引き起こす可能性がある。異なるネットワークモードでの合成サンプルの注意の類似性を改善するために, 正確なbn統計マッチングを保証する一貫性ペナルティを導入する。実験の結果,ACQは合成試料の注意問題を効果的に改善することが示された。様々なトレーニング設定の下で、ACQは最高の量子化性能を達成する。 Resnet18とResnet50の4ビット量子化では、ACQはそれぞれ67.55%と72.23%の精度に達する。

関連論文リスト

Foster Adaptivity and Balance in Learning with Noisy Labels [26.309508654960354]
我々はtextbfSelf-adaptivtextbfE とクラスバランスtextbfD 方式でラベルノイズに対処するための textbfSED という新しい手法を提案する。平均教師モデルは、ノイズの多いサンプルのラベルを修正するために使用される。また,検出した雑音に異なる重みを割り当てる自己適応型およびクラスバランスのサンプル再重み付け機構を提案する。
論文参考訳（メタデータ） (2024-07-03T03:10:24Z)
Quantum Active Learning [3.3202982522589934]
量子ニューラルネットワークのトレーニングは通常、教師付き学習のための実質的なラベル付きトレーニングセットを必要とする。 QALはモデルを効果的にトレーニングし、完全にラベル付けされたデータセットに匹敵するパフォーマンスを達成する。我々は,QALがランダムサンプリングベースラインに乗じて負の結果を微妙な数値実験により解明する。
論文参考訳（メタデータ） (2024-05-28T14:39:54Z)
Learning with Imbalanced Noisy Data by Preventing Bias in Sample Selection [82.43311784594384]
実世界のデータセットには、ノイズの多いラベルだけでなく、クラス不均衡も含まれている。不均衡なデータセットにおけるノイズラベルに対処する,単純かつ効果的な手法を提案する。
論文参考訳（メタデータ） (2024-02-17T10:34:53Z)
Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文参考訳（メタデータ） (2023-12-27T09:03:43Z)
Hard Sample Matters a Lot in Zero-Shot Quantization [52.32914196337281]
ゼロショット量子化(ZSQ)は、完全精度モデルのトレーニング用データがアクセスできない場合に、ディープニューラルネットワークの圧縮と加速を約束する。 ZSQでは、合成サンプルを用いてネットワーク量子化を行うため、量子化モデルの性能は合成サンプルの品質に大きく依存する。この問題に対処するために,HArdサンプル合成訓練(HAST)を提案する。
論文参考訳（メタデータ） (2023-03-24T06:22:57Z)
Breaking the Spurious Causality of Conditional Generation via Fairness Intervention with Corrective Sampling [77.15766509677348]
条件生成モデルは、トレーニングデータセットから急激な相関を継承することが多い。これは別の潜在属性に対して不均衡なラベル条件分布をもたらす。この問題を緩和するための一般的な2段階戦略を提案する。
論文参考訳（メタデータ） (2022-12-05T08:09:33Z)
Selectively increasing the diversity of GAN-generated samples [8.980453507536017]
本稿では,GAN生成サンプルの多様性を選択的に向上する手法を提案する。本研究では,CERN における ALICE 実験のZero Degree Calorimeter から得られたデータをシミュレーションする実生活シナリオとともに,本手法の優位性を示す。
論文参考訳（メタデータ） (2022-07-04T16:27:06Z)
Saliency Grafting: Innocuous Attribution-Guided Mixup with Calibrated Label Mixing [104.630875328668]
ミックスアップスキームは、強化されたトレーニングサンプルを作成するために、サンプルのペアを混ぜることを提案する。両世界のベストを捉えた、斬新だがシンプルなミックスアップ版を提示する。
論文参考訳（メタデータ） (2021-12-16T11:27:48Z)
S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
本稿では,ラベルノイズの存在下での分類の問題に対処する。提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
論文参考訳（メタデータ） (2021-11-22T15:49:20Z)
Qimera: Data-free Quantization with Synthetic Boundary Supporting Samples [8.975667614727652]
人工境界支持試料を生成するために重ね合わせの潜伏埋め込みを用いたQimeraを提案する。実験結果から,Qimeraはデータフリー量子化における各種設定に対して,最先端の性能を実現することが示された。
論文参考訳（メタデータ） (2021-11-04T04:52:50Z)
Oversampling Adversarial Network for Class-Imbalanced Fault Diagnosis [12.526197448825968]
クラス不均衡問題は、データをタイムリーに予測し分類できる堅牢な学習システムを必要とする。本稿では,同時分類と故障検出のための新しい対向ネットワークを提案する。
論文参考訳（メタデータ） (2020-08-07T10:12:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。