Fugu-MT 論文翻訳(概要): Efficient Quantization-aware Training with Adaptive Coreset Selection

論文の概要: Efficient Quantization-aware Training with Adaptive Coreset Selection

arxiv url: http://arxiv.org/abs/2306.07215v1
Date: Mon, 12 Jun 2023 16:20:36 GMT
ステータス: 処理完了
システム内更新日: 2023-06-13 13:53:36.755229
Title: Efficient Quantization-aware Training with Adaptive Coreset Selection
Title（参考訳）: 適応コアセット選択による効率的な量子化学習
Authors: Xijie Huang, Zechun Liu, Shih-Yang Liu, Kwang-Ting Cheng
Abstract要約: QAT(Quantization-Aware Training)は、重みとアクティベーションの冗長性を活用するための代表的なモデル圧縮手法である。既存のQATメソッドの多くは、データセット全体のエンドツーエンドのトレーニングを必要とします。量子化学習のトレーニング効率を向上させるために,コアセット選択による新しい角度を提案する。
参考スコア（独自算出の注目度）: 35.02217747966835
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: The expanding model size and computation of deep neural networks (DNNs) have increased the demand for efficient model deployment methods. Quantization-aware training (QAT) is a representative model compression method to leverage redundancy in weights and activations. However, most existing QAT methods require end-to-end training on the entire dataset, which suffers from long training time and high energy costs. Coreset selection, aiming to improve data efficiency utilizing the redundancy of training data, has also been widely used for efficient training. In this work, we propose a new angle through the coreset selection to improve the training efficiency of quantization-aware training. Based on the characteristics of QAT, we propose two metrics: error vector score and disagreement score, to quantify the importance of each sample during training. Guided by these two metrics of importance, we proposed a quantization-aware adaptive coreset selection (ACS) method to select the data for the current training epoch. We evaluate our method on various networks (ResNet-18, MobileNetV2), datasets(CIFAR-100, ImageNet-1K), and under different quantization settings. Compared with previous coreset selection methods, our method significantly improves QAT performance with different dataset fractions. Our method can achieve an accuracy of 68.39% of 4-bit quantized ResNet-18 on the ImageNet-1K dataset with only a 10% subset, which has an absolute gain of 4.24% compared to the baseline.
Abstract（参考訳）: ディープニューラルネットワーク(DNN)のモデルサイズの拡大と計算により,効率的なモデル展開手法の必要性が高まっている。量子化対応トレーニング(QAT)は、重みとアクティベーションの冗長性を活用するための代表的なモデル圧縮手法である。しかし、既存のQAT手法の多くはデータセット全体のエンドツーエンドのトレーニングを必要としており、長いトレーニング時間と高エネルギーコストに悩まされている。トレーニングデータの冗長性を活用したデータ効率向上を目的としたcoreset選択も,効率的なトレーニングに広く利用されている。本研究では,量子化学習のトレーニング効率を向上させるために,コアセット選択による新しい角度を提案する。 qatの特徴に基づいて,各サンプルの重要性を定量化するために,誤りベクトルスコアと不一致スコアの2つの指標を提案する。これら2つの重要な指標から導かれ,現在のトレーニングエポックのデータを選択するために,量子化対応コアセット選択法(ACS)を提案した。各種ネットワーク(ResNet-18, MobileNetV2)、データセット(CIFAR-100, ImageNet-1K)、および異なる量子化設定下で評価を行った。従来のコアセット選択法と比較して,本手法はデータセット分数が異なるQAT性能を著しく向上させる。本手法は,imagenet-1kデータセットにおける4ビット量子化resnet-18の68.39%の精度を,ベースラインと比較して絶対利得4.24%の10%のサブセットで達成できる。

関連論文リスト

AdaQAT: Adaptive Bit-Width Quantization-Aware Training [0.873811641236639]
大規模ディープニューラルネットワーク(DNN)は多くのアプリケーションシナリオで大きな成功を収めています。モデル量子化は、デプロイメントの制約に対処する一般的なアプローチであるが、最適化されたビット幅の探索は困難である。 AdaQAT(Adaptive Bit-Width Quantization Aware Training)は,学習中のビット幅を自動的に最適化し,より効率的な推論を行う学習手法である。
論文参考訳（メタデータ） (2024-04-22T09:23:56Z)
Optimal Clipping and Magnitude-aware Differentiation for Improved Quantization-aware Training [8.106641866299377]
現在のプラクティスは、クリッピングしきい値スカラーを設定するためにスカラーに依存しており、最適であることを示すことはできない。最適クリッピングスカラーを決定するアルゴリズムであるOptimally Clippeds And Vectors (OCTAV)を提案する。 OCTAVは、量子化認識トレーニング(QAT)ルーチンのイテレーション毎に、テンソル毎に、フライ時に最適なクリッピングスカラーを見つける。
論文参考訳（メタデータ） (2022-06-13T22:15:21Z)
BMPQ: Bit-Gradient Sensitivity Driven Mixed-Precision Quantization of DNNs from Scratch [11.32458063021286]
本稿では、ビット勾配を用いて層感度を分析し、混合精度の量子化モデルを生成する学習手法であるBMPQを提案する。トレーニングを1回行う必要があるが、トレーニング済みのベースラインは必要ない。ベースラインのFP-32モデルと比較して、BMPQは15.4倍少ないパラメータビットを持つモデルの精度は無視できる。
論文参考訳（メタデータ） (2021-12-24T03:16:58Z)
Jigsaw Clustering for Unsupervised Visual Representation Learning [68.09280490213399]
本稿では,新しいjigsawクラスタリング・プレテキストタスクを提案する。本手法は画像内情報と画像間情報の両方を利用する。トレーニングバッチの半分しか使用されていない場合、コントラスト学習方法にも匹敵します。
論文参考訳（メタデータ） (2021-04-01T08:09:26Z)
Activation Density based Mixed-Precision Quantization for Energy Efficient Neural Networks [2.666640112616559]
ニューラルネットワークモデルのイントレーニング量子化手法を提案する。本手法は,混合精度モデルの学習中に各層に対するビット幅を計算する。 VGG19/ResNet18アーキテクチャ上で、CIFAR-10、CIFAR-100、TinyImagenetなどのベンチマークデータセットの実験を行います。
論文参考訳（メタデータ） (2021-01-12T09:01:44Z)
Direct Quantization for Training Highly Accurate Low Bit-width Deep Neural Networks [73.29587731448345]
本稿では,低ビット幅重みとアクティベーションで深部畳み込みニューラルネットワークを訓練する2つの新しい手法を提案する。まず、ビット幅の少ない重みを得るため、既存の方法の多くは、全精度ネットワーク重みで量子化することにより量子化重みを得る。第二に、低ビット幅のアクティベーションを得るために、既存の作品はすべてのチャネルを等しく考慮する。
論文参考訳（メタデータ） (2020-12-26T15:21:18Z)
Weight Update Skipping: Reducing Training Time for Artificial Neural Networks [0.30458514384586394]
本稿では,時間的変動を示す精度向上の観察を生かしたANNのための新しいトレーニング手法を提案する。このような時間窓の間、ネットワークがまだトレーニングされていることを保証し、過度な適合を避けるバイアスを更新し続けます。このようなトレーニングアプローチは、計算コストを大幅に削減して、ほぼ同じ精度を達成し、トレーニング時間を短縮する。
論文参考訳（メタデータ） (2020-12-05T15:12:10Z)
Fast Uncertainty Quantification for Deep Object Pose Estimation [91.09217713805337]
深層学習に基づくオブジェクトポーズ推定は、しばしば信頼できない、自信過剰である。本研究では,6-DoFオブジェクトのポーズ推定のための,シンプルで効率的かつプラグアンドプレイなUQ手法を提案する。
論文参考訳（メタデータ） (2020-11-16T06:51:55Z)
Dynamic R-CNN: Towards High Quality Object Detection via Dynamic Training [70.2914594796002]
ラベル割り当て基準と回帰損失関数の形状を調整するための動的R-CNNを提案する。我々はResNet-50-FPNベースラインを1.9%のAPと5.5%のAP$_90$で改善し、余分なオーバーヘッドを伴わない。
論文参考訳（メタデータ） (2020-04-13T15:20:25Z)
Filter Sketch for Network Pruning [184.41079868885265]
事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。われわれのアプローチは、FilterSketchと呼ばれ、事前訓練された重みの2次情報を符号化する。 CIFAR-10の実験では、FilterSketchはFLOPの63.3%を削減し、ネットワークパラメータの59.9%を無視できる精度で削減している。
論文参考訳（メタデータ） (2020-01-23T13:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。