論文の概要: EPTQ: Enhanced Post-Training Quantization via Label-Free Hessian
- arxiv url: http://arxiv.org/abs/2309.11531v1
- Date: Wed, 20 Sep 2023 10:50:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-22 18:13:39.818276
- Title: EPTQ: Enhanced Post-Training Quantization via Label-Free Hessian
- Title(参考訳): EPTQ: Label-free Hessianによるトレーニング後の量子化の強化
- Authors: Ofir Gordon, Hai Victor Habi and Arnon Netzer
- Abstract要約: ディープニューラルネットワーク(DNN)の量子化は、エンドユーザーデバイスにそのようなネットワークを埋め込む上で重要な要素となっている。
EPTQと呼ばれるポストトレーニング量子化の高速化手法を提案する。
- 参考スコア(独自算出の注目度): 4.174296652683762
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quantization of deep neural networks (DNN) has become a key element in the
efforts of embedding such networks on end-user devices. However, current
quantization methods usually suffer from costly accuracy degradation. In this
paper, we propose a new method for Enhanced Post Training Quantization named
EPTQ. The method is based on knowledge distillation with an adaptive weighting
of layers. In addition, we introduce a new label-free technique for
approximating the Hessian trace of the task loss, named Label-Free Hessian.
This technique removes the requirement of a labeled dataset for computing the
Hessian. The adaptive knowledge distillation uses the Label-Free Hessian
technique to give greater attention to the sensitive parts of the model while
performing the optimization. Empirically, by employing EPTQ we achieve
state-of-the-art results on a wide variety of models, tasks, and datasets,
including ImageNet classification, COCO object detection, and Pascal-VOC for
semantic segmentation. We demonstrate the performance and compatibility of EPTQ
on an extended set of architectures, including CNNs, Transformers, hybrid, and
MLP-only models.
- Abstract(参考訳): ディープニューラルネットワーク(DNN)の量子化は、エンドユーザーデバイスにそのようなネットワークを埋め込む上で重要な要素となっている。
しかし、現在の量子化法は通常、コストのかかる精度劣化に悩まされる。
本稿では,EPTQと呼ばれるポストトレーニング量子化の高速化手法を提案する。
この方法は、層を適応重み付けした知識蒸留に基づいている。
さらに,タスク損失のヘッセン的トレースを近似する新しいラベルフリー手法である Label-Free Hessian を導入する。
このテクニックは、Hessianを計算するためのラベル付きデータセットの必要性を取り除く。
適応的な知識蒸留は、最適化を行いながらモデルの繊細な部分に注意を向けるためにラベルフリー・ヘッセン法を用いる。
EPTQを用いることで、ImageNet分類、COCOオブジェクト検出、意味的セグメンテーションのためのPascal-VOCなど、さまざまなモデル、タスク、データセットの最先端結果が得られます。
我々は,CNN,トランスフォーマー,ハイブリッド,MPPのみのモデルを含む拡張アーキテクチャ上でのEPTQの性能と互換性を実証する。
関連論文リスト
- Quantization Aware Factorization for Deep Neural Network Compression [20.04951101799232]
畳み込み層と完全連結層の分解は、ニューラルネットワークにおけるパラメータとFLOPを減らす効果的な方法である。
従来のトレーニング後量子化手法は重み付きネットワークに適用され、精度が低下する。
これは、分解された近似を量子化因子で直接発見するアルゴリズムを開発する動機となった。
論文 参考訳(メタデータ) (2023-08-08T21:38:02Z) - Self Correspondence Distillation for End-to-End Weakly-Supervised
Semantic Segmentation [13.623713806739271]
本稿では, 外部監視を導入することなく, 擬似ラベルを精製するための新しい自己対応蒸留法を提案する。
さらに,擬似ラベルの局所的一貫性を高めるために,変分対応リファインモジュールを設計する。
我々の手法は、他の最先端手法よりも大幅に優れています。
論文 参考訳(メタデータ) (2023-02-27T13:46:40Z) - Boosting Low-Data Instance Segmentation by Unsupervised Pre-training
with Saliency Prompt [103.58323875748427]
この研究は、低データ体制のための新しい教師なし事前学習ソリューションを提供する。
近年のPrompting技術の成功に触発されて,QEISモデルを強化した新しい事前学習手法を導入する。
実験結果から,本手法は3つのデータセット上でのいくつかのQEISモデルを大幅に向上させることが示された。
論文 参考訳(メタデータ) (2023-02-02T15:49:03Z) - Contextual Squeeze-and-Excitation for Efficient Few-Shot Image
Classification [57.36281142038042]
本稿では,事前学習したニューラルネットワークを新しいタスクで調整し,性能を大幅に向上させる,Contextual Squeeze-and-Excitation (CaSE) という適応ブロックを提案する。
また、メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応する、アッパーCaSEと呼ばれるコーディネートダイスに基づく新しいトレーニングプロトコルを提案する。
論文 参考訳(メタデータ) (2022-06-20T15:25:08Z) - ClusterQ: Semantic Feature Distribution Alignment for Data-Free
Quantization [111.12063632743013]
本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。
意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。
また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
論文 参考訳(メタデータ) (2022-04-30T06:58:56Z) - Understanding and Overcoming the Challenges of Efficient Transformer
Quantization [17.05322956052278]
トランスフォーマーベースのアーキテクチャは、幅広い自然言語処理タスクのデファクト標準モデルとなっている。
しかしながら、メモリフットプリントと高いレイテンシは、リソース制限されたデバイスへの効率的なデプロイメントと推論を禁止している。
変換器にはユニークな量子化の課題があり、すなわち、低ビットの固定点フォーマットで表すのが難しいハイダイナミックなアクティベーション範囲があることが示される。
論文 参考訳(メタデータ) (2021-09-27T10:57:18Z) - Progressive Encoding for Neural Optimization [92.55503085245304]
メッシュ転送におけるppe層の能力と,そのアドバンテージを,現代の表面マッピング技術と比較した。
最も重要な点は, パラメタライズフリーな手法であり, 様々な対象形状表現に適用可能であることである。
論文 参考訳(メタデータ) (2021-04-19T08:22:55Z) - Delving Deep into Label Smoothing [112.24527926373084]
ディープニューラルネットワーク(DNN)の効果的な正規化ツールとしてのラベル平滑化
対象カテゴリのモデル予測の統計に基づいてソフトラベルを生成するオンラインラベル平滑化(OLS)戦略を提案する。
論文 参考訳(メタデータ) (2020-11-25T08:03:11Z) - VecQ: Minimal Loss DNN Model Compression With Vectorized Weight
Quantization [19.66522714831141]
我々は、最小の直接量子化損失とモデル精度を保証できるVecQと呼ばれる新しい量子化ソリューションを開発した。
また,学習中に提案した量子化過程を高速化するために,パラメータ化推定と確率ベース計算を用いて量子化過程を高速化する。
論文 参考訳(メタデータ) (2020-05-18T07:38:44Z) - Rectified Meta-Learning from Noisy Labels for Robust Image-based Plant
Disease Diagnosis [64.82680813427054]
植物病は食料安全保障と作物生産に対する主要な脅威の1つである。
1つの一般的なアプローチは、葉画像分類タスクとしてこの問題を変換し、強力な畳み込みニューラルネットワーク(CNN)によって対処できる。
本稿では,正規化メタ学習モジュールを共通CNNパラダイムに組み込んだ新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2020-03-17T09:51:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。